Wir verwenden technische Cookies und das anonymisierte Besuchsprotokoll von Zorky. Yandex Metrica (Daten werden auf Servern in Russland gespeichert) läuft nur mit Ihrer Einwilligung. Wir verkaufen keine Daten. Mehr zu Cookies und Statistik.
Zorky läuft im Testmodus — alles ist kostenlos. Stellen und Unternehmensseiten sind für alle offen; Links zu den Anzeigen und Ihre persönliche Stellenauswahl gibt es nach der Registrierung. Registrieren →
← Alle Stellen

Spark / Data Lakehouse Developer

SeniorremotePoland, PLheute
Markteinblicke
📊 Data Engineering: Gehälter und Nachfrage am Markt
Stack
data lakehousesparkci/cdconfluencedelta lakedevopsdockergrafanaicebergjenkinsjirakanban
Details
Erfahrung
ab 4 Jahren
Methoden
CI/CD, DevOps, Kanban, Scrum
Unternehmen und Link anzeigen
Kostenlos, nach der Anmeldung.
Bewerben
Öffnen Sie oben das Unternehmen und den Link — Ihre Bewerbung geht direkt in das Recruiting-System des Unternehmens, ohne Vermittler.

Beschreibung

Aufgaben

Обязанности:

Projektowanie i implementacja procesów PySpark oraz Spark SQL służących do porównywania i rekoncyliacji danych pomiędzy MongoDB (ODS) a systemami źródłowymi., Tworzenie i rozwój reguł Data Quality, wykrywanie duplikatów, brakujących danych oraz anomalii wraz z generowaniem raportów i alertów., Integracja Apache Spark z MongoDB przy wykorzystaniu MongoDB Spark Connector., Optymalizacja procesów odczytu i przetwarzania danych, w tym partitioning, schema-aware reads oraz query push-down., Projektowanie i rozwój warstw danych w architekturze Data Lakehouse (raw/bronze/silver/gold) z wykorzystaniem Apache Iceberg, Delta Lake lub Apache Hudi., Implementacja i utrzymanie procesów CI/CD dla aplikacji Spark, schematów tabel oraz migracji danych., Optymalizacja wydajności środowiska Spark, w tym caching, broadcast joins, Adaptive Query Execution (AQE) oraz optymalizacja kosztów przetwarzania danych., Konfiguracja monitoringu i obserwowalności rozwiązań z wykorzystaniem Prometheus, Grafana, OpenTelemetry oraz Dynatrace., Definiowanie i monitorowanie SLA/SLO oraz przygotowywanie mechanizmów alertowania dla procesów danych., Automatyzacja wdrożeń aplikacji przy użyciu Docker, Kubernetes oraz Spark Operator., Analiza i rozwiązywanie problemów związanych z jakością danych, opóźnieniami przetwarzania oraz niespójnościami danych., Tworzenie dokumentacji technicznej, runbooków oraz diagramów przepływu danych., Współpraca z zespołami Data Engineering, Business Analysis, QA oraz Dev

Vollständige Beschreibung, Unternehmen und Bewerbungslink — nach der Anmeldung. Anmelden
Kontaktdaten des Arbeitgebers (E-Mail/Telefon/Telegram) sind in der öffentlichen Vorschau ausgeblendet.
Dringende Frage? Schreiben Sie @termdocs