Wir verwenden technische Cookies und das anonymisierte Besuchsprotokoll von Zorky. Yandex Metrica (Daten werden auf Servern in Russland gespeichert) läuft nur mit Ihrer Einwilligung. Wir verkaufen keine Daten. Mehr zu Cookies und Statistik.
Zorky läuft im Testmodus — alles ist kostenlos. Stellen und Unternehmensseiten sind für alle offen; Links zu den Anzeigen und Ihre persönliche Stellenauswahl gibt es nach der Registrierung. Registrieren →
← Alle Stellen

Spark / Data Lakehouse Developer

SeniorremotePoland, PLvor 5 T.
Markteinblicke
📊 Data Engineering: Gehälter und Nachfrage am Markt
Stack
data lakehousesparkci/cdconfluencedelta lakedevopsdockergrafanaicebergjenkinsjirakanban
Details
Erfahrung
ab 4 Jahren
Methoden
CI/CD, DevOps, Kanban, Scrum
Unternehmen und Link anzeigen
Kostenlos, nach der Anmeldung.
Bewerben
Öffnen Sie oben das Unternehmen und den Link — Ihre Bewerbung geht direkt in das Recruiting-System des Unternehmens, ohne Vermittler.

Beschreibung

Aufgaben

Обязанности:

Projektowanie i implementacja procesów Spark SQL/PySpark do walidacji i porównywania danych (MongoDB/ODS)., Implementacja reguł jakości danych, detekcji duplikatów, anomalii i braków oraz raportowania/alertowania., Integracja i optymalizacja Spark–MongoDB (MongoDB Spark Connector, partitioning, push-down, schema-aware reads)., Projektowanie warstwy danych Raw → Bronze → Silver → Gold z wykorzystaniem Delta Lake/Iceberg/Hudi oraz CI/CD dla schematów i migracji., Monitoring i observability procesów Spark/batch/stream (Prometheus, Grafana, OpenTelemetry, Dynatrace) oraz definiowanie SLA/SLO., Automatyzacja deploymentów Spark na Docker/Kubernetes (Spark Operator)., Diagnozowanie problemów z danymi, wydajnością i opóźnieniami procesów., Tworzenie dokumentacji technicznej, runbooków i diagramów przepływu danych., Współpraca w Scrum/Kanban z Data Engineerami, BA, testerami i DevOps; prowadzenie warsztatów i code review.

Опыт: 4+ lata doświadczenia w pracy z Apache Spark w środowisku produkcyjnym., Bardzo dobra znajomość PySpark, Spark SQL, DataFrames i Structured Streaming., Doświadczenie z MongoDB i Spark Connector oraz znajomość modelowania i indeksowania danych., Praktyczna znajomość Apache Iceberg i architektury Data Lakehouse (upsert/merge, optymalizacja zapisów)., Doświadczenie w CI/CD z Jenkins, w tym automatyzacji testów i deploymentów aplikacji Spark., Bardzo dobra znajomość Python oraz Spark SQL., Znajomość Prometheus i Grafana w obszarze monitoringu i observa

Vollständige Beschreibung, Unternehmen und Bewerbungslink — nach der Anmeldung. Anmelden
Kontaktdaten des Arbeitgebers (E-Mail/Telefon/Telegram) sind in der öffentlichen Vorschau ausgeblendet.
Dringende Frage? Schreiben Sie @termdocs