Wir verwenden technische Cookies und das anonymisierte Besuchsprotokoll von Zorky. Yandex Metrica (Daten werden auf Servern in Russland gespeichert) läuft nur mit Ihrer Einwilligung. Wir verkaufen keine Daten. Mehr zu Cookies und Statistik.
Zorky läuft im Testmodus — alles ist kostenlos. Stellen und Unternehmensseiten sind für alle offen; Links zu den Anzeigen und Ihre persönliche Stellenauswahl gibt es nach der Registrierung. Registrieren →
← Alle Stellen

Spark / Data Lakehouse Developer (k/m/x)

MiddleremoteWrocław, PL →vor 3 Wo.
Markteinblicke
📊 DevOps / SRE: Gehälter und Nachfrage am Markt
Stack
Apache SparkSpark SQLDataFramesApache IcebergMongoDBPythonJenkinsPrometheusGrafanaci/cdconfluencedata lakehouse
Details
Anstellung
Befristet / Vertrag
Englisch
erforderlich
Methoden
CI/CD, Kanban, Scrum
Unternehmen und Link anzeigen
Kostenlos, nach der Anmeldung.
Bewerben
Öffnen Sie oben das Unternehmen und den Link — Ihre Bewerbung geht direkt in das Recruiting-System des Unternehmens, ohne Vermittler.

Beschreibung

Poszukujemy Spark / Data Lakehouse Developera do rozwoju procesów przetwarzania danych w architekturze Data Lakehouse. O projekcie Projekt realizowany jest w ramach zespołu Data Platform, a bieżące prace koncentrują się na rekoncyliacji i procesach przetwarzania danych. Rozwiązania rozwijane są w architekturze Data Lakehouse z wykorzystaniem Apache Iceberg jako głównego formatu tabel.

Obecnie przetwarzanie odbywa się przede wszystkim w trybie batchowym, a rozwiązania streamingowe planowane są w przyszłości. Warunki współpracy kontrakt B2B praca zdalna język pracy: polski + angielski Twój zakres obowiązków Projektowanie i implementacja procesów w Spark SQL / PySpark Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii Integracja Apache Spark z MongoDB Budowa i rozwój warstw Data Lakehouse Optymalizacja wydajności procesów Spark Rozwój CI/CD dla aplikacji i procesów danych oraz monitoring i diagnozowanie problemów produkcyjnych

Anforderungen

Wymagania

Doświadczenie w projektowaniu i implementacji procesów przetwarzania danych w Apache Spark, Spark SQL oraz PySpark z wykorzystaniem DataFrames Znajomość Apache Iceberg jako formatu tabel w architekturze Data Lakehouse Doświadczenie w pracy z MongoDB, w tym integracji z Apache Spark Umiejętność programowania w Pythonie w kontekście przetwarzania danych Doświadczenie w konfiguracji i utrzymaniu procesów CI/CD z wykorzystaniem Jenkins Znajomość narzędzi monitoring

Vollständige Beschreibung, Unternehmen und Bewerbungslink — nach der Anmeldung. Anmelden
Kontaktdaten des Arbeitgebers (E-Mail/Telefon/Telegram) sind in der öffentlichen Vorschau ausgeblendet.
Dringende Frage? Schreiben Sie @termdocs