Usiamo cookie tecnici e il registro anonimo delle visite di Zorky. Yandex Metrica (dati conservati su server in Russia) funziona solo con il tuo consenso. Non vendiamo mai dati. Ulteriori informazioni su cookie e statistiche.
Zorky è in modalità test: è tutto gratuito. Le offerte e le pagine delle aziende sono aperte a tutti; i link agli annunci e la tua selezione personale si aprono dopo la registrazione. Registrati →
← Tutte le offerte

Spark / Data Lakehouse Developer (k/m/x)

MiddleremoteWrocław, PL →3 sett. fa
Analisi del mercato
📊 DevOps / SRE: stipendi e domanda sul mercato
Stack
Apache SparkSpark SQLDataFramesApache IcebergMongoDBPythonJenkinsPrometheusGrafanaci/cdconfluencedata lakehouse
Dettagli
Employment
Contract
English
required
Practices
CI/CD, Kanban, Scrum
Mostra azienda e link
Gratis, dopo l'accesso.
Candidati
Apri l'azienda e il link qui sopra: la candidatura arriva direttamente nel sistema di selezione dell'azienda, senza intermediari.

Descrizione

Poszukujemy Spark / Data Lakehouse Developera do rozwoju procesów przetwarzania danych w architekturze Data Lakehouse. O projekcie Projekt realizowany jest w ramach zespołu Data Platform, a bieżące prace koncentrują się na rekoncyliacji i procesach przetwarzania danych. Rozwiązania rozwijane są w architekturze Data Lakehouse z wykorzystaniem Apache Iceberg jako głównego formatu tabel.

Obecnie przetwarzanie odbywa się przede wszystkim w trybie batchowym, a rozwiązania streamingowe planowane są w przyszłości. Warunki współpracy kontrakt B2B praca zdalna język pracy: polski + angielski Twój zakres obowiązków Projektowanie i implementacja procesów w Spark SQL / PySpark Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii Integracja Apache Spark z MongoDB Budowa i rozwój warstw Data Lakehouse Optymalizacja wydajności procesów Spark Rozwój CI/CD dla aplikacji i procesów danych oraz monitoring i diagnozowanie problemów produkcyjnych

Requisiti

Wymagania

Doświadczenie w projektowaniu i implementacji procesów przetwarzania danych w Apache Spark, Spark SQL oraz PySpark z wykorzystaniem DataFrames Znajomość Apache Iceberg jako formatu tabel w architekturze Data Lakehouse Doświadczenie w pracy z MongoDB, w tym integracji z Apache Spark Umiejętność programowania w Pythonie w kontekście przetwarzania danych Doświadczenie w konfiguracji i utrzymaniu procesów CI/CD z wykorzystaniem Jenkins Znajomość narzędzi monitoring

Descrizione completa, azienda e link per candidarti: dopo l'accesso. Accedi
I contatti del datore di lavoro (email/telefono/telegram) sono nascosti nell'anteprima pubblica.
Domanda urgente? Scrivi a @termdocs