Usiamo cookie tecnici e il registro anonimo delle visite di Zorky. Yandex Metrica (dati conservati su server in Russia) funziona solo con il tuo consenso. Non vendiamo mai dati. Ulteriori informazioni su cookie e statistiche.
Zorky è in modalità test: è tutto gratuito. Le offerte e le pagine delle aziende sono aperte a tutti; i link agli annunci e la tua selezione personale si aprono dopo la registrazione. Registrati →
← Tutte le offerte

Spark / Data Lakehouse Developer

SeniorremotePoland, PL4 g fa
Analisi del mercato
📊 Data Engineering: stipendi e domanda sul mercato
Stack
data lakehousesparkci/cdconfluencedelta lakedevopsdockergrafanaicebergjenkinsjirakanban
Dettagli
Experience
4+ years
Practices
CI/CD, DevOps, Kanban, Scrum
Mostra azienda e link
Gratis, dopo l'accesso.
Candidati
Apri l'azienda e il link qui sopra: la candidatura arriva direttamente nel sistema di selezione dell'azienda, senza intermediari.

Descrizione

Responsabilità

Обязанности:

Projektowanie i implementacja procesów Spark SQL/PySpark do walidacji i porównywania danych (MongoDB/ODS)., Implementacja reguł jakości danych, detekcji duplikatów, anomalii i braków oraz raportowania/alertowania., Integracja i optymalizacja Spark–MongoDB (MongoDB Spark Connector, partitioning, push-down, schema-aware reads)., Projektowanie warstwy danych Raw → Bronze → Silver → Gold z wykorzystaniem Delta Lake/Iceberg/Hudi oraz CI/CD dla schematów i migracji., Monitoring i observability procesów Spark/batch/stream (Prometheus, Grafana, OpenTelemetry, Dynatrace) oraz definiowanie SLA/SLO., Automatyzacja deploymentów Spark na Docker/Kubernetes (Spark Operator)., Diagnozowanie problemów z danymi, wydajnością i opóźnieniami procesów., Tworzenie dokumentacji technicznej, runbooków i diagramów przepływu danych., Współpraca w Scrum/Kanban z Data Engineerami, BA, testerami i DevOps; prowadzenie warsztatów i code review.

Опыт: 4+ lata doświadczenia w pracy z Apache Spark w środowisku produkcyjnym., Bardzo dobra znajomość PySpark, Spark SQL, DataFrames i Structured Streaming., Doświadczenie z MongoDB i Spark Connector oraz znajomość modelowania i indeksowania danych., Praktyczna znajomość Apache Iceberg i architektury Data Lakehouse (upsert/merge, optymalizacja zapisów)., Doświadczenie w CI/CD z Jenkins, w tym automatyzacji testów i deploymentów aplikacji Spark., Bardzo dobra znajomość Python oraz Spark SQL., Znajomość Prometheus i Grafana w obszarze monitoringu i observa

Descrizione completa, azienda e link per candidarti: dopo l'accesso. Accedi
I contatti del datore di lavoro (email/telefono/telegram) sono nascosti nell'anteprima pubblica.
Domanda urgente? Scrivi a @termdocs