Usamos cookies técnicos e o registro de visitas anonimizado do Zorky. O Yandex Metrica (dados armazenados em servidores na Rússia) só funciona com o seu consentimento. Nunca vendemos dados. Mais sobre cookies e estatísticas.
O Zorky está em modo de teste — tudo é gratuito. As vagas e as páginas das empresas são abertas a todos; os links dos anúncios e sua seleção pessoal abrem após o cadastro. Cadastre-se →
← Todas as vagas

Spark / Data Lakehouse Developer

SeniorremotePoland, PLhoje
Análises de mercado
📊 Data Engineering: salários e demanda no mercado
Stack
data lakehousesparkci/cdconfluencedelta lakedevopsdockergrafanaicebergjenkinsjirakanban
Detalhes
Experiência
4+ anos
Práticas
CI/CD, DevOps, Kanban, Scrum
Mostrar empresa e link
Grátis, depois de entrar.
Candidatar-se
Abra a empresa e o link acima — sua candidatura vai direto para o sistema de recrutamento da empresa, sem intermediários.

Descrição

Responsabilidades

Обязанности:

Projektowanie i implementacja procesów PySpark oraz Spark SQL służących do porównywania i rekoncyliacji danych pomiędzy MongoDB (ODS) a systemami źródłowymi., Tworzenie i rozwój reguł Data Quality, wykrywanie duplikatów, brakujących danych oraz anomalii wraz z generowaniem raportów i alertów., Integracja Apache Spark z MongoDB przy wykorzystaniu MongoDB Spark Connector., Optymalizacja procesów odczytu i przetwarzania danych, w tym partitioning, schema-aware reads oraz query push-down., Projektowanie i rozwój warstw danych w architekturze Data Lakehouse (raw/bronze/silver/gold) z wykorzystaniem Apache Iceberg, Delta Lake lub Apache Hudi., Implementacja i utrzymanie procesów CI/CD dla aplikacji Spark, schematów tabel oraz migracji danych., Optymalizacja wydajności środowiska Spark, w tym caching, broadcast joins, Adaptive Query Execution (AQE) oraz optymalizacja kosztów przetwarzania danych., Konfiguracja monitoringu i obserwowalności rozwiązań z wykorzystaniem Prometheus, Grafana, OpenTelemetry oraz Dynatrace., Definiowanie i monitorowanie SLA/SLO oraz przygotowywanie mechanizmów alertowania dla procesów danych., Automatyzacja wdrożeń aplikacji przy użyciu Docker, Kubernetes oraz Spark Operator., Analiza i rozwiązywanie problemów związanych z jakością danych, opóźnieniami przetwarzania oraz niespójnościami danych., Tworzenie dokumentacji technicznej, runbooków oraz diagramów przepływu danych., Współpraca z zespołami Data Engineering, Business Analysis, QA oraz Dev

Descrição completa, empresa e link para se candidatar: depois de entrar. Entrar
Os contatos do empregador (e-mail/telefone/telegram) ficam ocultos na prévia pública.
Pergunta urgente? Escreva para @termdocs