Używamy techniczne pliki cookie i zanonimizowany dziennik wizyt Zorky. Yandex Metrica (dane są przechowywane na serwerach w Rosji) działa tylko za Twoją zgodą. Nigdy nie sprzedajemy danych. Więcej o cookies i statystykach.
Zorky działa w trybie testowym — wszystko jest bezpłatne. Oferty i strony firm są dostępne dla wszystkich; linki do ogłoszeń i osobiste zestawienie ofert — po rejestracji. Zarejestruj się →
← Wszystkie oferty

Spark / Data Lakehouse Developer

SeniorremotePoland, PLdziś
Analityka rynku
📊 Data Engineering: wynagrodzenia i popyt na rynku
Stack
data lakehousesparkci/cdconfluencedelta lakedevopsdockergrafanaicebergjenkinsjirakanban
Szczegóły
Doświadczenie
od 4 lat
Praktyki
CI/CD, DevOps, Kanban, Scrum
Pokaż firmę i link
Bezpłatnie, po zalogowaniu.
Aplikuj
Odkryj firmę i link powyżej — Twoja aplikacja trafia prosto do systemu rekrutacyjnego firmy, bez pośredników.

Opis

Obowiązki

Обязанности:

Projektowanie i implementacja procesów PySpark oraz Spark SQL służących do porównywania i rekoncyliacji danych pomiędzy MongoDB (ODS) a systemami źródłowymi., Tworzenie i rozwój reguł Data Quality, wykrywanie duplikatów, brakujących danych oraz anomalii wraz z generowaniem raportów i alertów., Integracja Apache Spark z MongoDB przy wykorzystaniu MongoDB Spark Connector., Optymalizacja procesów odczytu i przetwarzania danych, w tym partitioning, schema-aware reads oraz query push-down., Projektowanie i rozwój warstw danych w architekturze Data Lakehouse (raw/bronze/silver/gold) z wykorzystaniem Apache Iceberg, Delta Lake lub Apache Hudi., Implementacja i utrzymanie procesów CI/CD dla aplikacji Spark, schematów tabel oraz migracji danych., Optymalizacja wydajności środowiska Spark, w tym caching, broadcast joins, Adaptive Query Execution (AQE) oraz optymalizacja kosztów przetwarzania danych., Konfiguracja monitoringu i obserwowalności rozwiązań z wykorzystaniem Prometheus, Grafana, OpenTelemetry oraz Dynatrace., Definiowanie i monitorowanie SLA/SLO oraz przygotowywanie mechanizmów alertowania dla procesów danych., Automatyzacja wdrożeń aplikacji przy użyciu Docker, Kubernetes oraz Spark Operator., Analiza i rozwiązywanie problemów związanych z jakością danych, opóźnieniami przetwarzania oraz niespójnościami danych., Tworzenie dokumentacji technicznej, runbooków oraz diagramów przepływu danych., Współpraca z zespołami Data Engineering, Business Analysis, QA oraz Dev

Pełny opis, firma i link do aplikacji — po zalogowaniu. Zaloguj się
Kontakty pracodawcy (e-mail/telefon/Telegram) są ukryte w publicznym podglądzie.
Pilne pytanie? Napisz @termdocs