Używamy techniczne pliki cookie i zanonimizowany dziennik wizyt Zorky. Yandex Metrica (dane są przechowywane na serwerach w Rosji) działa tylko za Twoją zgodą. Nigdy nie sprzedajemy danych. Więcej o cookies i statystykach.
Zorky działa w trybie testowym — wszystko jest bezpłatne. Oferty i strony firm są dostępne dla wszystkich; linki do ogłoszeń i osobiste zestawienie ofert — po rejestracji. Zarejestruj się →
← Wszystkie oferty

Lead Software Engineer

LeadhybridKraków, PL →5 tydz. temu
Analityka rynku
📊 Data Engineering: wynagrodzenia i popyt na rynku
Stack
ApachePySparkSparkPythonBig Dataci/cdicebergpysparkspark
Szczegóły
Praktyki
CI/CD
Pokaż firmę i link
Bezpłatnie, po zalogowaniu.
Aplikuj
Odkryj firmę i link powyżej — Twoja aplikacja trafia prosto do systemu rekrutacyjnego firmy, bez pośredników.

Opis

Lead Software Engineer (Data Platform / Analytics IT – Apache Iceberg) Lokalizacja i model pracy: Lokalizacja: Kraków Model hybrydowy: 6 dni w miesiącu z biura Współpraca w modelu B2B Contracting przez […]

Obowiązki

Zakres obowiązków

Analiza i zbieranie wymagań funkcjonalnych oraz niefunkcjonalnych dla bieżących wdrożeń i długoterminowego rozwoju platformy. Prowadzenie projektowania oraz wdrażania procesów przetwarzania danych i zarządzania tabelami z wykorzystaniem PySpark oraz Apache Iceberg. Optymalizacja wydajności i kosztów związanych z wykorzystaniem Apache Iceberg, w tym strategii partycjonowania, rozmiaru plików, klastrowania danych oraz efektywności zapytań.

Odpowiedzialność za utrzymanie i rozwój operacji administracyjnych w Apache Iceberg (m.in. kompakcja danych, zarządzanie snapshotami i metadanymi, usuwanie osieroconych plików) oraz automatyzację tych procesów. Wykorzystywanie dogłębnej znajomości architektury wewnętrznej Apache Iceberg (metadane, manifesty, snapshoty, specyfikacje partycjonowania, ewolucja schematów) do rozwiązywania problemów i usprawniania działania platformy.

Promowanie wysokich standardów inżynierskich poprzez code review, automatyzację testów, praktyki CI/CD, rozwój monitoringu i gotowości produkcyjnej. Wsparcie dla usług i zbiorów danych utrzymywanych przez zespół, w tym udział w dyżurach produkcyjnych (jeśli wymagane). Mentoring i wsparcie mniej doświadczonych inżynierów, aktywny udział w dyskusjach technicznych oraz podejmowaniu decyzji projekt

Pełny opis, firma i link do aplikacji — po zalogowaniu. Zaloguj się
Kontakty pracodawcy (e-mail/telefon/Telegram) są ukryte w publicznym podglądzie.
Pilne pytanie? Napisz @termdocs