Usiamo cookie tecnici e il registro anonimo delle visite di Zorky. Yandex Metrica (dati conservati su server in Russia) funziona solo con il tuo consenso. Non vendiamo mai dati. Ulteriori informazioni su cookie e statistiche.
Zorky è in modalità test: è tutto gratuito. Le offerte e le pagine delle aziende sono aperte a tutti; i link agli annunci e la tua selezione personale si aprono dopo la registrazione. Registrati →
← Tutte le offerte

Lead Software Engineer

LeadhybridKraków, PL →5 sett. fa
Analisi del mercato
📊 Data Engineering: stipendi e domanda sul mercato
Stack
ApachePySparkSparkPythonBig Dataci/cdicebergpysparkspark
Dettagli
Practices
CI/CD
Mostra azienda e link
Gratis, dopo l'accesso.
Candidati
Apri l'azienda e il link qui sopra: la candidatura arriva direttamente nel sistema di selezione dell'azienda, senza intermediari.

Descrizione

Lead Software Engineer (Data Platform / Analytics IT – Apache Iceberg) Lokalizacja i model pracy: Lokalizacja: Kraków Model hybrydowy: 6 dni w miesiącu z biura Współpraca w modelu B2B Contracting przez […]

Responsabilità

Zakres obowiązków

Analiza i zbieranie wymagań funkcjonalnych oraz niefunkcjonalnych dla bieżących wdrożeń i długoterminowego rozwoju platformy. Prowadzenie projektowania oraz wdrażania procesów przetwarzania danych i zarządzania tabelami z wykorzystaniem PySpark oraz Apache Iceberg. Optymalizacja wydajności i kosztów związanych z wykorzystaniem Apache Iceberg, w tym strategii partycjonowania, rozmiaru plików, klastrowania danych oraz efektywności zapytań.

Odpowiedzialność za utrzymanie i rozwój operacji administracyjnych w Apache Iceberg (m.in. kompakcja danych, zarządzanie snapshotami i metadanymi, usuwanie osieroconych plików) oraz automatyzację tych procesów. Wykorzystywanie dogłębnej znajomości architektury wewnętrznej Apache Iceberg (metadane, manifesty, snapshoty, specyfikacje partycjonowania, ewolucja schematów) do rozwiązywania problemów i usprawniania działania platformy.

Promowanie wysokich standardów inżynierskich poprzez code review, automatyzację testów, praktyki CI/CD, rozwój monitoringu i gotowości produkcyjnej. Wsparcie dla usług i zbiorów danych utrzymywanych przez zespół, w tym udział w dyżurach produkcyjnych (jeśli wymagane). Mentoring i wsparcie mniej doświadczonych inżynierów, aktywny udział w dyskusjach technicznych oraz podejmowaniu decyzji projekt

Descrizione completa, azienda e link per candidarti: dopo l'accesso. Accedi
I contatti del datore di lavoro (email/telefono/telegram) sono nascosti nell'anteprima pubblica.
Domanda urgente? Scrivi a @termdocs