Wir verwenden technische Cookies und das anonymisierte Besuchsprotokoll von Zorky. Yandex Metrica (Daten werden auf Servern in Russland gespeichert) läuft nur mit Ihrer Einwilligung. Wir verkaufen keine Daten. Mehr zu Cookies und Statistik.
Zorky läuft im Testmodus — alles ist kostenlos. Stellen und Unternehmensseiten sind für alle offen; Links zu den Anzeigen und Ihre persönliche Stellenauswahl gibt es nach der Registrierung. Registrieren →
← Alle Stellen

Lead Software Engineer

LeadhybridKraków, PL →vor 5 Wo.
Markteinblicke
📊 Data Engineering: Gehälter und Nachfrage am Markt
Stack
ApachePySparkSparkPythonBig Dataci/cdicebergpysparkspark
Details
Methoden
CI/CD
Unternehmen und Link anzeigen
Kostenlos, nach der Anmeldung.
Bewerben
Öffnen Sie oben das Unternehmen und den Link — Ihre Bewerbung geht direkt in das Recruiting-System des Unternehmens, ohne Vermittler.

Beschreibung

Lead Software Engineer (Data Platform / Analytics IT – Apache Iceberg) Lokalizacja i model pracy: Lokalizacja: Kraków Model hybrydowy: 6 dni w miesiącu z biura Współpraca w modelu B2B Contracting przez […]

Aufgaben

Zakres obowiązków

Analiza i zbieranie wymagań funkcjonalnych oraz niefunkcjonalnych dla bieżących wdrożeń i długoterminowego rozwoju platformy. Prowadzenie projektowania oraz wdrażania procesów przetwarzania danych i zarządzania tabelami z wykorzystaniem PySpark oraz Apache Iceberg. Optymalizacja wydajności i kosztów związanych z wykorzystaniem Apache Iceberg, w tym strategii partycjonowania, rozmiaru plików, klastrowania danych oraz efektywności zapytań.

Odpowiedzialność za utrzymanie i rozwój operacji administracyjnych w Apache Iceberg (m.in. kompakcja danych, zarządzanie snapshotami i metadanymi, usuwanie osieroconych plików) oraz automatyzację tych procesów. Wykorzystywanie dogłębnej znajomości architektury wewnętrznej Apache Iceberg (metadane, manifesty, snapshoty, specyfikacje partycjonowania, ewolucja schematów) do rozwiązywania problemów i usprawniania działania platformy.

Promowanie wysokich standardów inżynierskich poprzez code review, automatyzację testów, praktyki CI/CD, rozwój monitoringu i gotowości produkcyjnej. Wsparcie dla usług i zbiorów danych utrzymywanych przez zespół, w tym udział w dyżurach produkcyjnych (jeśli wymagane). Mentoring i wsparcie mniej doświadczonych inżynierów, aktywny udział w dyskusjach technicznych oraz podejmowaniu decyzji projekt

Vollständige Beschreibung, Unternehmen und Bewerbungslink — nach der Anmeldung. Anmelden
Kontaktdaten des Arbeitgebers (E-Mail/Telefon/Telegram) sind in der öffentlichen Vorschau ausgeblendet.
Dringende Frage? Schreiben Sie @termdocs