Wspólnie z naszym Partnerem, liderem branży ubezpieczeniowej i reasekuracyjnej , poszukujemy doświadczonego/ej specjalisty/ki do świadczenia usług jako Data Engineer . Projekt koncentruje się na obszarze Data Intake: pozyskiwaniu danych z różnych źródeł oraz automatyzacji i niezawodności pipeline'ów w środowisku Azure i Databricks. 💡 ZAKRES USŁUG: Nadawanie kierunku technicznego i rozwijanie dobrych praktyk inżynierskich we współpracy z innymi specjalistami w projekcie.
Transformowanie i przygotowywanie danych do dalszego wykorzystania przez kolejne warstwy systemu. Scheduling i monitoring pipeline'ów z zapewnieniem właściwej obsługi błędów i logowania. Budowanie i utrzymywanie pipeline'ów do pozyskiwania danych z różnych źródeł.
Dbanie o jakość danych (data quality) na każdym etapie procesu intake. Automatyzowanie procesów data intake w środowisku chmurowym. 🔍 WYMAGANE KOMPETENCJE: Udokumentowane doświadczenie w data ingestion i projektowaniu niezawodnych pipeline'ów.
Znajomość ekosystemu Azure w obszarze przetwarzania i przechowywania danych. Praktyczna znajomość Python w kontekście budowy pipeline'ów danych. Doświadczenie z platformą Databricks w środowisku produkcyjnym.
Biegła znajomość języka polskiego i angielskiego. Mile widziane: Znajomość PySpark i doświadczenie w przetwarzaniu danych na dużą skalę. Umiejętność porządkowania sposobu pracy i wdrażania standardów technicznych w projekcie.
Doświadczenie na poziomie seniorskim pozwalające na samodzielne nadawanie kierunk