Descrizione
- Szukamy Senior Data Engineer MDP do modernizacji i rozwoju platformy danych w sektorze bankowym.
- O projekcie
- Projekt obejmuje migrację starszych potoków ETL do rozwiązania opartego na Apache Airflow i Kubernetes oraz dalszy rozwój platformy danych. Platforma integruje, przetwarza i dostarcza dane finansowe wykorzystywane w podejmowaniu decyzji i raportowaniu.
- Warunki współpracy
- kontrakt B2B
- praca hybrydowa: 3 dni w tygodniu w biurze (Gdańsk)
- Twój zakres obowiązków
- Migracja ponad 100 istniejących potoków ETL z dziesiątek systemów źródłowych na platformę orkiestracji Apache Airflow działającą na Kubernetes
- Projektowanie, budowanie i utrzymywanie niezawodnych, obserwowalnych i łatwych w obsłudze potoków pozyskiwania danych
- Współpraca z zespołami systemów źródłowych i interesariuszami z sektora bankowego przy podłączaniu nowych źródeł danych finansowych oraz utrzymaniu istniejących
- Stopniowe angażowanie się w warstwę transformacji Snowflake, w tym modelowanie danych z użyciem DBT i Pythona
- Współtworzenie praktyk CI/CD, testowania i jakości danych w miarę rozwoju narzędzi i procesów
- Współkształtowanie kierunku technicznego rozwijającej się platformy i zespołu oraz stopniowe przejmowanie szerszej odpowiedzialności
Requisiti
Wymagania
- Doświadczenie w programowaniu w Pythonie
- Doświadczenie w orkiestracji potoków danych z użyciem Apache Airflow
- Doświadczenie w pracy z SQL
- Doświadczenie w tworzeniu procesów ETL i potoków danych
- Doświadczenie w korzystaniu z systemu kontroli wersji Git
- Doświadc
Descrizione completa, azienda e link per candidarti: dopo l'accesso.
AccediI contatti del datore di lavoro (email/telefono/telegram) sono nascosti nell'anteprima pubblica.