Be in IT specjalizuje się w kompleksowej rekrutacji specjalistów IT dla polskich i międzynarodowych firm. Wspieramy klientów w pozyskiwaniu ekspertów z obszarów software development, AI, data, cloud, cybersecurity, ERP, CRM oraz zarządzania IT.
Stawiamy na znajomość technologii, przejrzystą komunikację i partnerskie podejście, dzięki którym skutecznie dopasowujemy kandydatów do potrzeb organizacji i realizowanych projektów.
Obecnie dla naszego klienta poszukujemy osoby na stanowisko: Mid GCP Data Engineer.
Zakres obowiązków:
Do projektu realizowanego dla naszego klienta poszukujemy doświadczonej osoby na stanowisko Data Engineer, która będzie odpowiedzialna za rozwój i utrzymanie procesów przetwarzania danych oraz udział w migracji istniejącej Hurtowni Danych Oracle do środowiska Google Cloud Platform (GCP).
Projektowanie, rozwój i utrzymanie procesów pobierania danych z różnych systemów źródłowych do Data Lake.
Budowa i optymalizacja złożonych potoków danych (Data Pipelines) oraz procesów ETL z wykorzystaniem Apache Spark, Apache Kafka, Python i SQL.
Tworzenie i rozwijanie frameworków wspierających automatyzację przetwarzania danych.
Implementacja kompleksowych mechanizmów testowania i kontroli jakości danych.
Udział w migracji Hurtowni Danych Oracle do środowiska Google Cloud Platform (GCP).
Integracja danych pochodzących z różnych źródeł, m.in. Kafka, MQ, SFTP, baz danych, API oraz udziałów plikowych.
Rozwój i optymalizacja procesów przetwarzania danych z wykorzys