Praca hybrydowa: 2x w tyg biura w Warszawie Poszukujemy Cloud Data Architecta , który będzie odpowiedzialny za projektowanie, rozwój i wdrażanie nowoczesnych rozwiązań z obszaru Data Engineering w środowisku Google Cloud Platform (GCP). Szukamy osoby łączącej kompetencje architektoniczne z praktycznym doświadczeniem technicznym, która potrafi projektować skalowalne rozwiązania przetwarzania danych, wspierać ich implementację oraz dbać o jakość, wydajność i niezawodność procesów danych.
Zakres obowiązków
Projektowanie i rozwój architektury rozwiązań danych w środowisku Google Cloud Platform (GCP). Projektowanie i wdrażanie skalowalnych procesów ETL/ELT w architekturze batch oraz streaming. Projektowanie i rozwój modeli danych oraz procesów transformacji z wykorzystaniem BigQuery, dbt Core i PySpark.
Projektowanie i utrzymywanie procesów orkiestracji danych z wykorzystaniem Apache Airflow / Cloud Composer. Definiowanie standardów, dobrych praktyk oraz wzorców architektonicznych w obszarze Data Engineering. Projektowanie mechanizmów walidacji, monitorowania i kontroli jakości danych (Data Quality).
Współpraca z architektami, modelarzami danych oraz zespołami developerskimi przy wdrażaniu modeli i rozwiązań danych. Współtworzenie i rozwój frameworków oraz generatorów procesów zasileń danych. Nadzór nad jakością, wydajnością, skalowalnością i niezawodnością wdrażanych rozwiązań.
Przygotowywanie i weryfikacja testów jednostkowych, integracyjnych oraz jakościowych. Wsparcie procesu