Używamy techniczne pliki cookie i zanonimizowany dziennik wizyt Zorky. Yandex Metrica (dane są przechowywane na serwerach w Rosji) działa tylko za Twoją zgodą. Nigdy nie sprzedajemy danych. Więcej o cookies i statystykach.
Zorky działa w trybie testowym — wszystko jest bezpłatne. Oferty i strony firm są dostępne dla wszystkich; linki do ogłoszeń i osobiste zestawienie ofert — po rejestracji. Zarejestruj się →
← Wszystkie oferty

Senior Data Engineer – AWS / Databricks / PySpark

Senior7000 SGD · okres nie podanySingapore, SG3 tydz. temu
Analityka rynku
📊 Data Engineering: wynagrodzenia i popyt na rynku
Stack
GitPySparkAirflowAmazon S3Apache SparkData ModellingIAMAWSAmazon RedshiftVulnerability Assessment and Penetration Testing (VAPT)Infrastructure as Code (IaC)Databricks
Szczegóły
Doświadczenie
od 6 lat
Praktyki
MLOps, CI/CD
Wykształcenie
Wykształcenie wyższe
Pokaż firmę i link
Bezpłatnie, po zalogowaniu.
Aplikuj
Odkryj firmę i link powyżej — Twoja aplikacja trafia prosto do systemu rekrutacyjnego firmy, bez pośredników.

Opis

Senior Data Engineer – AWS / Databricks / PySpark Role Overview We are seeking an experienced Senior Data Engineer to design, develop and maintain scalable data pipelines and reusable data products on an AWS and Databricks-based data platform.

O stanowisku

The role

involves technical leadership in data engineering, lakehouse architecture, data quality, governance and performance optimisation to support analytics, reporting and AI/ML workloads. Key

Obowiązki

Responsibilities

Design, develop and optimise scalable batch and streaming data pipelines using AWS, Databricks, Python, PySpark and SQL . Build and maintain lakehouse architectures using Delta Lake , including Bronze, Silver and Gold data layers, curated datasets and reusable data products. Implement data ingestion from databases, APIs, files and event streams, including incremental loading, Change Data Capture (CDC), backfills and recovery.

Establish automated data quality checks, schema validation, reconciliation, metadata management and data lineage. Develop and automate data workflows using Databricks Workflows, Lakeflow and AWS services , incorporating CI/CD, automated testing and infrastructure as code. Implement data governance, access controls and security measures using Unity Catalog, AWS Glue Data Catalog, Lake Formation and IAM .

Monitor pipeline performance, troubleshoot production issues and optimise Spark/SQL workloads for scalability, reliability and cost efficiency. Lead technical design and code reviews, establish engineering s

Pełny opis, firma i link do aplikacji — po zalogowaniu. Zaloguj się
Kontakty pracodawcy (e-mail/telefon/Telegram) są ukryte w publicznym podglądzie.
Pilne pytanie? Napisz @termdocs