Używamy techniczne pliki cookie i zanonimizowany dziennik wizyt Zorky. Yandex Metrica (dane są przechowywane na serwerach w Rosji) działa tylko za Twoją zgodą. Nigdy nie sprzedajemy danych. Więcej o cookies i statystykach.
Zorky działa w trybie testowym — wszystko jest bezpłatne. Oferty i strony firm są dostępne dla wszystkich; linki do ogłoszeń i osobiste zestawienie ofert — po rejestracji. Zarejestruj się →
← Wszystkie oferty

Senior Data Engineer

Senior9000 SGD · okres nie podanySingapore, SG3 tydz. temu
Analityka rynku
📊 Data Engineering: wynagrodzenia i popyt na rynku
Stack
OwnershipLead ManagementProduction TestingUniquenessSecurity ReconciliationsAWSInformation SystemsClassificationSoftware EngineeringTeaching QualificationDatabricksData Governance
Szczegóły
Doświadczenie
od 7 lat
Praktyki
CI/CD, MLOps
Wykształcenie
Wykształcenie wyższe
Pokaż firmę i link
Bezpłatnie, po zalogowaniu.
Aplikuj
Odkryj firmę i link powyżej — Twoja aplikacja trafia prosto do systemu rekrutacyjnego firmy, bez pośredników.

Opis

Key

Obowiązki

Responsibilities

  • Data Pipeline Architecture and Delivery: Lead the design and implementation of maintainable batch and streaming pipelines that ingest, validate, transform and publish structured, semi-structured and unstructured data across AWS and Databricks. • Lakehouse and Data Product Engineering: Design Bronze, Silver and Gold data layers using Delta Lake or equivalent patterns; develop reusable domain data models, curated datasets and data products with explicit ownership, definitions and service expectations. • Source Integration and Incremental Processing: Implement reliable ingestion from databases, files, APIs and event streams using full-load, incremental, change-data-capture and replayable processing patterns appropriate to each source. • Data Quality and Contracts: Establish schema enforcement, data contracts, automated validation, reconciliation and anomaly checks covering completeness, validity, consistency, uniqueness, timeliness and referential integrity. • Orchestration and Deployment Automation: Build parameterised workflows using Databricks Workflows or Lakeflow and relevant AWS services; integrate automated testing, nfrastructure as code and CI/CD controls across development, test and production environments. • Metadata, Lineage and Governance: Implement technical metadata, business definitions, end-to-end lineage, classification, ownership and access controls using Unity Catalog, AWS Glue Data Catalog, Lake Formation or approved platform capabiliti
Pełny opis, firma i link do aplikacji — po zalogowaniu. Zaloguj się
Kontakty pracodawcy (e-mail/telefon/Telegram) są ukryte w publicznym podglądzie.
Pilne pytanie? Napisz @termdocs