Wir verwenden technische Cookies und das anonymisierte Besuchsprotokoll von Zorky. Yandex Metrica (Daten werden auf Servern in Russland gespeichert) läuft nur mit Ihrer Einwilligung. Wir verkaufen keine Daten. Mehr zu Cookies und Statistik.
Zorky läuft im Testmodus — alles ist kostenlos. Stellen und Unternehmensseiten sind für alle offen; Links zu den Anzeigen und Ihre persönliche Stellenauswahl gibt es nach der Registrierung. Registrieren →
← Alle Stellen

Senior Data Engineer

Senior9.000 SGD · Zeitraum nicht angegebenSingapore, SGvor 3 Wo.
Markteinblicke
📊 Data Engineering: Gehälter und Nachfrage am Markt
Stack
OwnershipLead ManagementProduction TestingUniquenessSecurity ReconciliationsAWSInformation SystemsClassificationSoftware EngineeringTeaching QualificationDatabricksData Governance
Details
Erfahrung
ab 7 Jahren
Methoden
CI/CD, MLOps
Ausbildung
Hochschulabschluss
Unternehmen und Link anzeigen
Kostenlos, nach der Anmeldung.
Bewerben
Öffnen Sie oben das Unternehmen und den Link — Ihre Bewerbung geht direkt in das Recruiting-System des Unternehmens, ohne Vermittler.

Beschreibung

Key

Aufgaben

Responsibilities

  • Data Pipeline Architecture and Delivery: Lead the design and implementation of maintainable batch and streaming pipelines that ingest, validate, transform and publish structured, semi-structured and unstructured data across AWS and Databricks. • Lakehouse and Data Product Engineering: Design Bronze, Silver and Gold data layers using Delta Lake or equivalent patterns; develop reusable domain data models, curated datasets and data products with explicit ownership, definitions and service expectations. • Source Integration and Incremental Processing: Implement reliable ingestion from databases, files, APIs and event streams using full-load, incremental, change-data-capture and replayable processing patterns appropriate to each source. • Data Quality and Contracts: Establish schema enforcement, data contracts, automated validation, reconciliation and anomaly checks covering completeness, validity, consistency, uniqueness, timeliness and referential integrity. • Orchestration and Deployment Automation: Build parameterised workflows using Databricks Workflows or Lakeflow and relevant AWS services; integrate automated testing, nfrastructure as code and CI/CD controls across development, test and production environments. • Metadata, Lineage and Governance: Implement technical metadata, business definitions, end-to-end lineage, classification, ownership and access controls using Unity Catalog, AWS Glue Data Catalog, Lake Formation or approved platform capabiliti
Vollständige Beschreibung, Unternehmen und Bewerbungslink — nach der Anmeldung. Anmelden
Kontaktdaten des Arbeitgebers (E-Mail/Telefon/Telegram) sind in der öffentlichen Vorschau ausgeblendet.
Dringende Frage? Schreiben Sie @termdocs