← Todos los empleosSenior Data Engineer– Snowflake & Iceberg
SeniorremoteBern, DEhace 2 sem.
Postular
Abre la empresa y el enlace de arriba: tu candidatura va directamente al sistema de selección de la empresa, sin intermediarios.
Descripción
- ................
- Für unseren Kunden in Bern , suchen wir eine:n motivierte:n und aufgeschlossene:n Senior Data Engineer– Snowflake & Iceberg.
- Ziel des Projekts ist der Aufbau einer vollständigen, zuverlässigen und produktionsfähigen CDC-Lösung zur Synchronisation von TigerData nach Snowflake auf Basis von Apache Iceberg.
- Die Lösung soll hinsichtlich Zuverlässigkeit, Transparenz und Betriebsfähigkeit einen vergleichbaren Standard wie die bestehenden CDC-Prozesse mit Fivetran HVR erreichen,
Responsabilidades
Deine Aufgaben:
- Analyse und Bewertung des von TigerData bereitgestellten CDC-Ansatzes auf Basis von Apache Iceberg
- Definition und Konzeption einer geeigneten Zielarchitektur für die kontinuierliche Synchronisation von TigerData nach Snowflake
- Konfiguration und Optimierung von Snowflake für die Verarbeitung der über Apache Iceberg bereitgestellten Daten
- Konzeption und Implementierung der erforderlichen Iceberg-Komponenten und Datenstrukturen
- Sicherstellung einer zuverlässigen Verarbeitung von Inserts, Updates und Deletes
- Berücksichtigung von Schema Evolution, Datenkonsistenz, Datenlatenz, Recovery und Reconciliation
- Aufbau von Monitoring-, Logging- und Fehlerbehandlungsmechanismen für einen stabilen Produktionsbetrieb
- Technische Abstimmung mit TigerData und bei Bedarf direkt mit Snowflake
- Unterstützung bei der Implementierung, Validierung und Produktivsetzung der End-to-End-Lösung
- Dokumentation der technischen Architektur sowie Wissenstransfer an das interne Team
Requisitos
Dein Profil:
Mehrjährige pr
Descripción completa, empresa y enlace para postular: después de iniciar sesión.
Iniciar sesiónLos contactos del empleador (correo/teléfono/telegram) están ocultos en la vista previa pública.