Używamy techniczne pliki cookie i zanonimizowany dziennik wizyt Zorky. Yandex Metrica (dane są przechowywane na serwerach w Rosji) działa tylko za Twoją zgodą. Nigdy nie sprzedajemy danych. Więcej o cookies i statystykach.
Zorky działa w trybie testowym — wszystko jest bezpłatne. Oferty i strony firm są dostępne dla wszystkich; linki do ogłoszeń i osobiste zestawienie ofert — po rejestracji. Zarejestruj się →
← Wszystkie oferty

Data Engineer

Senior6500 SGD · okres nie podanySingapore, SG2 dn. temu
Analityka rynku
📊 Data Engineering: wynagrodzenia i popyt na rynku
Stack
ci/cdflinkgitlabjavakafkakubernetess3scalasparksql
Szczegóły
Doświadczenie
od 5 lat
Praktyki
CI/CD
Pokaż firmę i link
Bezpłatnie, po zalogowaniu.
Aplikuj
Odkryj firmę i link powyżej — Twoja aplikacja trafia prosto do systemu rekrutacyjnego firmy, bez pośredników.

Opis

Job Overview

Design, develop and maintain data engineering solutions, including large-scale batch and streaming pipelines, distributed processing and containerized data workloads.

Obowiązki

Key Responsibilities

  • Design, develop and maintain ingestion, transformation and validation pipelines using Apache Spark, Apache Flink and Apache Kafka.
  • Implement distributed processing using Java or Scala and SQL, integrating data sources and S3-compatible object storage.
  • Maintain schemas, metadata, data lineage and data-quality controls across processing stages, supporting layered data processing where applicable.
  • Deploy and scale workloads on Kubernetes, and implement automated tests, GitLab CI/CD, monitoring and operational troubleshooting.
  • Implement checkpointing, restart recovery, retention and lifecycle controls.
  • Support high availability, backup, disaster recovery and inter-site synchronization in line with agreed requirements.

Requirements & Skills

  • 5–8 years of data engineering experience, including building and deploying large-scale data systems.
  • Strong hands-on experience designing batch and streaming pipelines using Apache Spark, Apache Flink and Apache Kafka.
  • Proficiency in Java or Scala for distributed data processing, together with SQL.
  • Experience deploying and scaling data workloads in containerised Kubernetes environments.
  • Experience with S3-compatible object storage, data-quality controls, schema and lineage management, checkpointing and recovery, GitLab and CI/CD practices.

How t

Pełny opis, firma i link do aplikacji — po zalogowaniu. Zaloguj się
Kontakty pracodawcy (e-mail/telefon/Telegram) są ukryte w publicznym podglądzie.
Pilne pytanie? Napisz @termdocs