Nous utilisons des cookies techniques et le journal de visites anonymisé de Zorky. Yandex Metrica (données stockées sur des serveurs en Russie) ne fonctionne qu'avec votre consentement. Nous ne vendons jamais de données. En savoir plus sur les cookies et les statistiques.
Zorky est en mode test — tout est gratuit. Les offres et les pages des entreprises sont ouvertes à tous ; les liens vers les annonces et votre sélection personnelle s'ouvrent après inscription. Inscription →
← Toutes les offres

Tech Lead Data engineer

Leadoffice500 000 RUB · période non indiquéeМосква, RU →il y a 3 j
Analyses du marché
📊 Data Engineering: salaires et demande sur le marché
Stack
ci/cddata lakehousedevopsflinkgreenplumhadoopicebergjavajenkinskafkapythonscala
Détails
Pratiques
CI/CD, DevOps
Afficher l'entreprise et le lien
Gratuit, après connexion.
Postuler
Ouvrez l'entreprise et le lien ci-dessus — votre candidature arrive directement dans le système de recrutement de l'entreprise, sans intermédiaire.

Description

Наша команда занимается амбициозной и стратегически важной задачей – построение единого хранилища данных блока B2C - централизованное и эталонное место хранения данных. Мы ищем сильного инженера данных для работы с крупными распределенными системами. Наш стек строится вокруг экосистемы Hadoop, и мы активно развиваем платформу в сторону Data Lakehouse на базе Apache Iceberg и Data Streamhouse на базе Kafka и Apache Flink.

Вам предстоит работать с высоконагруженными системами, потоковой обработкой и участвовать в построении единого хранилища данных компании.

Missions

Обязанности

разработка и оптимизация витрин данных: Проектирование и реализация эффективных ETL и ELT процессов для витрин данных с использованием Apache Spark и Greenplum. Обеспечение высокой производительности и отказоустойчивости пайплайнов.

потоковая обработка данных (RT и NRT): Разработка и поддержка стриминговых пайплайнов. Построение NRT пайплайнов обработки данных из Kafka в Apache Iceberg (Kafka2Iceberg) и RT пайплайнов между Kafka (Kafka2Kafka) с использованием Apache Flink и Spark Structured Streaming.

Архитектура данных:

активное участие в разработке архитектуры решения потоковой обработки данных Data Streamhouse данных для обеспечения разработка предложений по развитию Data Lakehouse, внедрение best practices работы с Apache Iceberg (оптимизация партиционирования, compaction, time travel).

Инженерные практики:

реализация механизмов инкрементальной загрузки данных для минимизации времени обработки и нагрузки н

Description complète, entreprise et lien pour postuler : après connexion. Se connecter
Les contacts de l'employeur (e-mail/téléphone/telegram) sont masqués dans l'aperçu public.
Question urgente ? Écrivez à @termdocs