Мы используем технические cookie и обезличенный журнал посещений Zorky. Яндекс Метрику (данные хранятся на серверах в РФ) включаем только с вашего согласия. Данные не продаём. Подробнее о cookie и статистике.
Zorky в тестовом режиме — всё бесплатно. Вакансии и страницы компаний открыты всем; ссылки на объявления и личная подборка — после регистрации. Зарегистрироваться →

Data Engineer (general): рынок

Данные на 19 ноября 2026: открытых вакансий Data Engineer (general) — 5 563, удалённых — 31% среди вакансий с указанным форматом работы; медианная зарплата в объявлениях — $9 083/мес (по 727 вакансиям с указанной зарплатой). Источник — Zorky, обновляется ежедневно.

Data Engineer — инженерия данных: ETL/ELT-пайплайны, DWH-моделирование, потоковая обработка, оркестрация задач, data-lakes. Самый ёмкий сегмент Data-направления, на стыке backend-разработки и аналитики. Семейство ролей: Data Engineer (general — pipelines + DWH), ETL Developer (классический batch — Informatica/SSIS legacy + Airflow), Analytics Engineer (dbt + DWH, на стыке с Analyst), Pipeline Engineer (focus на оркестрацию — Airflow/Dagster/Prefect), Data Platform Engineer (infra для data-команд — Kubernetes + Spark cluster + Delta Lake/Iceberg). Стек: Python (must — pandas, PySpark, SDK для облаков), SQL (must, advanced — оконные функции, CTE, оптимизация), Airflow/Dagster/Prefect (оркестрация), Spark/Flink/Kafka Streams (big data + streaming), dbt (analytics engineering — transform layer), DWH: Snowflake/BigQuery/ClickHouse/Redshift/Greenplum, Kafka+Debezium (CDC), S3/HDFS/Delta Lake/Apache Iceberg, AWS/GCP/Azure data-стеки, Docker+Kubernetes. Топ-стек: python, cloud, sql, aws, azure. Среди вакансий с указанным форматом работы 31% — удалённые.

Данные на:

Главные цифры рынка Data Engineer (general): открытые вакансии, медианная зарплата, наблюдаемый пул специалистов и доля удалёнки.

5 563
открытых вакансий — по заголовку вакансии, без перепубликаций
$9 083
медиана $/мес
31%
удалённых

На рынке Data Engineer (general) сейчас 5 563 открытых вакансий, из них 4 831 со свежим наблюдением. Медианная зарплата $9 083/мес.

Среди вакансий с указанным форматом работы 31% — удалённые. Работа полностью cloud-based. Сбер — чаще офис из-за data residency / compliance.

⚠ зарплата известна у 727 из 5563 вакансий; доля удалёнки — от 4501 с указанным форматом; свежими наблюдениями считаются 4831; тренд и сложность найма не показываются

Динамика: вакансии и источники

Сколько вакансий Data Engineer (general) появлялось каждую неделю с 1 июн. и из скольких источников они пришли. Нижний график нужен, чтобы отличать рост рынка от роста нашего охвата: скачок вакансий в неделю, когда подключились новые источники, — это мы стали видеть больше, а не рынок вырос.

Новые вакансии за неделю

Данные графика
Новые вакансии за неделю. Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
ПериодНовые вакансии за неделю
2026-06-01294
2026-06-08213
2026-06-15249
2026-06-22673
2026-06-29541
2026-07-06533
2026-07-13701
2026-07-20857
2026-07-27477
2026-08-03417
2026-08-10253
2026-08-17294
2026-08-24272
2026-08-31297
2026-09-07318
2026-09-14377
2026-09-211 172
2026-09-281 043
2026-10-05923
2026-10-122 237
2026-10-191 265
2026-10-261 352
2026-11-021 262
2026-11-091 420

Активных источников за неделю

Источников всего за период: 281. ▲ — неделя, когда подключилось много новых источников.

Данные графика
Активных источников за неделю. Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
ПериодАктивных источников
2026-06-0127
2026-06-0826
2026-06-1528
2026-06-2245
2026-06-2987
2026-07-0672
2026-07-1382
2026-07-2092
2026-07-2779
2026-08-0379
2026-08-1052
2026-08-1754
2026-08-2448
2026-08-3156
2026-09-0759
2026-09-1458
2026-09-2171
2026-09-2875
2026-10-0579
2026-10-1280
2026-10-1990
2026-10-2697
2026-11-0295
2026-11-09101
Подключение новых источников: 22 июн. +21 · 29 июн. +48 · 6 июл. +29 · 13 июл. +21 · 20 июл. +19 · все недели (23) — в таблице
НеделяНовых источниковНовых вакансий
8 июн.+6213
15 июн.+7249
22 июн.+21673
29 июн.+48541
6 июл.+29533
13 июл.+21701
20 июл.+19857
27 июл.+8477
3 авг.+10417
10 авг.+5253
17 авг.+3294
24 авг.+2272
31 авг.+8297
7 сент.+4318
14 сент.+4377
21 сент.+61 172
28 сент.+71 043
5 окт.+4923
12 окт.+62 237
19 окт.+111 265
26 окт.+71 352
2 нояб.+91 262
9 нояб.+91 420

Текущая неделя ещё не закончилась и не показана: неполная неделя выглядела бы как спад.

Неделя — по дате появления вакансии, все статусы; отбор вакансий — то же правило, что у счётчика этой страницы. Источники — различные каналы сбора, их имена не публикуются.

Данные графика
Динамика: вакансии и источники — Data Engineer (general). Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
НеделяНовые вакансии за неделюАктивных источников
2026-06-0129427
2026-06-0821326
2026-06-1524928
2026-06-2267345
2026-06-2954187
2026-07-0653372
2026-07-1370182
2026-07-2085792
2026-07-2747779
2026-08-0341779
2026-08-1025352
2026-08-1729454
2026-08-2427248
2026-08-3129756
2026-09-0731859
2026-09-1437758
2026-09-211 17271
2026-09-281 04375
2026-10-0592379
2026-10-122 23780
2026-10-191 26590
2026-10-261 35297
2026-11-021 26295
2026-11-091 420101

Зарплаты во времени

Медиана зарплат в вакансиях Data Engineer (general) по неделям, в долларах США в месяц.

Медиана зарплаты, $ в месяц

Данные графика
Медиана зарплаты, $ в месяц. Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
ПериодМедианаСколько вакансий с зарплатой за неделю (n)
2026-07-205 75024
2026-07-27—6
2026-08-03—0
2026-08-10—0
2026-08-17—0
2026-08-24—0
2026-08-31—9
2026-09-078 35312
2026-09-14—8
2026-09-2110 30338
2026-09-288 12573
2026-10-057 09287
2026-10-127 355147
2026-10-197 500227
2026-10-267 699259
2026-11-029 457214
2026-11-099 167235

Ряд начинается с 20 июл.: раньше данных нет.

Сколько вакансий с зарплатой за неделю (n)

Только вакансии с зарплатой в долларах и известным периодом (месяц или год), от $500 до $50 000 в месяц. Недели, где таких вакансий меньше 10, пропущены — это «нет данных», а не ноль.

Данные графика
Зарплаты во времени — Data Engineer (general). Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
НеделяМедиана
2026-06-01—
2026-06-08—
2026-06-15—
2026-06-22—
2026-06-29—
2026-07-06—
2026-07-13—
2026-07-205 750
2026-07-27—
2026-08-03—
2026-08-10—
2026-08-17—
2026-08-24—
2026-08-31—
2026-09-078 353
2026-09-14—
2026-09-2110 303
2026-09-288 125
2026-10-057 092
2026-10-127 355
2026-10-197 500
2026-10-267 699
2026-11-029 457
2026-11-099 167

Удалённая работа во времени

Какая доля вакансий Data Engineer (general) предлагала полностью удалённую работу — по неделям.

Доля удалённых вакансий, %

Данные графика
Доля удалённых вакансий, %. Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
ПериодУдалённо
2026-06-0167,4
2026-06-0851,2
2026-06-1553,2
2026-06-2244,1
2026-06-2938,5
2026-07-0633,5
2026-07-1339,3
2026-07-2047,9
2026-07-2761,8
2026-08-0325,1
2026-08-1029,9
2026-08-1728,7
2026-08-2431,7
2026-08-3128,4
2026-09-0723,3
2026-09-1428,4
2026-09-2128,2
2026-09-2831,2
2026-10-0534,3
2026-10-1232,2
2026-10-1930,7
2026-10-2637,3
2026-11-0234,5
2026-11-0928,5

Доля считается среди вакансий, где формат указан (удалённо, гибрид, офис). Недели, где таких меньше 10, пропущены.

Данные графика
Удалённая работа во времени — Data Engineer (general). Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
НеделяУдалённо
2026-06-0167,4
2026-06-0851,2
2026-06-1553,2
2026-06-2244,1
2026-06-2938,5
2026-07-0633,5
2026-07-1339,3
2026-07-2047,9
2026-07-2761,8
2026-08-0325,1
2026-08-1029,9
2026-08-1728,7
2026-08-2431,7
2026-08-3128,4
2026-09-0723,3
2026-09-1428,4
2026-09-2128,2
2026-09-2831,2
2026-10-0534,3
2026-10-1232,2
2026-10-1930,7
2026-10-2637,3
2026-11-0234,5
2026-11-0928,5

Технологии во времени

Как менялась доля вакансий Data Engineer (general), где упоминается каждая из главных технологий.

Доля вакансий с технологией, %

Данные графика
Доля вакансий с технологией, %. Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
ПериодPythoncloudSQL
2026-08-1041,529,628,2
2026-08-173933,529,9
2026-08-2437,332,323,6
2026-08-3134,224,227,4
2026-09-0741,731,728,9
2026-09-1435,533,533,5
2026-09-214145,238,2
2026-09-2861,150,855
2026-10-0556,247,554,2
2026-10-1248,65148,4
2026-10-1958,55459,3
2026-10-2660,752,161,3
2026-11-0261,952,760,7
2026-11-0962,347,759,9
На графике до 5:

Доля — среди вакансий с размеченным стеком; ряд начинается с 10 авг.: раньше метки стека ставились по-другому. Недели, где размеченных вакансий меньше 20, пропущены.

Данные графика
Технологии во времени — Data Engineer (general). Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
НеделяPythoncloudSQLAWSAzure
2026-08-1041,529,628,221,122,5
2026-08-173933,529,923,819,5
2026-08-2437,332,323,615,517,4
2026-08-3134,224,227,415,818,9
2026-09-0741,731,728,919,715,6
2026-09-1435,533,533,521,722,7
2026-09-214145,238,229,725
2026-09-2861,150,85534,434,1
2026-10-0556,247,554,230,932,5
2026-10-1248,65148,429,930
2026-10-1958,55459,330,432,4
2026-10-2660,752,161,334,932,7
2026-11-0261,952,760,735,830,1
2026-11-0962,347,759,931,628,1

Страны во времени

Как менялась доля вакансий Data Engineer (general) в каждой из главных стран — по неделям.

Доля вакансий в стране, %

Данные графика
Доля вакансий в стране, %. Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
ПериодСШАПольшаВеликобритания
2026-06-0127,649,13,6
2026-06-0832,433,32
2026-06-1526,538,53,8
2026-06-2213,552,91,4
2026-06-291818,81,7
2026-07-0631,111,46,6
2026-07-1323,516,94,8
2026-07-2017,628,810,7
2026-07-2715,431,86,4
2026-08-0320,59,718,8
2026-08-1016,15,723,7
2026-08-1715,66,626,2
2026-08-2414,76,533,6
2026-08-319,63,333,8
2026-09-0712,63,332,3
2026-09-1422,33,628,9
2026-09-2125,85,515,5
2026-09-2819,314,613,7
2026-10-0516,221,513
2026-10-1216,6169,8
2026-10-1916,716,710,5
2026-10-261917,38,9
2026-11-0221,112,510,6
2026-11-0920,29,113,2
На графике до 5:

Доля — среди вакансий, где страна известна; на графике пять стран с наибольшим числом вакансий за полгода. Недели, где вакансий с известной страной меньше 20, пропущены. Рост доли страны может означать подключение нового источника в этой стране, а не рост рынка.

Данные графика
Страны во времени — Data Engineer (general). Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
НеделяСШАПольшаВеликобританияИндияСингапур
2026-06-0127,649,13,63,30
2026-06-0832,433,3210,80
2026-06-1526,538,53,88,10
2026-06-2213,552,91,411,33,3
2026-06-291818,81,78,726
2026-07-0631,111,46,611,76,2
2026-07-1323,516,94,818,312,3
2026-07-2017,628,810,78,67,8
2026-07-2715,431,86,48,216,9
2026-08-0320,59,718,816,16,2
2026-08-1016,15,723,712,31,9
2026-08-1715,66,626,213,12,5
2026-08-2414,76,533,610,13,7
2026-08-319,63,333,817,92,1
2026-09-0712,63,332,312,63,7
2026-09-1422,33,628,913,82
2026-09-2125,85,515,59,37
2026-09-2819,314,613,7612,9
2026-10-0516,221,5137,27,8
2026-10-1216,6169,89,93,6
2026-10-1916,716,710,587
2026-10-261917,38,99,66,2
2026-11-0221,112,510,69,25,6
2026-11-0920,29,113,2104,6

Чистый рынок: индекс найма

Одни и те же 7 505 досок вакансий работодателей; число вакансий берётся с самой доски. Подключение новых источников этот индекс не двигает — он показывает рынок, а не наш охват. Это весь рынок по панели, а не только Data Engineer (general).

Индекс найма, 16 окт. = 100

Данные графика
Индекс найма, 16 окт. = 100. Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
ПериодИндекс найма
2026-10-16100
2026-10-17100,03
2026-10-1899,76
2026-10-1999,68
2026-10-2099,27
2026-10-2198,6
2026-10-2299,07
2026-10-2397,4
2026-10-2497,41
2026-10-2697,33
2026-10-2796,76
2026-10-2896,21
2026-10-2995,17
2026-10-3095,13
2026-10-3193,65
2026-11-0193,33
2026-11-0292,67
2026-11-0392,65
2026-11-0492,41
2026-11-0592,13
2026-11-0690,44
2026-11-0790,48
2026-11-0890,45
2026-11-1090,29
2026-11-1190,22
2026-11-1390,12
2026-11-1489,7
2026-11-1589,68
2026-11-1689,62
2026-11-1888,91
2026-11-1988,02

Цепной индекс: каждый день сравниваются только доски, опрошенные и в этот, и в предыдущий день; выбросы и сбои опроса целой платформы исключаются. Дни без сопоставимых пар пропущены.

Данные графика
Чистый рынок: индекс найма — Data Engineer (general). Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
ДеньИндекс найма
2026-10-16100
2026-10-17100,03
2026-10-1899,76
2026-10-1999,68
2026-10-2099,27
2026-10-2198,6
2026-10-2299,07
2026-10-2397,4
2026-10-2497,41
2026-10-2697,33
2026-10-2796,76
2026-10-2896,21
2026-10-2995,17
2026-10-3095,13
2026-10-3193,65
2026-11-0193,33
2026-11-0292,67
2026-11-0392,65
2026-11-0492,41
2026-11-0592,13
2026-11-0690,44
2026-11-0790,48
2026-11-0890,45
2026-11-1090,29
2026-11-1190,22
2026-11-1390,12
2026-11-1489,7
2026-11-1589,68
2026-11-1689,62
2026-11-1888,91
2026-11-1988,02

Сколько открытых вакансий Data Engineer (general) и сколько подходящих специалистов видит Zorky.

Спрос и наблюдаемый пул

Данные графика
Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
ПоказательЗначение
Открытый спрос5 563
Открытый спрос5 563
Наблюдаемый пул— не публикуется

Data Engineer формирует крупнейший и стабильный поток вакансий среди data-сегментов. Спрос растёт особенно в продуктовых СНГ-компаниях (миграция legacy DWH на modern data stack — Snowflake/dbt/Airflow) и среди FinTech.

⚠ подходящих под вакансию кандидатов пока не считаем: показаны спрос и наблюдаемый пул

Как распределены зарплаты в вакансиях Data Engineer (general), в долларах США в месяц.

Распределение зарплат

P25 $6 250 · P50 $9 083 · P75 $12 541
Данные графика
Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
ПоказательЗначение
<$1k7
$1–2k8
$2–3k11
$3–4k26
$4–5k56
$5–6k59
$6–7k80
$7–8k65
$8–9k48
$9–10k52
$10–12k90
$12–15k121
$15–20k91
$20k+13
Зарплата в вакансиях: база 5 563
  • пригодна для расчёта: 727 (13,1%)
  • указана, но не приведена к $/мес: 817 (14,7%)
  • не указана: 4 019 (72,2%)

В каждой десятой вакансии вилка ниже $4 437, в каждой десятой — выше $15 833. Половина вакансий предлагает от $6 250 до $12 541. Выборка: 727.

Данные графика
Распределение зарплат — Data Engineer (general). Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
ПоказательНижняя границаВерхняя границаКоличество
<$1k01 0007
$1–2k1 0002 0008
$2–3k2 0003 00011
$3–4k3 0004 00026
$4–5k4 0005 00056
$5–6k5 0006 00059
$6–7k6 0007 00080
$7–8k7 0008 00065
$8–9k8 0009 00048
$9–10k9 00010 00052
$10–12k10 00012 00090
$12–15k12 00015 000121
$15–20k15 00020 00091
$20k+20 000—13

В каких странах больше всего открытых вакансий Data Engineer (general).

География спроса

странавакансийдоля
Соединенные Штаты1 13423,9%
Польша68614,5%
Индия4479,4%
Великобритания4208,9%
Сингапур2565,4%
Германия2365%
Франция1513,2%
Канада1503,2%
Россия831,8%
Южно-Африканская Республика681,4%
Остальные страны1 10723,4%

Лидер по числу Data Engineer-вакансий — США (1134 позиций). Польша — второй по числу remote-вакансий для русскоязычных.

⚠ только число вакансий: зарплата по странам не публикуется

Данные графика
География спроса — Data Engineer (general). Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
СтранаВакансии
US1 134
PL686
IN447
GB420
SG256
DE236
FR151
CA150
RU83
ZA68

Какие технологии чаще всего требуют в одной вакансии с Data Engineer (general).

С чем используется вместе

python
2 36942,6%
cloud
2 31641,6%
sql
2 05536,9%
aws
1 51327,2%
azure
1 40925,3%
databricks
1 39925,1%
airflow
1 04518,8%
dbt
91116,4%
spark
79914,4%
snowflake
78814,2%

Доля — сколько из 5 563 вакансий рынка «Data Engineer (general)» упоминают эту технологию. Порядок — по числу вакансий, не по «силе связи». Обобщения вроде cloud не равны конкретному облаку (AWS, Azure).

Топ-стек Data Engineer 2026: Python + advanced SQL (must), Airflow / Dagster / Prefect (оркестрация), Spark / Flink / Kafka Streams (big data + streaming), dbt (transform layer), Snowflake / BigQuery / ClickHouse / Redshift (DWH), Kafka + Debezium (CDC), Delta Lake / Iceberg (lakehouse), Docker + Kubernetes. Senior — observability + data quality.

Частые пары: Python + SQL, Python + Airflow, Spark + Hadoop, dbt + Snowflake, Kafka + Spark Streaming, Airflow + BigQuery. Learning-roadmap: Python + SQL → Airflow → один DWH → dbt → PySpark → Kafka basics.

Данные графика
С чем используется вместе — Data Engineer (general). Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
НазваниеКоличество
python2 369
cloud2 316
sql2 055
aws1 513
azure1 409
databricks1 399
airflow1 045
dbt911
spark799
snowflake788
gcp711
pyspark593

Сколько вакансий Data Engineer (general) на каждом уровне — от junior до principal.

Спрос по уровням

уровеньвакансий
senior2 079
middle357
lead350
principal248
junior220

Junior редкость — рынок берёт после Python Middle или Analyst Senior с advanced SQL. Career-flow: Junior → Middle → Senior → Analytics Engineer / Data Platform / Head of Data.

⚠ только сторона спроса: грейд наблюдаемого пула неизвестен у большинства

Данные графика
Спрос по уровням — Data Engineer (general). Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
УровеньКоличество
senior2 079
middle357
lead350
principal248
junior220

Кто больше всех нанимает по Data Engineer (general) и насколько спрос сосредоточен у крупных компаний.

Работодатели

Спрос распределён между 3 218 работодателями. На крупнейшего приходится 1.1%, на десятку — 4.7%; остальные 95.3% — длинный хвост.

крупнейший 1,1%2–3-й 1,1%4–10-й 2,5%остальные 95,3%
долязначение
крупнейший1.1%
топ-32.2%
топ-104.7%
длинный хвост95.3%

⚠ имена не показываются: кадровые агентства и конечные работодатели пока не различаются классификацией

С каких сайтов компаний и досок Zorky собирает вакансии Data Engineer (general).

Откуда Zorky видит этот рынок

Наблюдение идёт из 139 источников; на крупнейший приходится 11.5% — рынок не держится на одном канале.

Данные графика
Откуда Zorky видит этот рынок — Data Engineer (general). Таблица данных блока. Пропуск не означает ноль; единицы и выборка указаны в описании показателя.
КлассНазваниеНазвание на английскомКоличествоДоля
atsATS и карьерные сайтыATS & career sites3 2240,5795
boardджоб-борды и агрегаторыjob boards & aggregators2 0780,3735
telegramTelegramTelegram2510,0451
communityсообщества и публичные профилиcommunity & public profiles100,0018

Самые новые вакансии Data Engineer (general) с сайтов компаний.

Свежие вакансии

Все вакансии →

Свежие открытые Data Engineer-вакансии — последние 10 позиций с приемлемым качеством описания. Полный список — в нашем CRM или по ссылке «смотреть все» ниже.

Как это посчитано
Вакансия
открытая вакансия, прошедшая гейт качества и содержащая не менее двух технологий
Наблюдаемый кандидат
кандидат, чей стек содержит эту технологию; агрегат, без единой записи наружу
Подходящий кандидат
пока не считается
Окно
открытые вакансии на момент сборки снимка

О данных

  • Некоторые разрезы скрыты: по ним пока недостаточно полноты данных.
  • Статистика строится только там, где выборка проходит порог качества.
  • Отсутствие блока не означает нулевое значение.

Сейчас скрыто разрезов: 8.

Направление: Data Engineer

Соседние специализации

Внутри Data Engineer: Data Engineer (general — pipelines + DWH), ETL Developer (классический batch), Analytics Engineer (dbt + DWH), Pipeline Engineer (оркестрация), Data Platform Engineer (infra для data-команд). Сравнение с другими data/big-data специализациями — в баре ниже.

Big Data (Spark/Hadoop)Database Administrator (DBA)Streaming (Kafka)Data Warehouse

Частые вопросы

Самые частые вопросы про Data Engineer-рынок: зарплаты, Spark vs Flink vs Kafka Streams, Airflow vs Dagster, отличия от Backend и ML Engineer, удалёнка, как стать (12-18 месяцев после Python Middle), Senior skills. Ответы пересчитываются автоматически.

Какой стек чаще всего требуют от Data Engineer?

Топ-5: python, cloud, sql, aws, azure. Python — must (pandas, PySpark, boto3, GCP SDK). SQL — advanced must (оконные функции, CTE, query optimization, EXPLAIN ANALYZE). Airflow — индустриальный стандарт оркестрации; Dagster/Prefect растут в новых проектах. Spark (PySpark/Scala) — big data batch + streaming. Kafka — обязательно для Middle+ в event-driven. Flink — premium-навык для true streaming. dbt — transform layer стандарт в современном data-stack. DWH: Snowflake (cloud премиум), BigQuery (GCP), ClickHouse (OLAP, доминирует в СНГ), Redshift (AWS legacy). Storage: S3/HDFS, Delta Lake/Apache Iceberg (lakehouse). Docker+Kubernetes. Terraform/Pulumi для IaC. Senior — observability (Datadog/Grafana + Great Expectations / Soda для data quality).

Spark vs Flink vs Kafka Streams — что выбрать в 2026?

Spark — индустриальный стандарт batch + micro-batch streaming. PySpark самый ёмкий рынок вакансий, Spark Scala — премиум-ниша. Минус: latency micro-batch (секунды-минуты), не true realtime. Flink — true streaming engine с миллисекундной latency, exactly-once semantics из коробки. Растущий сегмент: FinTech/AdTech/IoT/real-time ML inference. Kafka Streams (Java/Scala-only) — lightweight streaming library, не отдельный cluster. Хорош для микросервис-уровня stream-processing, плохо для heavy joins/state. Стратегия: Spark сначала (ёмкость рынка), потом Flink для diversification и премиум-зарплат. Kafka Streams — niche-добавка для backend-инженеров на JVM.

Airflow vs Dagster vs Prefect — что учить для оркестрации?

DAGs на Python, огромная экосистема операторов. Минусы: schedule-based, не event-driven нативно, плохая dynamic generation DAGs. Dagster — modern challenger (Elementl/Astronomer-like). Asset-centric, лучшая DX, native testing, data-lineage из коробки. Растущий сегмент: продуктовые стартапы, modern data stack. Prefect — между Airflow и Dagster по философии. Хорош для hybrid workflows (batch + streaming). Меньше вакансий чем Airflow, но растёт. Стратегия: Airflow сначала (рыночная необходимость), потом Dagster как modern-альтернатива. Cron + Python-скрипты — устаревший подход, не учить как primary.

Какая доля вакансий предполагает удалённую работу?

Среди вакансий с указанным форматом работы 31% — удалённые. Вакансии без указанного формата не входят в знаменатель; гибридная работа не считается удалённой.

Чем Data Engineer отличается от Backend и ML Engineer?

Backend Engineer — REST/GraphQL API, бизнес-логика, transactional БД (PostgreSQL/MySQL). Focus: обслуживать продуктовые запросы. OLTP-системы. Data Engineer — ETL/ELT pipelines, DWH-моделирование, streaming, batch-processing терабайтов. Focus: двигать и трансформировать большие объёмы данных. OLAP-системы. ML Engineer — деплой моделей в production (FastAPI + ONNX/TorchServe), feature-store, MLOps, model monitoring. Focus: production-ready inference. Career-switch: Backend Senior → Data Engineer Middle за 4-8 месяцев (Airflow + dbt + один DWH). Data Engineer → ML Engineer за 6-12 месяцев (PyTorch + MLOps-стек). По зарплатам: Data Engineer ≥ Backend Senior в Москве; ML Engineer ≈ Data Engineer Senior в среднем.

С чего начинать в Data Engineer в 2026?

Roadmap: 1) Python до Middle — pandas, numpy, типизация, тестирование. 2) SQL до advanced — оконные функции, CTE, подзапросы, оптимизация (EXPLAIN ANALYZE), индексы. PostgreSQL + один OLAP (ClickHouse рекомендуется). 3) Airflow — официальный tutorial, написать 3-5 DAGs. 4) Один DWH: BigQuery (бесплатный tier) или Snowflake trial. Освоить modeling (star/snowflake schema, SCD). 5) dbt — analytics engineering layer. dbt-tutorial + pet-проект с jaffle-shop dataset. 6) PySpark basics — DataFrame API + один pet-проект с 1-10 GB данных. 7) Kafka basics — producer/consumer + один streaming-pet. 8) Pet-проект end-to-end: пайплайн от API/файлов через Airflow + dbt в DWH, дашборд на Metabase/Superset, deployed в облаке. Курсы: Karpov.Courses «Data Engineer», OTUS «Data Engineer», Я.Практикум «Data Engineer», DataCamp Data Engineer Track. Книги: «The Data Warehouse Toolkit» Кимбалл, «Fundamentals of Data Engineering» Reis. Время до Middle (Junior редкость) — 12-18 месяцев фулл-тайм после Python Middle опыта.

Сколько открытых вакансий в этой выборке?

В опубликованной выборке — 5563 открытых вакансий без перепубликаций. Это тот же показатель, что в верхнем блоке страницы. География выборки представлена в разделе географии; это не оценка всего рынка.

Какие навыки нужны Senior Data Engineer?

Senior Data Engineer владеет полным циклом data-pipeline. SQL: mastery (window functions, recursive CTE, query optimization, partition pruning, materialized views). Python: pandas/PySpark mastery, профилирование памяти, async для I/O-heavy ingestion. Distributed systems: Spark execution model (shuffle, broadcast, partitioning), Kafka exactly-once, two-phase commit, idempotency. DWH-моделирование: Kimball (star schema, SCD), Data Vault, lakehouse architecture (Delta Lake/Iceberg). Оркестрация: Airflow DAG-design (idempotent tasks, backfills, sensors), dynamic DAG generation. Streaming: Kafka design (partitions, consumer groups, exactly-once), Spark Streaming или Flink. Cloud: один из AWS/GCP/Azure до уровня архитектора (IAM + cost optimization + networking + storage tiers). Data quality: Great Expectations / Soda, monitoring metrics + alerts. DevOps: Docker, Kubernetes operators (Spark/Kafka on k8s), Terraform/Pulumi для IaC. Soft: код-ревью, ментoring Middle, работа с Analyst/PM по requirements. Английский — must для Senior+ (data-стек преимущественно EN).

Оставить заявку

Опишите задачу и оставьте контакт — заявка попадёт в CRM, ответим на указанный контакт.

Отправляя заявку, вы соглашаетесь с политикой обработки данных.