Big Data (Spark/Hadoop): рынок
Данные на 19 ноября 2026: открытых вакансий Big Data (Spark/Hadoop) — 508, удалённых — 31% среди вакансий с указанным форматом работы; медианная зарплата в объявлениях — $6 825/мес (по 61 вакансиям с указанной зарплатой). Источник — Zorky, обновляется ежедневно.
Big Data Engineer — обработка очень больших объёмов данных (терабайты, петабайты) через распределённые движки. Подсегмент Data Engineering фокус — Spark/Hadoop/Flink/distributed computing. Премиальная ниша за счёт complexity распределённых систем. Семейство ролей: Spark Engineer (PySpark или Spark Scala — главное применение Big Data), Hadoop Engineer (legacy enterprise — HDFS + Hive + MapReduce, миграции на Spark), Flink Engineer (true streaming, low-latency event-processing), Big Data Platform Engineer (Hadoop cluster admin, Spark on k8s + Iceberg/Delta), Data Lakehouse Architect (modern архитектура — Iceberg/Delta + Spark + dbt). Стек: Apache Spark (must — PySpark или Scala, execution model, shuffles, broadcasts), Hadoop (HDFS + Hive + YARN — legacy в крупных enterprise), Apache Flink (streaming, premium niche), Kafka (must), Delta Lake/Apache Iceberg (lakehouse table formats — modern стандарт), Apache Hudi (lakehouse альтернатива), HBase/Cassandra (NoSQL distributed для real-time), Scala или Python (Scala для performance-critical Spark, Python для большинства), Airflow (оркестрация), Cloudera/Hortonworks (distributions, миграции на open-source стек), Kubernetes (Spark on k8s — modern deployment). Топ-стек: python, spark, cloud, java, hadoop. Среди вакансий с указанным форматом работы 31% — удалённые.
Данные на:
Главные цифры рынка Big Data (Spark/Hadoop): открытые вакансии, медианная зарплата, наблюдаемый пул специалистов и доля удалёнки.
На рынке Big Data (Spark/Hadoop) сейчас 508 открытых вакансий, из них 442 со свежим наблюдением. Медианная зарплата $6 825/мес.
Среди вакансий с указанным форматом работы 31% — удалённые. Cluster admin work — cloud-based. Международные cloud-data SaaS (Databricks/Snowflake/Confluent) — full-remote.
⚠ зарплата известна у 61 из 508 вакансий; доля удалёнки — от 354 с указанным форматом; свежими наблюдениями считаются 442; тренд и сложность найма не показываются
Динамика: вакансии и источники
Сколько вакансий Big Data (Spark/Hadoop) появлялось каждую неделю с 1 июн. и из скольких источников они пришли. Нижний график нужен, чтобы отличать рост рынка от роста нашего охвата: скачок вакансий в неделю, когда подключились новые источники, — это мы стали видеть больше, а не рынок вырос.
Новые вакансии за неделю
Данные графика
| Период | Новые вакансии за неделю |
|---|---|
| 2026-06-01 | 48 |
| 2026-06-08 | 26 |
| 2026-06-15 | 25 |
| 2026-06-22 | 86 |
| 2026-06-29 | 83 |
| 2026-07-06 | 69 |
| 2026-07-13 | 128 |
| 2026-07-20 | 135 |
| 2026-07-27 | 67 |
| 2026-08-03 | 56 |
| 2026-08-10 | 28 |
| 2026-08-17 | 29 |
| 2026-08-24 | 25 |
| 2026-08-31 | 56 |
| 2026-09-07 | 37 |
| 2026-09-14 | 39 |
| 2026-09-21 | 81 |
| 2026-09-28 | 91 |
| 2026-10-05 | 98 |
| 2026-10-12 | 342 |
| 2026-10-19 | 133 |
| 2026-10-26 | 117 |
| 2026-11-02 | 106 |
| 2026-11-09 | 134 |
Активных источников за неделю
Источников всего за период: 131. ▲ — неделя, когда подключилось много новых источников.
Данные графика
| Период | Активных источников |
|---|---|
| 2026-06-01 | 13 |
| 2026-06-08 | 12 |
| 2026-06-15 | 11 |
| 2026-06-22 | 24 |
| 2026-06-29 | 27 |
| 2026-07-06 | 35 |
| 2026-07-13 | 28 |
| 2026-07-20 | 33 |
| 2026-07-27 | 24 |
| 2026-08-03 | 30 |
| 2026-08-10 | 18 |
| 2026-08-17 | 19 |
| 2026-08-24 | 14 |
| 2026-08-31 | 22 |
| 2026-09-07 | 19 |
| 2026-09-14 | 17 |
| 2026-09-21 | 27 |
| 2026-09-28 | 34 |
| 2026-10-05 | 27 |
| 2026-10-12 | 36 |
| 2026-10-19 | 35 |
| 2026-10-26 | 32 |
| 2026-11-02 | 34 |
| 2026-11-09 | 48 |
Подключение новых источников: 22 июн. +14 · 29 июн. +13 · 6 июл. +18 · 13 июл. +8 · все недели (23) — в таблице
| Неделя | Новых источников | Новых вакансий |
|---|---|---|
| 8 июн. | +6 | 26 |
| 15 июн. | +3 | 25 |
| 22 июн. | +14 | 86 |
| 29 июн. | +13 | 83 |
| 6 июл. | +18 | 69 |
| 13 июл. | +8 | 128 |
| 20 июл. | +5 | 135 |
| 27 июл. | +6 | 67 |
| 3 авг. | +6 | 56 |
| 10 авг. | +1 | 28 |
| 17 авг. | +2 | 29 |
| 24 авг. | +1 | 25 |
| 31 авг. | +4 | 56 |
| 7 сент. | +1 | 37 |
| 14 сент. | +1 | 39 |
| 21 сент. | +3 | 81 |
| 28 сент. | +3 | 91 |
| 5 окт. | +1 | 98 |
| 12 окт. | +6 | 342 |
| 19 окт. | +5 | 133 |
| 26 окт. | +2 | 117 |
| 2 нояб. | +2 | 106 |
| 9 нояб. | +7 | 134 |
Текущая неделя ещё не закончилась и не показана: неполная неделя выглядела бы как спад.
Неделя — по дате появления вакансии, все статусы; отбор вакансий — то же правило, что у счётчика этой страницы. Источники — различные каналы сбора, их имена не публикуются.
Данные графика
| Неделя | Новые вакансии за неделю | Активных источников |
|---|---|---|
| 2026-06-01 | 48 | 13 |
| 2026-06-08 | 26 | 12 |
| 2026-06-15 | 25 | 11 |
| 2026-06-22 | 86 | 24 |
| 2026-06-29 | 83 | 27 |
| 2026-07-06 | 69 | 35 |
| 2026-07-13 | 128 | 28 |
| 2026-07-20 | 135 | 33 |
| 2026-07-27 | 67 | 24 |
| 2026-08-03 | 56 | 30 |
| 2026-08-10 | 28 | 18 |
| 2026-08-17 | 29 | 19 |
| 2026-08-24 | 25 | 14 |
| 2026-08-31 | 56 | 22 |
| 2026-09-07 | 37 | 19 |
| 2026-09-14 | 39 | 17 |
| 2026-09-21 | 81 | 27 |
| 2026-09-28 | 91 | 34 |
| 2026-10-05 | 98 | 27 |
| 2026-10-12 | 342 | 36 |
| 2026-10-19 | 133 | 35 |
| 2026-10-26 | 117 | 32 |
| 2026-11-02 | 106 | 34 |
| 2026-11-09 | 134 | 48 |
Зарплаты во времени
Медиана зарплат в вакансиях Big Data (Spark/Hadoop) по неделям, в долларах США в месяц.
Медиана зарплаты, $ в месяц
Данные графика
| Период | Медиана | Сколько вакансий с зарплатой за неделю (n) |
|---|---|---|
| 2026-07-20 | 5 750 | 12 |
| 2026-07-27 | — | 4 |
| 2026-08-03 | — | 0 |
| 2026-08-10 | — | 0 |
| 2026-08-17 | — | 0 |
| 2026-08-24 | — | 0 |
| 2026-08-31 | — | 0 |
| 2026-09-07 | — | 0 |
| 2026-09-14 | — | 1 |
| 2026-09-21 | — | 4 |
| 2026-09-28 | — | 3 |
| 2026-10-05 | 5 079 | 10 |
| 2026-10-12 | 6 793 | 20 |
| 2026-10-19 | 6 250 | 36 |
| 2026-10-26 | 6 726 | 21 |
| 2026-11-02 | 7 699 | 22 |
| 2026-11-09 | 4 658 | 22 |
Ряд начинается с 20 июл.: раньше данных нет.
Только вакансии с зарплатой в долларах и известным периодом (месяц или год), от $500 до $50 000 в месяц. Недели, где таких вакансий меньше 10, пропущены — это «нет данных», а не ноль.
Данные графика
| Неделя | Медиана |
|---|---|
| 2026-06-01 | — |
| 2026-06-08 | — |
| 2026-06-15 | — |
| 2026-06-22 | — |
| 2026-06-29 | — |
| 2026-07-06 | — |
| 2026-07-13 | — |
| 2026-07-20 | 5 750 |
| 2026-07-27 | — |
| 2026-08-03 | — |
| 2026-08-10 | — |
| 2026-08-17 | — |
| 2026-08-24 | — |
| 2026-08-31 | — |
| 2026-09-07 | — |
| 2026-09-14 | — |
| 2026-09-21 | — |
| 2026-09-28 | — |
| 2026-10-05 | 5 079 |
| 2026-10-12 | 6 793 |
| 2026-10-19 | 6 250 |
| 2026-10-26 | 6 726 |
| 2026-11-02 | 7 699 |
| 2026-11-09 | 4 658 |
Удалённая работа во времени
Какая доля вакансий Big Data (Spark/Hadoop) предлагала полностью удалённую работу — по неделям.
Доля удалённых вакансий, %
Данные графика
| Период | Удалённо |
|---|---|
| 2026-06-01 | 79,1 |
| 2026-06-08 | 31,6 |
| 2026-06-15 | 11,8 |
| 2026-06-22 | 31,5 |
| 2026-06-29 | 23,9 |
| 2026-07-06 | 32,4 |
| 2026-07-13 | 44 |
| 2026-07-20 | 75,6 |
| 2026-07-27 | 68 |
| 2026-08-03 | 20 |
| 2026-08-10 | 25 |
| 2026-08-17 | 28 |
| 2026-08-24 | 20 |
| 2026-08-31 | 20 |
| 2026-09-07 | 17,1 |
| 2026-09-14 | 23,7 |
| 2026-09-21 | 37,5 |
| 2026-09-28 | 36,9 |
| 2026-10-05 | 43,6 |
| 2026-10-12 | 36,8 |
| 2026-10-19 | 31,9 |
| 2026-10-26 | 25,9 |
| 2026-11-02 | 25,3 |
| 2026-11-09 | 24,6 |
Доля считается среди вакансий, где формат указан (удалённо, гибрид, офис). Недели, где таких меньше 10, пропущены.
Данные графика
| Неделя | Удалённо |
|---|---|
| 2026-06-01 | 79,1 |
| 2026-06-08 | 31,6 |
| 2026-06-15 | 11,8 |
| 2026-06-22 | 31,5 |
| 2026-06-29 | 23,9 |
| 2026-07-06 | 32,4 |
| 2026-07-13 | 44 |
| 2026-07-20 | 75,6 |
| 2026-07-27 | 68 |
| 2026-08-03 | 20 |
| 2026-08-10 | 25 |
| 2026-08-17 | 28 |
| 2026-08-24 | 20 |
| 2026-08-31 | 20 |
| 2026-09-07 | 17,1 |
| 2026-09-14 | 23,7 |
| 2026-09-21 | 37,5 |
| 2026-09-28 | 36,9 |
| 2026-10-05 | 43,6 |
| 2026-10-12 | 36,8 |
| 2026-10-19 | 31,9 |
| 2026-10-26 | 25,9 |
| 2026-11-02 | 25,3 |
| 2026-11-09 | 24,6 |
Технологии во времени
Как менялась доля вакансий Big Data (Spark/Hadoop), где упоминается каждая из главных технологий.
Доля вакансий с технологией, %
Данные графика
| Период | Python | cloud | SQL |
|---|---|---|---|
| 2026-08-10 | 34,8 | 4,3 | 13 |
| 2026-08-17 | 44,4 | 7,4 | 22,2 |
| 2026-08-24 | — | — | — |
| 2026-08-31 | 49 | 15,7 | 35,3 |
| 2026-09-07 | 48,3 | 13,8 | 41,4 |
| 2026-09-14 | 28,6 | 25,7 | 20 |
| 2026-09-21 | 36,4 | 30,3 | 37,9 |
| 2026-09-28 | 43,2 | 42 | 37 |
| 2026-10-05 | 57,8 | 47,8 | 51,1 |
| 2026-10-12 | 33 | 32,6 | 27,7 |
| 2026-10-19 | 61,4 | 41,2 | 47,4 |
| 2026-10-26 | 59,4 | 44,8 | 50 |
| 2026-11-02 | 50 | 28,4 | 34,1 |
| 2026-11-09 | 54,5 | 24,2 | 37,4 |
Доля — среди вакансий с размеченным стеком; ряд начинается с 10 авг.: раньше метки стека ставились по-другому. Недели, где размеченных вакансий меньше 20, пропущены.
Данные графика
| Неделя | Python | Java | cloud | hadoop | SQL |
|---|---|---|---|---|---|
| 2026-08-10 | 34,8 | 17,4 | 4,3 | 39,1 | 13 |
| 2026-08-17 | 44,4 | 11,1 | 7,4 | 3,7 | 22,2 |
| 2026-08-24 | — | — | — | — | — |
| 2026-08-31 | 49 | 13,7 | 15,7 | 15,7 | 35,3 |
| 2026-09-07 | 48,3 | 20,7 | 13,8 | 17,2 | 41,4 |
| 2026-09-14 | 28,6 | 25,7 | 25,7 | 17,1 | 20 |
| 2026-09-21 | 36,4 | 24,2 | 30,3 | 27,3 | 37,9 |
| 2026-09-28 | 43,2 | 22,2 | 42 | 21 | 37 |
| 2026-10-05 | 57,8 | 35,6 | 47,8 | 23,3 | 51,1 |
| 2026-10-12 | 33 | 39 | 32,6 | 54,3 | 27,7 |
| 2026-10-19 | 61,4 | 34,2 | 41,2 | 36 | 47,4 |
| 2026-10-26 | 59,4 | 31,2 | 44,8 | 15,6 | 50 |
| 2026-11-02 | 50 | 33 | 28,4 | 13,6 | 34,1 |
| 2026-11-09 | 54,5 | 36,4 | 24,2 | 26,3 | 37,4 |
Страны во времени
Как менялась доля вакансий Big Data (Spark/Hadoop) в каждой из главных стран — по неделям.
Доля вакансий в стране, %
Данные графика
| Период | Польша | США | Индия |
|---|---|---|---|
| 2026-06-01 | 62,2 | 20 | 0 |
| 2026-06-08 | 16 | 20 | 24 |
| 2026-06-15 | 14,3 | 33,3 | 19 |
| 2026-06-22 | 57,5 | 8,8 | 15 |
| 2026-06-29 | 12,5 | 20 | 15 |
| 2026-07-06 | 14,3 | 32,7 | 12,2 |
| 2026-07-13 | 22,3 | 28,7 | 20,2 |
| 2026-07-20 | 53,2 | 7,3 | 10,5 |
| 2026-07-27 | 51,6 | 12,9 | 6,5 |
| 2026-08-03 | 13,7 | 19,6 | 21,6 |
| 2026-08-10 | 17,4 | 17,4 | 30,4 |
| 2026-08-17 | 3,8 | 26,9 | 19,2 |
| 2026-08-24 | 0 | 20 | 15 |
| 2026-08-31 | 1,9 | 13,2 | 18,9 |
| 2026-09-07 | 11,1 | 11,1 | 16,7 |
| 2026-09-14 | 6,2 | 21,9 | 18,8 |
| 2026-09-21 | 22,1 | 32,4 | 14,7 |
| 2026-09-28 | 11,9 | 26,2 | 11,9 |
| 2026-10-05 | 46,4 | 9,5 | 3,6 |
| 2026-10-12 | 14,5 | 33,6 | 9,3 |
| 2026-10-19 | 32 | 20,3 | 6,2 |
| 2026-10-26 | 26,3 | 15,8 | 15,8 |
| 2026-11-02 | 14,7 | 21,1 | 10,5 |
| 2026-11-09 | 19,8 | 10,7 | 5 |
Доля — среди вакансий, где страна известна; на графике пять стран с наибольшим числом вакансий за полгода. Недели, где вакансий с известной страной меньше 20, пропущены. Рост доли страны может означать подключение нового источника в этой стране, а не рост рынка.
Данные графика
| Неделя | Польша | США | Индия | Сингапур | Южно-Африканская Республика |
|---|---|---|---|---|---|
| 2026-06-01 | 62,2 | 20 | 0 | 0 | 0 |
| 2026-06-08 | 16 | 20 | 24 | 0 | 12 |
| 2026-06-15 | 14,3 | 33,3 | 19 | 0 | 9,5 |
| 2026-06-22 | 57,5 | 8,8 | 15 | 0 | 0 |
| 2026-06-29 | 12,5 | 20 | 15 | 38,8 | 1,2 |
| 2026-07-06 | 14,3 | 32,7 | 12,2 | 10,2 | 0 |
| 2026-07-13 | 22,3 | 28,7 | 20,2 | 2,1 | 0 |
| 2026-07-20 | 53,2 | 7,3 | 10,5 | 12,1 | 0,8 |
| 2026-07-27 | 51,6 | 12,9 | 6,5 | 16,1 | 1,6 |
| 2026-08-03 | 13,7 | 19,6 | 21,6 | 3,9 | 5,9 |
| 2026-08-10 | 17,4 | 17,4 | 30,4 | 0 | 0 |
| 2026-08-17 | 3,8 | 26,9 | 19,2 | 3,8 | 0 |
| 2026-08-24 | 0 | 20 | 15 | 10 | 0 |
| 2026-08-31 | 1,9 | 13,2 | 18,9 | 1,9 | 15,1 |
| 2026-09-07 | 11,1 | 11,1 | 16,7 | 0 | 13,9 |
| 2026-09-14 | 6,2 | 21,9 | 18,8 | 3,1 | 12,5 |
| 2026-09-21 | 22,1 | 32,4 | 14,7 | 5,9 | 0 |
| 2026-09-28 | 11,9 | 26,2 | 11,9 | 16,7 | 4,8 |
| 2026-10-05 | 46,4 | 9,5 | 3,6 | 4,8 | 8,3 |
| 2026-10-12 | 14,5 | 33,6 | 9,3 | 1,9 | 12,6 |
| 2026-10-19 | 32 | 20,3 | 6,2 | 7 | 7 |
| 2026-10-26 | 26,3 | 15,8 | 15,8 | 6,1 | 4,4 |
| 2026-11-02 | 14,7 | 21,1 | 10,5 | 12,6 | 7,4 |
| 2026-11-09 | 19,8 | 10,7 | 5 | 5,8 | 18,2 |
Чистый рынок: индекс найма
Одни и те же 7 505 досок вакансий работодателей; число вакансий берётся с самой доски. Подключение новых источников этот индекс не двигает — он показывает рынок, а не наш охват. Это весь рынок по панели, а не только Big Data (Spark/Hadoop).
Индекс найма, 16 окт. = 100
Данные графика
| Период | Индекс найма |
|---|---|
| 2026-10-16 | 100 |
| 2026-10-17 | 100,03 |
| 2026-10-18 | 99,76 |
| 2026-10-19 | 99,68 |
| 2026-10-20 | 99,27 |
| 2026-10-21 | 98,6 |
| 2026-10-22 | 99,07 |
| 2026-10-23 | 97,4 |
| 2026-10-24 | 97,41 |
| 2026-10-26 | 97,33 |
| 2026-10-27 | 96,76 |
| 2026-10-28 | 96,21 |
| 2026-10-29 | 95,17 |
| 2026-10-30 | 95,13 |
| 2026-10-31 | 93,65 |
| 2026-11-01 | 93,33 |
| 2026-11-02 | 92,67 |
| 2026-11-03 | 92,65 |
| 2026-11-04 | 92,41 |
| 2026-11-05 | 92,13 |
| 2026-11-06 | 90,44 |
| 2026-11-07 | 90,48 |
| 2026-11-08 | 90,45 |
| 2026-11-10 | 90,29 |
| 2026-11-11 | 90,22 |
| 2026-11-13 | 90,12 |
| 2026-11-14 | 89,7 |
| 2026-11-15 | 89,68 |
| 2026-11-16 | 89,62 |
| 2026-11-18 | 88,91 |
| 2026-11-19 | 88,02 |
Цепной индекс: каждый день сравниваются только доски, опрошенные и в этот, и в предыдущий день; выбросы и сбои опроса целой платформы исключаются. Дни без сопоставимых пар пропущены.
Данные графика
| День | Индекс найма |
|---|---|
| 2026-10-16 | 100 |
| 2026-10-17 | 100,03 |
| 2026-10-18 | 99,76 |
| 2026-10-19 | 99,68 |
| 2026-10-20 | 99,27 |
| 2026-10-21 | 98,6 |
| 2026-10-22 | 99,07 |
| 2026-10-23 | 97,4 |
| 2026-10-24 | 97,41 |
| 2026-10-26 | 97,33 |
| 2026-10-27 | 96,76 |
| 2026-10-28 | 96,21 |
| 2026-10-29 | 95,17 |
| 2026-10-30 | 95,13 |
| 2026-10-31 | 93,65 |
| 2026-11-01 | 93,33 |
| 2026-11-02 | 92,67 |
| 2026-11-03 | 92,65 |
| 2026-11-04 | 92,41 |
| 2026-11-05 | 92,13 |
| 2026-11-06 | 90,44 |
| 2026-11-07 | 90,48 |
| 2026-11-08 | 90,45 |
| 2026-11-10 | 90,29 |
| 2026-11-11 | 90,22 |
| 2026-11-13 | 90,12 |
| 2026-11-14 | 89,7 |
| 2026-11-15 | 89,68 |
| 2026-11-16 | 89,62 |
| 2026-11-18 | 88,91 |
| 2026-11-19 | 88,02 |
Сколько открытых вакансий Big Data (Spark/Hadoop) и сколько подходящих специалистов видит Zorky.
Спрос и наблюдаемый пул
Данные графика
| Показатель | Значение |
|---|---|
| Открытый спрос | 508 |
| Открытый спрос | 508 |
| Наблюдаемый пул | — не публикуется |
Big Data формирует премиальный distributed-systems сегмент. Драйверы: миграции legacy Hadoop → Spark on k8s + Iceberg, спрос на streaming (Flink + Kafka), рост Databricks-партнёров. Тренд 2026: lakehouse architecture (Iceberg/Delta) доминирует, Hadoop EOL в крупных enterprise.
⚠ подходящих под вакансию кандидатов пока не считаем: показаны спрос и наблюдаемый пул
Как распределены зарплаты в вакансиях Big Data (Spark/Hadoop), в долларах США в месяц.
Распределение зарплат
Данные графика
| Показатель | Значение |
|---|---|
| <$1k | 0 |
| $1–2k | 4 |
| $2–3k | 2 |
| $3–4k | 2 |
| $4–5k | 5 |
| $5–6k | 7 |
| $6–7k | 12 |
| $7–8k | 8 |
| $8–9k | 5 |
| $9–10k | 4 |
| $10–12k | 3 |
| $12–15k | 3 |
| $15–20k | 5 |
| $20k+ | 1 |
- пригодна для расчёта: 61 (12%)
- указана, но не приведена к $/мес: 63 (12,4%)
- не указана: 384 (75,6%)
В каждой десятой вакансии вилка ниже $3 289, в каждой десятой — выше $14 641. Половина вакансий предлагает от $5 375 до $9 250. Выборка: 61.
Данные графика
| Показатель | Нижняя граница | Верхняя граница | Количество |
|---|---|---|---|
| <$1k | 0 | 1 000 | 0 |
| $1–2k | 1 000 | 2 000 | 4 |
| $2–3k | 2 000 | 3 000 | 2 |
| $3–4k | 3 000 | 4 000 | 2 |
| $4–5k | 4 000 | 5 000 | 5 |
| $5–6k | 5 000 | 6 000 | 7 |
| $6–7k | 6 000 | 7 000 | 12 |
| $7–8k | 7 000 | 8 000 | 8 |
| $8–9k | 8 000 | 9 000 | 5 |
| $9–10k | 9 000 | 10 000 | 4 |
| $10–12k | 10 000 | 12 000 | 3 |
| $12–15k | 12 000 | 15 000 | 3 |
| $15–20k | 15 000 | 20 000 | 5 |
| $20k+ | 20 000 | — | 1 |
В каких странах больше всего открытых вакансий Big Data (Spark/Hadoop).
География спроса
| страна | вакансий | доля |
|---|---|---|
| Польша | 113 | 27,2% |
| Соединенные Штаты | 86 | 20,7% |
| Индия | 43 | 10,3% |
| Сингапур | 28 | 6,7% |
| Канада | 17 | 4,1% |
| Великобритания | 15 | 3,6% |
| Россия | 13 | 3,1% |
| Франция | 11 | 2,6% |
| Испания | 10 | 2,4% |
| Германия | 9 | 2,2% |
| Остальные страны | 71 | 17,1% |
Лидер по числу Big Data-вакансий — Польша (113 позиций). Москва доминирует. Польша — Big Data friendly EU-рынок. Большой международный remote через Databricks/Snowflake.
⚠ только число вакансий: зарплата по странам не публикуется
Данные графика
| Страна | Вакансии |
|---|---|
| PL | 113 |
| US | 86 |
| IN | 43 |
| SG | 28 |
| CA | 17 |
| GB | 15 |
| RU | 13 |
| FR | 11 |
| ES | 10 |
| DE | 9 |
Какие технологии чаще всего требуют в одной вакансии с Big Data (Spark/Hadoop).
С чем используется вместе
Доля — сколько из 508 вакансий рынка «Big Data (Spark/Hadoop)» упоминают эту технологию. Порядок — по числу вакансий, не по «силе связи». Обобщения вроде cloud не равны конкретному облаку (AWS, Azure).
Топ-стек Big Data 2026: Apache Spark (must — PySpark или Scala), Hadoop (HDFS + Hive — legacy enterprise), Apache Flink (premium streaming), Kafka (must), Delta Lake / Apache Iceberg (lakehouse — modern стандарт), Apache Hudi, HBase / Cassandra (NoSQL distributed), Scala или Python, Airflow, Cloudera / Hortonworks, Kubernetes (Spark on k8s). Senior — Apache Atlas / DataHub.
Частые пары: Spark + Kafka, Spark + Iceberg, Hadoop + Hive, Spark + Scala, Flink + Kafka. Learning-roadmap: Data Engineer Middle опыт → Spark deeply → Spark execution model → один lakehouse (Iceberg) → Hadoop basics (для legacy) → Spark on k8s.
Данные графика
| Название | Количество |
|---|---|
| python | 217 |
| spark | 215 |
| java | 163 |
| cloud | 157 |
| hadoop | 151 |
| sql | 142 |
| aws | 118 |
| pyspark | 105 |
| databricks | 92 |
| azure | 77 |
| scala | 74 |
| kafka | 70 |
Сколько вакансий Big Data (Spark/Hadoop) на каждом уровне — от junior до principal.
Спрос по уровням
| уровень | вакансий |
|---|---|
| senior | 141 |
| lead | 48 |
| middle | 47 |
| principal | 20 |
| junior | 6 |
Junior почти нет — рынок ожидает Data Engineer Middle опыт. Career-flow: Data Engineer Middle → Big Data Middle за 4-8 месяцев → Senior → Platform Engineer / Lakehouse Architect / Head of Big Data.
⚠ только сторона спроса: грейд наблюдаемого пула неизвестен у большинства
Данные графика
| Уровень | Количество |
|---|---|
| senior | 141 |
| lead | 48 |
| middle | 47 |
| principal | 20 |
| junior | 6 |
Кто больше всех нанимает по Big Data (Spark/Hadoop) и насколько спрос сосредоточен у крупных компаний.
Работодатели
Спрос распределён между 293 работодателями. На крупнейшего приходится 7.9%, на десятку — 20.5%; остальные 79.5% — длинный хвост.
| доля | значение |
|---|---|
| крупнейший | 7.9% |
| топ-3 | 11.8% |
| топ-10 | 20.5% |
| длинный хвост | 79.5% |
⚠ имена не показываются: кадровые агентства и конечные работодатели пока не различаются классификацией
С каких сайтов компаний и досок Zorky собирает вакансии Big Data (Spark/Hadoop).
Откуда Zorky видит этот рынок
Наблюдение идёт из 64 источников; на крупнейший приходится 18.9% — рынок не держится на одном канале.
Данные графика
| Класс | Название | Название на английском | Количество | Доля |
|---|---|---|---|---|
| ats | ATS и карьерные сайты | ATS & career sites | 257 | 0,5059 |
| board | джоб-борды и агрегаторы | job boards & aggregators | 240 | 0,4724 |
| telegram | Telegram | Telegram | 11 | 0,0217 |
Самые новые вакансии Big Data (Spark/Hadoop) с сайтов компаний.
Свежие вакансии
- Senior Java Microservices & Spark Developer · SG
- Senior Java Spark Developer - Assistant Vice President · IN
- Senior Data Engineer (Snowflake, AWS, Big Data) · AU
- Senior/Lead Data Engineer (Java/Flink/Kafka) · UA
- Эксперт по администрированию Hadoop в Мегафон · RU
- Senior Python Developer (PySpark, Databricks, React)
- Senior Python Developer (PySpark, Azure)
- Senior Data Engineer (Spark & Python Specialist) · ZA · $4 158
Свежие открытые Big Data-вакансии — последние 10 позиций с приемлемым качеством описания. Полный список — в нашем CRM или по ссылке «смотреть все» ниже.
Соседние рынки
Big Data Engineer — нишевой premium-сегмент Data direction. Сравнение с другими data-специализациями — в SiblingSubnichesChart выше.
⚠ соседние рынки для сравнения ещё не определены
Как это посчитано
- Вакансия
- открытая вакансия, прошедшая гейт качества и содержащая не менее двух технологий
- Наблюдаемый кандидат
- кандидат, чей стек содержит эту технологию; агрегат, без единой записи наружу
- Подходящий кандидат
- пока не считается
- Окно
- открытые вакансии на момент сборки снимка
О данных
- Некоторые разрезы скрыты: по ним пока недостаточно полноты данных.
- Статистика строится только там, где выборка проходит порог качества.
- Отсутствие блока не означает нулевое значение.
Сейчас скрыто разрезов: 8.
Направление: Data Engineer
Соседние специализации
Внутри Big Data Engineer: Spark Engineer (PySpark или Spark Scala — главное применение), Hadoop Engineer (legacy enterprise — HDFS + Hive + MapReduce), Flink Engineer (true streaming, premium niche), Big Data Platform Engineer (Hadoop cluster admin, Spark on k8s + Iceberg/Delta), Data Lakehouse Architect (modern архитектура). Сравнение с другими data-специализациями — в баре ниже.
Частые вопросы
Самые частые вопросы про Big Data: зарплаты, Spark vs Hadoop vs Flink, Lakehouse (Delta/Iceberg/Hudi), отличие от Data Engineer / ML Engineer, удалёнка, как стать (4-8 месяцев после Data Engineer Middle), Senior skills. Ответы пересчитываются автоматически.
Какой стек чаще всего требуют от Big Data?
Топ-5: python, spark, cloud, java, hadoop. Apache Spark — must (PySpark для большинства, Spark Scala для performance-critical). Глубокое понимание execution model (DAG, stages, tasks), shuffles, broadcasts, partitioning. Hadoop — HDFS + Hive + YARN — legacy enterprise (Сбер/банки/телеком), миграции на open-source-стек. Apache Flink — true streaming, premium niche. Kafka — must (partitions, consumer groups, exactly-once). Delta Lake/Apache Iceberg — lakehouse table formats (modern стандарт, заменяют классический Hadoop стек). Apache Hudi — альтернатива Iceberg. HBase/Cassandra — NoSQL distributed для real-time. Scala или Python — Scala для production Spark, Python для большинства. Airflow для оркестрации batch jobs. Cloudera/Hortonworks distributions (legacy enterprise). Kubernetes — Spark on k8s + Spark Operator. Apache Atlas/DataHub — data lineage + catalog (Senior must). Знание JVM tuning (GC G1/ZGC, heap profiling) — Spark Scala Senior must.
Spark vs Hadoop vs Flink — что выбрать для Big Data?
Apache Spark — индустриальный стандарт + доминанта. PySpark самый ёмкий рынок, Spark Scala — премиум-ниша. Минусы: micro-batch streaming (секунды latency), не true realtime. Hadoop (HDFS + MapReduce + Hive) — legacy enterprise. Используется в крупных банках/телекоме где миграция на open-source ещё не завершена. Знать обязательно если работаешь в Сбере/банках. Тренд: миграции с Hadoop на Spark on k8s + Iceberg/Delta Lake. Apache Flink — true streaming engine с миллисекундной latency, exactly-once semantics из коробки. Растущий сегмент: FinTech/AdTech/IoT/real-time ML inference. Стратегия: Spark сначала (ёмкость рынка), потом Flink для diversification и премиум-зарплат. Hadoop изучать только если идёшь в банковский сектор.
Lakehouse (Delta Lake / Iceberg / Hudi) — что учить в 2026?
Lakehouse architecture — modern data architecture, объединяющая Data Lake (cheap storage в S3/HDFS) с Data Warehouse (ACID + schema enforcement + indexing). Заменяет классический Hadoop-стек. Три главные table-format'а: Delta Lake (Databricks-original, наиболее зрелый, доминанта в Databricks-shop'ах), Apache Iceberg, Apache Hudi (third-place, fastest updates через incremental ingestion). Стратегия: Iceberg сначала (open-standard winner 2024–2026), Delta Lake если работаешь с Databricks, Hudi только если специфический use-case (CDC + updates-heavy).
Какая доля вакансий предполагает удалённую работу?
Среди вакансий с указанным форматом работы 31% — удалённые. Вакансии без указанного формата не входят в знаменатель; гибридная работа не считается удалённой.
Чем Big Data Engineer отличается от Data Engineer / ML Engineer?
Big Data Engineer (этa страница) — фокус на распределённых системах для обработки терабайтов+. Spark/Hadoop/Flink + cluster management. Premium за distributed-systems complexity. Data Engineer (general) — может работать с меньшими volumes (GB-TB) без Spark. Focus на pipelines + DWH-моделирование. ML Engineer — deploy моделей в production (FastAPI + ONNX/TorchServe), feature-store, MLOps. Focus на inference. ML Engineer Senior ≈ Big Data Senior. Career-switch Data Engineer → Big Data за 4-8 месяцев (Spark + один lakehouse + Kafka). Big Data → ML Engineer за 8-12 месяцев (PyTorch + MLOps-стек). Многие Senior Big Data разработчики двигаются в ML Engineering (data infrastructure → model deployment).
С чего начинать в Big Data в 2026?
Предполагается Data Engineer Middle опыт (Python + SQL + Airflow + один DWH). Roadmap: 1) Apache Spark deeply — официальная документация + Databricks Learning Academy (бесплатно). Освоить DataFrame API + Spark SQL + Window Functions + Structured Streaming. 2) Spark execution model — physical/logical plans, DAG, stages, tasks, shuffles, broadcasts, partitioning strategies. 3) PySpark — для большинства проектов. Альтернатива: Spark Scala для performance-critical. 4) Kafka — partitions, consumer groups, exactly-once semantics. 5) Один lakehouse format: Iceberg (рекомендуется — open-standard winner) или Delta Lake (если Databricks). 6) Hadoop basics — HDFS + Hive (для maintenance legacy банков-проектов). 7) Spark on Kubernetes (Spark Operator). 8) Pet-проект end-to-end: Spark + Kafka + Iceberg + Airflow pipeline на 10-50 GB dataset, deployed в облаке. Курсы: Karpov.Courses «Spark Developer», OTUS «Big Data Engineer», Я.Практикум (часть Data Engineer track), Databricks Learning Academy (eng — best free resource), Coursera «Big Data» specialization. Книги: «Spark: The Definitive Guide» Chambers/Zaharia, «Designing Data-Intensive Applications» Kleppmann (must-read). Data Engineer Middle → Big Data Middle — 4-8 месяцев.
Сколько открытых вакансий в этой выборке?
В опубликованной выборке — 508 открытых вакансий без перепубликаций. Это тот же показатель, что в верхнем блоке страницы. География выборки представлена в разделе географии; это не оценка всего рынка.
Какие навыки нужны Senior Big Data Engineer?
Senior Big Data Engineer владеет полным циклом распределённых систем. Spark mastery: execution model (logical plan → physical plan → tasks), shuffle optimization (avoid shuffles where possible, broadcast joins для small tables, repartition vs coalesce, skew handling), Catalyst optimizer internals, Tungsten memory model, Spark SQL deep, Structured Streaming с exactly-once. Performance: JVM tuning для Spark Scala (G1/ZGC, heap sizing — executor.memory + driver.memory + memoryOverhead), pandas UDFs vs Pandas API on Spark, Photon engine (Databricks-only). Kafka: producer-consumer semantics deep, partitioning strategies, exactly-once через transactions, schema registry (Avro/Protobuf), Kafka Streams basics. Lakehouse: Iceberg/Delta — schema evolution, time-travel, partition evolution, optimize/vacuum, hidden partitioning. Cluster admin: Spark on k8s (Spark Operator), cost optimization (spot instances, auto-scaling), Cloudera/Hortonworks для legacy. SQL: продвинутый SQL для Spark SQL + Hive SQL + один DWH (Snowflake/BigQuery). Data Governance: Apache Atlas или DataHub — lineage, catalog, access control. DevOps: Docker, Kubernetes, Terraform для IaC, CI/CD для Spark applications (Spark Submit + GitHub Actions). Soft: code-review, ментoring, общение с Data Scientists / Analytics teams по requirements. Английский — must для Senior+ (Big Data документация преимущественно EN, мало русскоязычных источников).
Оставить заявку
Опишите задачу и оставьте контакт — заявка попадёт в CRM, ответим на указанный контакт.