Usamos cookies técnicos e o registro de visitas anonimizado do Zorky. O Yandex Metrica (dados armazenados em servidores na Rússia) só funciona com o seu consentimento. Nunca vendemos dados. Mais sobre cookies e estatísticas.
O Zorky está em modo de teste — tudo é gratuito. As vagas e as páginas das empresas são abertas a todos; os links dos anúncios e sua seleção pessoal abrem após o cadastro. Cadastre-se →

Big Data: mercado

Dados de 19 de novembro de 2026: vagas abertas de Big Data — 508, 31% remotas entre as vagas que informam o modelo de trabalho; salário mediano anunciado $6.825/mês (de 61 vagas que informam salário). Fonte: Zorky, atualizado diariamente.

Big Data Engineer — processing very large data volumes (terabytes, petabytes) via distributed engines. A Data Engineering sub-segment with focus on Spark/Hadoop/Flink/distributed computing. A premium niche thanks to distributed-systems complexity. Role family: Spark Engineer (PySpark or Spark Scala — Big Data's main application), Hadoop Engineer (legacy enterprise — HDFS + Hive + MapReduce, migrations to Spark), Flink Engineer (true streaming, low-latency event processing), Big Data Platform Engineer (Hadoop cluster admin, Spark on k8s + Iceberg/Delta), Data Lakehouse Architect (modern architecture — Iceberg/Delta + Spark + dbt). Stack: Apache Spark (must — PySpark or Scala, execution model, shuffles, broadcasts), Hadoop (HDFS + Hive + YARN — legacy in large enterprise), Apache Flink (streaming, premium niche), Kafka (must), Delta Lake/Apache Iceberg (lakehouse table formats — modern standard), Apache Hudi (lakehouse alternative), HBase/Cassandra (NoSQL distributed for real-time), Scala or Python (Scala for performance-critical Spark, Python for most), Airflow (orchestration), Cloudera/Hortonworks (distributions, migrations to the open-source stack), Kubernetes (Spark on k8s — modern deployment). Top stack: python, spark, cloud, java, hadoop. Among jobs with a stated work format, 31% are remote.

Dados em:

Os principais números do mercado de Big Data: vagas abertas, salário mediano, grupo de especialistas observado e parcela de remoto.

508
vagas abertas — por cargo, republicações mescladas
$6.825
mediana $/mês
31%
remoto

O mercado de Big Data tem agora 508 vagas abertas, 442 delas observadas recentemente. Median salary $6.825/mo.

Entre as vagas com modalidade de trabalho informada, 31% são remotas. O trabalho de administração de clusters é baseado em nuvem. SaaS internacionais de dados em nuvem (Databricks/Snowflake/Confluent) — totalmente remoto.

⚠ salário conhecido para 61 de 508 vagas; participação de remoto a partir de 354 com formato informado; 442 contadas como observações recentes; tendência e dificuldade de contratação não são mostradas

Linha do tempo: vagas e fontes

Quantas vagas de Big Data apareceram a cada semana desde 1 de jun. e de quantas fontes. O gráfico inferior separa o crescimento do mercado do crescimento da nossa cobertura: um salto na semana em que novas fontes foram conectadas significa que passamos a ver mais, não que o mercado cresceu.

Novas vagas por semana

Dados do gráfico
Novas vagas por semana. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
PeríodoNovas vagas por semana
2026-06-0148
2026-06-0826
2026-06-1525
2026-06-2286
2026-06-2983
2026-07-0669
2026-07-13128
2026-07-20135
2026-07-2767
2026-08-0356
2026-08-1028
2026-08-1729
2026-08-2425
2026-08-3156
2026-09-0737
2026-09-1439
2026-09-2181
2026-09-2891
2026-10-0598
2026-10-12342
2026-10-19133
2026-10-26117
2026-11-02106
2026-11-09134

Fontes ativas por semana

Fontes no período: 131. ▲ — semana em que muitas fontes novas foram conectadas.

Dados do gráfico
Fontes ativas por semana. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
PeríodoFontes ativas
2026-06-0113
2026-06-0812
2026-06-1511
2026-06-2224
2026-06-2927
2026-07-0635
2026-07-1328
2026-07-2033
2026-07-2724
2026-08-0330
2026-08-1018
2026-08-1719
2026-08-2414
2026-08-3122
2026-09-0719
2026-09-1417
2026-09-2127
2026-09-2834
2026-10-0527
2026-10-1236
2026-10-1935
2026-10-2632
2026-11-0234
2026-11-0948
Novas fontes conectadas: 22 de jun. +14 · 29 de jun. +13 · 6 de jul. +18 · 13 de jul. +8 · todas as semanas (23) na tabela
SemanaFontes novasVagas novas
8 de jun.+626
15 de jun.+325
22 de jun.+1486
29 de jun.+1383
6 de jul.+1869
13 de jul.+8128
20 de jul.+5135
27 de jul.+667
3 de ago.+656
10 de ago.+128
17 de ago.+229
24 de ago.+125
31 de ago.+456
7 de set.+137
14 de set.+139
21 de set.+381
28 de set.+391
5 de out.+198
12 de out.+6342
19 de out.+5133
26 de out.+2117
2 de nov.+2106
9 de nov.+7134

A semana atual ainda não terminou e não é exibida: uma semana incompleta pareceria uma queda.

Semana = data em que a vaga foi vista pela primeira vez, todos os status; as vagas são selecionadas pela mesma regra do contador desta página. Fontes são canais de coleta distintos; seus nomes não são publicados.

Dados do gráfico
Linha do tempo: vagas e fontes — Big Data. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
SemanaNovas vagas por semanaFontes ativas
2026-06-014813
2026-06-082612
2026-06-152511
2026-06-228624
2026-06-298327
2026-07-066935
2026-07-1312828
2026-07-2013533
2026-07-276724
2026-08-035630
2026-08-102818
2026-08-172919
2026-08-242514
2026-08-315622
2026-09-073719
2026-09-143917
2026-09-218127
2026-09-289134
2026-10-059827
2026-10-1234236
2026-10-1913335
2026-10-2611732
2026-11-0210634
2026-11-0913448

Os salários ao longo do tempo

Salário mediano de Big Data por semana, USD por mês.

Salário mediano, USD por mês

Dados do gráfico
Salário mediano, USD por mês. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
PeríodoMedianaVagas com salário por semana (n)
2026-07-205.75012
2026-07-27—4
2026-08-03—0
2026-08-10—0
2026-08-17—0
2026-08-24—0
2026-08-31—0
2026-09-07—0
2026-09-14—1
2026-09-21—4
2026-09-28—3
2026-10-055.07910
2026-10-126.79320
2026-10-196.25036
2026-10-266.72621
2026-11-027.69922
2026-11-094.65822

A série começa em 20 de jul.: antes disso não há dados.

Vagas com salário por semana (n)

Apenas vagas com salário em USD e período conhecido (mês ou ano), de US$ 500 a US$ 50.000 por mês. Semanas com menos de 10 vagas assim ficam em branco — isso significa sem dados, não zero.

Dados do gráfico
Os salários ao longo do tempo — Big Data. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
SemanaMediana
2026-06-01—
2026-06-08—
2026-06-15—
2026-06-22—
2026-06-29—
2026-07-06—
2026-07-13—
2026-07-205.750
2026-07-27—
2026-08-03—
2026-08-10—
2026-08-17—
2026-08-24—
2026-08-31—
2026-09-07—
2026-09-14—
2026-09-21—
2026-09-28—
2026-10-055.079
2026-10-126.793
2026-10-196.250
2026-10-266.726
2026-11-027.699
2026-11-094.658

O trabalho remoto ao longo do tempo

Proporção de vagas de Big Data com trabalho totalmente remoto, por semana.

Vagas remotas, %

Dados do gráfico
Vagas remotas, %. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
PeríodoRemoto
2026-06-0179,1
2026-06-0831,6
2026-06-1511,8
2026-06-2231,5
2026-06-2923,9
2026-07-0632,4
2026-07-1344
2026-07-2075,6
2026-07-2768
2026-08-0320
2026-08-1025
2026-08-1728
2026-08-2420
2026-08-3120
2026-09-0717,1
2026-09-1423,7
2026-09-2137,5
2026-09-2836,9
2026-10-0543,6
2026-10-1236,8
2026-10-1931,9
2026-10-2625,9
2026-11-0225,3
2026-11-0924,6

A proporção é calculada entre as vagas que informam o formato (remoto, híbrido, escritório). Semanas com menos de 10 vagas assim ficam em branco.

Dados do gráfico
O trabalho remoto ao longo do tempo — Big Data. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
SemanaRemoto
2026-06-0179,1
2026-06-0831,6
2026-06-1511,8
2026-06-2231,5
2026-06-2923,9
2026-07-0632,4
2026-07-1344
2026-07-2075,6
2026-07-2768
2026-08-0320
2026-08-1025
2026-08-1728
2026-08-2420
2026-08-3120
2026-09-0717,1
2026-09-1423,7
2026-09-2137,5
2026-09-2836,9
2026-10-0543,6
2026-10-1236,8
2026-10-1931,9
2026-10-2625,9
2026-11-0225,3
2026-11-0924,6

As tecnologias ao longo do tempo

Como mudou a proporção de vagas de Big Data que mencionam cada uma das principais tecnologias.

Vagas que mencionam a tecnologia, %

Dados do gráfico
Vagas que mencionam a tecnologia, %. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
PeríodoPythoncloudSQL
2026-08-1034,84,313
2026-08-1744,47,422,2
2026-08-24———
2026-08-314915,735,3
2026-09-0748,313,841,4
2026-09-1428,625,720
2026-09-2136,430,337,9
2026-09-2843,24237
2026-10-0557,847,851,1
2026-10-123332,627,7
2026-10-1961,441,247,4
2026-10-2659,444,850
2026-11-025028,434,1
2026-11-0954,524,237,4
Até 5 no gráfico:

Proporção entre as vagas com stack marcado; a série começa em 10 de ago.: antes as tags de stack eram atribuídas de outra forma. Semanas com menos de 20 vagas marcadas ficam em branco.

Dados do gráfico
As tecnologias ao longo do tempo — Big Data. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
SemanaPythonJavacloudhadoopSQL
2026-08-1034,817,44,339,113
2026-08-1744,411,17,43,722,2
2026-08-24—————
2026-08-314913,715,715,735,3
2026-09-0748,320,713,817,241,4
2026-09-1428,625,725,717,120
2026-09-2136,424,230,327,337,9
2026-09-2843,222,2422137
2026-10-0557,835,647,823,351,1
2026-10-12333932,654,327,7
2026-10-1961,434,241,23647,4
2026-10-2659,431,244,815,650
2026-11-02503328,413,634,1
2026-11-0954,536,424,226,337,4

Países ao longo do tempo

Como mudou, por semana, a proporção de vagas de Big Data em cada um dos principais países.

Vagas no país, %

Dados do gráfico
Vagas no país, %. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
PeríodoPolôniaEUAÍndia
2026-06-0162,2200
2026-06-08162024
2026-06-1514,333,319
2026-06-2257,58,815
2026-06-2912,52015
2026-07-0614,332,712,2
2026-07-1322,328,720,2
2026-07-2053,27,310,5
2026-07-2751,612,96,5
2026-08-0313,719,621,6
2026-08-1017,417,430,4
2026-08-173,826,919,2
2026-08-2402015
2026-08-311,913,218,9
2026-09-0711,111,116,7
2026-09-146,221,918,8
2026-09-2122,132,414,7
2026-09-2811,926,211,9
2026-10-0546,49,53,6
2026-10-1214,533,69,3
2026-10-193220,36,2
2026-10-2626,315,815,8
2026-11-0214,721,110,5
2026-11-0919,810,75
Até 5 no gráfico:

Proporção entre as vagas com país conhecido; o gráfico mostra os cinco países com mais vagas em seis meses. Semanas com menos de 20 vagas com país conhecido ficam em branco. Uma proporção em alta pode indicar uma fonte recém-conectada naquele país, e não crescimento do mercado.

Dados do gráfico
Países ao longo do tempo — Big Data. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
SemanaPolôniaEUAÍndiaSingapuraÁfrica do Sul
2026-06-0162,220000
2026-06-08162024012
2026-06-1514,333,31909,5
2026-06-2257,58,81500
2026-06-2912,5201538,81,2
2026-07-0614,332,712,210,20
2026-07-1322,328,720,22,10
2026-07-2053,27,310,512,10,8
2026-07-2751,612,96,516,11,6
2026-08-0313,719,621,63,95,9
2026-08-1017,417,430,400
2026-08-173,826,919,23,80
2026-08-2402015100
2026-08-311,913,218,91,915,1
2026-09-0711,111,116,7013,9
2026-09-146,221,918,83,112,5
2026-09-2122,132,414,75,90
2026-09-2811,926,211,916,74,8
2026-10-0546,49,53,64,88,3
2026-10-1214,533,69,31,912,6
2026-10-193220,36,277
2026-10-2626,315,815,86,14,4
2026-11-0214,721,110,512,67,4
2026-11-0919,810,755,818,2

Mercado limpo: índice de contratação

Os mesmos 7.505 sites de carreira de empregadores; o número de vagas vem do próprio site. Conectar novas fontes não move este índice — ele mostra o mercado, não a nossa cobertura. É todo o mercado do painel, não apenas Big Data.

Índice de contratação, 16 de out. = 100

Dados do gráfico
Índice de contratação, 16 de out. = 100. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
PeríodoÍndice de contratação
2026-10-16100
2026-10-17100,03
2026-10-1899,76
2026-10-1999,68
2026-10-2099,27
2026-10-2198,6
2026-10-2299,07
2026-10-2397,4
2026-10-2497,41
2026-10-2697,33
2026-10-2796,76
2026-10-2896,21
2026-10-2995,17
2026-10-3095,13
2026-10-3193,65
2026-11-0193,33
2026-11-0292,67
2026-11-0392,65
2026-11-0492,41
2026-11-0592,13
2026-11-0690,44
2026-11-0790,48
2026-11-0890,45
2026-11-1090,29
2026-11-1190,22
2026-11-1390,12
2026-11-1489,7
2026-11-1589,68
2026-11-1689,62
2026-11-1888,91
2026-11-1988,02

Índice encadeado: cada dia compara apenas os sites consultados naquele dia e no anterior; valores discrepantes e falhas de consulta de uma plataforma inteira são excluídos. Dias sem pares comparáveis ficam em branco.

Dados do gráfico
Mercado limpo: índice de contratação — Big Data. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
DiaÍndice de contratação
2026-10-16100
2026-10-17100,03
2026-10-1899,76
2026-10-1999,68
2026-10-2099,27
2026-10-2198,6
2026-10-2299,07
2026-10-2397,4
2026-10-2497,41
2026-10-2697,33
2026-10-2796,76
2026-10-2896,21
2026-10-2995,17
2026-10-3095,13
2026-10-3193,65
2026-11-0193,33
2026-11-0292,67
2026-11-0392,65
2026-11-0492,41
2026-11-0592,13
2026-11-0690,44
2026-11-0790,48
2026-11-0890,45
2026-11-1090,29
2026-11-1190,22
2026-11-1390,12
2026-11-1489,7
2026-11-1589,68
2026-11-1689,62
2026-11-1888,91
2026-11-1988,02

Quantas vagas abertas de Big Data existem e quantos especialistas compatíveis o Zorky observa.

Demanda e oferta observada

Dados do gráfico
Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
IndicadorValor
Demanda aberta508
Demanda aberta508
Oferta observada— não publicado

Big Data forma um segmento premium de sistemas distribuídos. Direcionadores: migrações de Hadoop legado → Spark em k8s + Iceberg, demanda por streaming (Flink + Kafka), crescimento dos parceiros Databricks. Tendência 2026: a arquitetura lakehouse (Iceberg/Delta) domina, Hadoop em EOL no grande enterprise.

⚠ candidatos compatíveis com uma vaga ainda não são contados: são mostrados a demanda e o pool observado

Como se distribuem os salários nas vagas de Big Data, em dólares americanos por mês.

Distribuição de salários

P25 $5.375 · P50 $6.825 · P75 $9.250
Dados do gráfico
Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
IndicadorValor
<$1k0
$1–2k4
$2–3k2
$3–4k2
$4–5k5
$5–6k7
$6–7k12
$7–8k8
$8–9k5
$9–10k4
$10–12k3
$12–15k3
$15–20k5
$20k+1
Salário nas vagas: base 508
  • utilizável no cálculo: 61 (12%)
  • informado, mas não convertido para USD/mês: 63 (12,4%)
  • não informado: 384 (75,6%)

Uma em cada dez vagas oferece menos de $3.289, uma em cada dez mais de $14.641. Metade das vagas oferece entre $5.375 e $9.250. Amostra: 61.

Dados do gráfico
Distribuição de salários — Big Data. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
IndicadorLimite inferiorLimite superiorQuantidade
<$1k01.0000
$1–2k1.0002.0004
$2–3k2.0003.0002
$3–4k3.0004.0002
$4–5k4.0005.0005
$5–6k5.0006.0007
$6–7k6.0007.00012
$7–8k7.0008.0008
$8–9k8.0009.0005
$9–10k9.00010.0004
$10–12k10.00012.0003
$12–15k12.00015.0003
$15–20k15.00020.0005
$20k+20.000—1

Em quais países há mais vagas abertas de Big Data.

Geografia da demanda

paísvagasproporção
Polônia11327,2%
Estados Unidos8620,7%
Índia4310,3%
Singapura286,7%
Canadá174,1%
Reino Unido153,6%
Rússia133,1%
França112,6%
Espanha102,4%
Alemanha92,2%
Outros países7117,1%

O líder em número de vagas de Big Data é a Polônia (113 vagas). Moscou domina. A Polônia — mercado da UE amigável a Big Data. Grande segmento remoto internacional via Databricks/Snowflake.

⚠ apenas número de vagas: o salário por país não é publicado

Dados do gráfico
Geografia da demanda — Big Data. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
PaísVagas
PL113
US86
IN43
SG28
CA17
GB15
RU13
FR11
ES10
DE9

Quais tecnologias são mais pedidas na mesma vaga que Big Data.

Usada junto com

python
21742,7%
spark
21542,3%
java
16332,1%
cloud
15730,9%
hadoop
15129,7%
sql
14228%
aws
11823,2%
pyspark
10520,7%
databricks
9218,1%
azure
7715,2%

Participação: quantas das 508 vagas do mercado Big Data mencionam esta tecnologia. Ordenado pelo número de vagas, não pela “força da associação”. Termos genéricos como cloud não são uma nuvem específica (AWS, Azure).

Top stack de Big Data 2026: Apache Spark (obrigatório — PySpark ou Scala), Hadoop (HDFS + Hive — legacy enterprise), Apache Flink (streaming premium), Kafka (obrigatório), Delta Lake / Apache Iceberg (lakehouse — padrão moderno), Apache Hudi, HBase / Cassandra (NoSQL distribuído), Scala ou Python, Airflow, Cloudera / Hortonworks, Kubernetes (Spark on k8s). Senior — Apache Atlas / DataHub.

Pares comuns: Spark + Kafka, Spark + Iceberg, Hadoop + Hive, Spark + Scala, Flink + Kafka. Roadmap de aprendizado: experiência de Data Engineer Pleno → Spark a fundo → modelo de execução do Spark → um lakehouse (Iceberg) → noções de Hadoop (para legado) → Spark em k8s.

Dados do gráfico
Usada junto com — Big Data. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
NomeQuantidade
python217
spark215
java163
cloud157
hadoop151
sql142
aws118
pyspark105
databricks92
azure77
scala74
kafka70

Quantas vagas de Big Data há em cada nível, de júnior a principal.

Demanda por nível

nívelvagas
senior141
lead48
middle47
principal20
junior6

Júniors quase não existem — o mercado espera experiência de Data Engineer Pleno. Fluxo de carreira: Data Engineer Pleno → Big Data Pleno em 4-8 meses → Sênior → Platform Engineer / Lakehouse Architect / Head of Big Data.

⚠ apenas o lado da demanda: a senioridade do pool observado é desconhecida na maior parte

Dados do gráfico
Demanda por nível — Big Data. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
NívelQuantidade
senior141
lead48
middle47
principal20
junior6

Quem mais contrata em Big Data e quanto a demanda se concentra nas maiores empresas.

Empregadores

A demanda está distribuída entre 293 empregadores. O maior responde por 7.9%, os dez primeiros por 20.5%; os 79.5% restantes são cauda longa.

o maior 7,9%2.º–3.º 3,9%4.º–10.º 8,7%os demais 79,5%
proporçãovalor
top 17.9%
top 311.8%
top 1020.5%
cauda longa79.5%

⚠ os nomes não são mostrados: o classificador ainda não distingue agências de recrutamento de empregadores finais

De quais sites de empresas e portais de vagas o Zorky coleta as vagas de Big Data.

Onde o Zorky vê este mercado

Observado em 64 fontes; a maior responde por 18.9%: este mercado não depende de um único canal.

Dados do gráfico
Onde o Zorky vê este mercado — Big Data. Tabela de dados da secção. Um valor ausente não é zero; as unidades e a amostra estão indicadas na descrição do indicador.
ClasseNomeNome em inglêsQuantidadeProporção
atsATS и карьерные сайтыATS e sites de carreira2570,5059
boardджоб-борды и агрегаторыsites de vagas e agregadores2400,4724
telegramTelegramTelegram110,0217

As vagas de Big Data mais recentes dos sites de carreira das empresas.

Vagas recentes

Todas as vagas →

Vagas de Big Data abertas mais recentes — as 10 posições mais recentes com qualidade de descrição adequada. A lista completa está no nosso CRM ou pelo link "ver todas" abaixo.

Como é medido
Vaga
uma vaga aberta que passou pelo filtro de qualidade e lista pelo menos duas tecnologias
Candidato observado
um candidato cujo stack contém esta tecnologia; um agregado — nenhum registro individual sai do perímetro
Candidato compatível
ainda não contado
Janela
vagas abertas no momento em que o snapshot foi gerado

Sobre os dados

  • Alguns detalhamentos estão ocultos: a cobertura de dados deles ainda não é suficiente.
  • As estatísticas só aparecem onde a amostra passa por um controle de qualidade.
  • A ausência de um bloco não significa valor zero.

Detalhamentos ocultos no momento: 8.

Área: Engenharia de Dados

Especializações relacionadas

Dentro de Big Data Engineer: Spark Engineer (PySpark ou Spark Scala — principal aplicação), Hadoop Engineer (enterprise legado — HDFS + Hive + MapReduce), Flink Engineer (streaming de verdade, nicho premium), Big Data Platform Engineer (admin de cluster Hadoop, Spark em k8s + Iceberg/Delta), Data Lakehouse Architect (arquitetura moderna). A comparação com outras especializações de dados — na barra abaixo.

Engenheiro de dadosDBAStreamingData Warehouse

Perguntas frequentes

As perguntas mais comuns sobre Big Data: pagamento, Spark vs Hadoop vs Flink, Lakehouse (Delta/Iceberg/Hudi), diferença de Data Engineer / ML Engineer, remoto, como começar (4-8 meses após Data Engineer Middle), skills de Senior. As respostas se recalculam automaticamente.

Quanto ganha um Big Data Júnior, Pleno, Sênior ou Lead?

Vagas de Big Data Júnior QUASE NÃO EXISTEM — o mercado espera experiência de Data Engineer Pleno + prática em Spark. O salto Júnior → Pleno — modelo de execução do Spark + um de Hadoop/Flink/Kafka a fundo. O Sênior é dono da arquitetura da plataforma de Big Data + mentor. Lead Big Data — gerenciar sistemas distribuídos com 5+ engenheiros, responsável pelo dimensionamento do cluster + otimização de custo. Fluxo de carreira: Data Engineer Pleno/Sênior → Big Data Pleno em 4-8 meses → Sênior → ou Platform Engineer (foco em infra) ou Lakehouse Architect (modern data stack).

De qual stack Big Data mais precisa?

Top 5: python, spark, cloud, java, hadoop. Apache Spark — obrigatório (PySpark na maior parte, Spark Scala para performance-critical). Entendimento profundo do modelo de execução (DAG, stages, tasks), shuffles, broadcasts, partitioning. Hadoop — HDFS + Hive + YARN — legacy enterprise (Sber/bancos/telco), migrações para o stack open-source. Apache Flink — streaming de verdade, nicho premium. Kafka — obrigatório (partitions, consumer groups, exactly-once). Delta Lake/Apache Iceberg — formatos de tabela de lakehouse (padrão moderno, substituindo o stack Hadoop clássico). Apache Hudi — alternativa ao Iceberg. HBase/Cassandra — NoSQL distribuído para real-time. Scala ou Python — Scala para Spark de produção, Python na maior parte. Airflow para orquestração de batch-jobs. Distribuições Cloudera/Hortonworks (legacy enterprise). Kubernetes — Spark em k8s + Spark Operator. Apache Atlas/DataHub — data lineage + catalog (obrigatório para Senior). Conhecimento de JVM tuning (GC G1/ZGC, heap profiling) — obrigatório para Senior de Spark Scala.

Spark vs Hadoop vs Flink — o que escolher para Big Data?

Apache Spark — padrão industrial + dominador. PySpark — o maior mercado, Spark Scala — nicho com adicional. Contras: streaming por micro-batch (latência de segundos), não é tempo real de verdade. Hadoop (HDFS + MapReduce + Hive) — legado enterprise. Usado em grandes bancos/telecom onde a migração para open-source não terminou. Precisa conhecer se você trabalha no Sber/bancos. Tendência: migrações de Hadoop para Spark em k8s + Iceberg/Delta Lake. Apache Flink — motor de streaming de verdade, com latência de milissegundos e semântica exactly-once de fábrica. Segmento em crescimento: FinTech/AdTech/IoT/inferência de ML em tempo real. Estratégia: Spark primeiro (tamanho de mercado), depois Flink para diversificação e salário com adicional. Aprenda Hadoop só se você vai para a área bancária.

Lakehouse (Delta Lake / Iceberg / Hudi) — o que aprender em 2026?

Arquitetura lakehouse — arquitetura de dados moderna que combina Data Lake (armazenamento barato em S3/HDFS) com Data Warehouse (ACID + validação de schema + indexação). Substitui o stack Hadoop clássico. Três principais formatos de tabela: Delta Lake (original da Databricks, o mais maduro, dominante em empresas que usam Databricks), Apache Iceberg, Apache Hudi (terceiro lugar, atualizações mais rápidas via ingestão incremental). Estratégia: primeiro Iceberg (o padrão aberto vencedor 2024–2026), Delta Lake se você trabalha com Databricks, Hudi só para um caso de uso específico (CDC + muitas atualizações).

Qual é a proporção de vagas remotas?

Entre as vagas com modalidade de trabalho informada, 31% são remotas. Vagas sem modalidade informada são excluídas do denominador; trabalho híbrido não é contado como remoto.

Em que o Big Data Engineer difere de Data Engineer / ML Engineer?

Big Data Engineer (esta página) — foco em sistemas distribuídos para processar terabytes+. Spark/Hadoop/Flink + gerenciamento de cluster. Adicional pela complexidade de sistemas distribuídos. Data Engineer (geral) — pode trabalhar com volumes menores (GB-TB) sem Spark. Foco em pipelines + modelagem de DWH. ML Engineer — leva modelos à produção (FastAPI + ONNX/TorchServe), feature store, MLOps. Foco em inferência. ML Engineer Sênior ≈ Big Data Sênior. Mudança de carreira Data Engineer → Big Data em 4-8 meses (Spark + um lakehouse + Kafka). Big Data → ML Engineer em 8-12 meses (PyTorch + stack de MLOps). Muitos engenheiros Big Data Sêniores migram para ML Engineering (infraestrutura de dados → deploy de modelos).

Por onde começar em Big Data em 2026?

Pressupõe experiência de Data Engineer Pleno (Python + SQL + Airflow + um DWH). Roadmap: 1) Apache Spark a fundo — documentação oficial + Databricks Learning Academy (gratuita). Dominar DataFrame API + Spark SQL + Window Functions + Structured Streaming. 2) Modelo de execução do Spark — planos físicos/lógicos, DAG, stages, tasks, shuffles, broadcasts, estratégias de particionamento. 3) PySpark — para a maioria dos projetos. Alternativa: Spark Scala para o crítico em desempenho. 4) Kafka — partitions, consumer groups, semântica exactly-once. 5) Um formato lakehouse: Iceberg (recomendado — vencedor de padrão aberto) ou Delta Lake (se for Databricks). 6) Noções de Hadoop — HDFS + Hive (para manutenção de projetos bancários legados). 7) Spark em Kubernetes (Spark Operator). 8) Pet project de ponta a ponta: pipeline Spark + Kafka + Iceberg + Airflow num dataset de 10-50 GB, com deploy na nuvem. Cursos: Karpov.Courses "Spark Developer", OTUS "Big Data Engineer", Yandex.Practicum (parte da trilha de Data Engineer), Databricks Learning Academy (EN — o melhor recurso gratuito), especialização "Big Data" da Coursera. Livros: "Spark: The Definitive Guide" Chambers/Zaharia, "Designing Data-Intensive Applications" Kleppmann (obrigatório). Data Engineer Pleno → Big Data Pleno — 4-8 meses.

Quantas vagas abertas estão nesta amostra?

A amostra publicada contém 508 vagas abertas após agrupar republicações. É o mesmo número do indicador principal. A seção geográfica descreve a cobertura da amostra; não é uma estimativa de todo o mercado.

De quais skills um Senior Big Data Engineer precisa?

Um Big Data Engineer Sênior é dono do ciclo completo de sistemas distribuídos. Domínio de Spark: modelo de execução (plano lógico → plano físico → tarefas), otimização de shuffle (evitar shuffles quando possível, broadcast joins para tabelas pequenas, repartition vs coalesce, tratamento de skew), funcionamento interno do Catalyst optimizer, modelo de memória Tungsten, Spark SQL a fundo, Structured Streaming com exactly-once. Desempenho: tuning da JVM para Spark em Scala (G1/ZGC, dimensionamento do heap — executor.memory + driver.memory + memoryOverhead), pandas UDFs vs Pandas API on Spark, engine Photon (só no Databricks). Kafka: semântica producer-consumer a fundo, estratégias de particionamento, exactly-once via transações, schema registry (Avro/Protobuf), noções de Kafka Streams. Lakehouse: Iceberg/Delta — evolução de schema, time-travel, evolução de partições, optimize/vacuum, particionamento oculto. Administração de clusters: Spark em k8s (Spark Operator), otimização de custos (instâncias spot, autoescalonamento), Cloudera/Hortonworks para legado. SQL: SQL avançado para Spark SQL + Hive SQL + um DWH (Snowflake/BigQuery). Data Governance: Apache Atlas ou DataHub — linhagem, catálogo, controle de acesso. DevOps: Docker, Kubernetes, Terraform para IaC, CI/CD para aplicações Spark (Spark Submit + GitHub Actions). Soft skills: code review, mentoria, comunicação com Data Scientists / times de Analytics sobre requisitos. Inglês — obrigatório para Sênior+ (a documentação de Big Data é predominantemente em inglês, há poucas fontes em russo).

Deixar uma solicitação

Descreva a tarefa e deixe um contato: a solicitação chega ao nosso CRM e respondemos no contato informado.

Ao enviar, você concorda com a política de privacidade.