Streaming: mercado
Dados de 19 de novembro de 2026: vagas abertas de Streaming — 36, 31% remotas entre as vagas que informam o modelo de trabalho; salário mediano anunciado $9.583/mês (de 6 vagas que informam salário). Fonte: Zorky, atualizado diariamente.
Streaming (Kafka) — a stream-processing engineer: builds platforms and data pipelines that work in real time. Unlike classic batch processing (data computed hourly / daily), stream processing works with a continuous flow of events as they arrive — it is the foundation of event-driven architecture, real-time analytics, fraud detection, recommendations, IoT data processing. This is a specialisation within Data Engineering — see also /research/data/data-engineer and /research/data/big-data. Role family: Streaming / Real-time Data Engineer (general — streaming pipelines), Kafka Engineer / Kafka Platform Engineer (operating and evolving the Kafka platform), Stream Processing Engineer (stream processing on Flink / Spark), Data Platform Engineer with a streaming bias. Stack 2026: Apache Kafka (the dominant event-streaming platform — de-facto standard), Apache Pulsar, AWS Kinesis, Redpanda (Kafka-compatible, modern — growing), NATS, RabbitMQ (for contrast — a message broker, not a streaming platform). Stream processing: Apache Flink (leader for complex stateful processing), Kafka Streams, Spark Structured Streaming, ksqlDB. Change Data Capture (CDC): Debezium (capture changes from a DB into a stream). Adjacent: Schema Registry (Avro / Protobuf — message contracts), ClickHouse (analytics on streaming data — popular in CIS), Kafka Connect (source/sink integration), the Confluent ecosystem. Key concepts: partitioning and consumer groups, offsets, exactly-once semantics, backpressure, event sourcing, time windowing, watermarks. Languages: predominantly JVM — Java and Scala (most stream-processing engines on JVM), Python (PyFlink, clients). Infrastructure: Docker / Kubernetes, monitoring (Prometheus + Grafana), CI/CD. Top stack: cloud, kafka, python, flink, grafana. Among jobs with a stated work format, 31% are remote. Streaming — a narrow but one of the highest-paying branches of Data Engineering: real-time processing has become the standard for large products, and specialists are scarce.
Dados em:
Os principais números do mercado de Streaming: vagas abertas, salário mediano, grupo de especialistas observado e parcela de remoto.
O mercado de Streaming tem agora 36 vagas abertas, 31 delas observadas recentemente. Median salary $9.583/mo.
Entre as vagas com modalidade de trabalho informada, 31% são remotas. O trabalho envolve código e sistemas distribuídos, sendo plenamente compatível com o remoto.
⚠ salário conhecido para 6 de 36 vagas; participação de remoto a partir de 29 com formato informado; 31 contadas como observações recentes; tendência e dificuldade de contratação não são mostradas
Linha do tempo: vagas e fontes
Quantas vagas de Streaming apareceram a cada semana desde 1 de jun. e de quantas fontes. O gráfico inferior separa o crescimento do mercado do crescimento da nossa cobertura: um salto na semana em que novas fontes foram conectadas significa que passamos a ver mais, não que o mercado cresceu.
Novas vagas por semana
Dados do gráfico
| Período | Novas vagas por semana |
|---|---|
| 2026-06-01 | 6 |
| 2026-06-08 | 6 |
| 2026-06-15 | 6 |
| 2026-06-22 | 6 |
| 2026-06-29 | 4 |
| 2026-07-06 | 5 |
| 2026-07-13 | 3 |
| 2026-07-20 | 10 |
| 2026-07-27 | 3 |
| 2026-08-03 | 1 |
| 2026-08-10 | 1 |
| 2026-08-17 | 6 |
| 2026-08-24 | 4 |
| 2026-08-31 | 1 |
| 2026-09-07 | 0 |
| 2026-09-14 | 4 |
| 2026-09-21 | 4 |
| 2026-09-28 | 2 |
| 2026-10-05 | 16 |
| 2026-10-12 | 19 |
| 2026-10-19 | 11 |
| 2026-10-26 | 4 |
| 2026-11-02 | 7 |
| 2026-11-09 | 10 |
Fontes ativas por semana
Fontes no período: 45. ▲ — semana em que muitas fontes novas foram conectadas.
Dados do gráfico
| Período | Fontes ativas |
|---|---|
| 2026-06-01 | 3 |
| 2026-06-08 | 2 |
| 2026-06-15 | 1 |
| 2026-06-22 | 4 |
| 2026-06-29 | 4 |
| 2026-07-06 | 5 |
| 2026-07-13 | 3 |
| 2026-07-20 | 10 |
| 2026-07-27 | 2 |
| 2026-08-03 | 1 |
| 2026-08-10 | 1 |
| 2026-08-17 | 5 |
| 2026-08-24 | 4 |
| 2026-08-31 | 1 |
| 2026-09-07 | 0 |
| 2026-09-14 | 3 |
| 2026-09-21 | 4 |
| 2026-09-28 | 2 |
| 2026-10-05 | 8 |
| 2026-10-12 | 7 |
| 2026-10-19 | 6 |
| 2026-10-26 | 4 |
| 2026-11-02 | 6 |
| 2026-11-09 | 8 |
Novas fontes conectadas: 20 de jul. +8 · todas as semanas (16) na tabela
| Semana | Fontes novas | Vagas novas |
|---|---|---|
| 22 de jun. | +3 | 6 |
| 29 de jun. | +3 | 4 |
| 6 de jul. | +4 | 5 |
| 13 de jul. | +1 | 3 |
| 20 de jul. | +8 | 10 |
| 17 de ago. | +4 | 6 |
| 24 de ago. | +3 | 4 |
| 31 de ago. | +1 | 1 |
| 14 de set. | +1 | 4 |
| 21 de set. | +2 | 4 |
| 28 de set. | +1 | 2 |
| 5 de out. | +1 | 16 |
| 12 de out. | +3 | 19 |
| 19 de out. | +3 | 11 |
| 2 de nov. | +2 | 7 |
| 9 de nov. | +2 | 10 |
A semana atual ainda não terminou e não é exibida: uma semana incompleta pareceria uma queda.
Semana = data em que a vaga foi vista pela primeira vez, todos os status; as vagas são selecionadas pela mesma regra do contador desta página. Fontes são canais de coleta distintos; seus nomes não são publicados.
Dados do gráfico
| Semana | Novas vagas por semana | Fontes ativas |
|---|---|---|
| 2026-06-01 | 6 | 3 |
| 2026-06-08 | 6 | 2 |
| 2026-06-15 | 6 | 1 |
| 2026-06-22 | 6 | 4 |
| 2026-06-29 | 4 | 4 |
| 2026-07-06 | 5 | 5 |
| 2026-07-13 | 3 | 3 |
| 2026-07-20 | 10 | 10 |
| 2026-07-27 | 3 | 2 |
| 2026-08-03 | 1 | 1 |
| 2026-08-10 | 1 | 1 |
| 2026-08-17 | 6 | 5 |
| 2026-08-24 | 4 | 4 |
| 2026-08-31 | 1 | 1 |
| 2026-09-07 | 0 | 0 |
| 2026-09-14 | 4 | 3 |
| 2026-09-21 | 4 | 4 |
| 2026-09-28 | 2 | 2 |
| 2026-10-05 | 16 | 8 |
| 2026-10-12 | 19 | 7 |
| 2026-10-19 | 11 | 6 |
| 2026-10-26 | 4 | 4 |
| 2026-11-02 | 7 | 6 |
| 2026-11-09 | 10 | 8 |
O trabalho remoto ao longo do tempo
Proporção de vagas de Streaming com trabalho totalmente remoto, por semana.
Vagas remotas, %
Dados do gráfico
| Período | Remoto |
|---|---|
| 2026-10-05 | 37,5 |
| 2026-10-12 | 64,3 |
| 2026-10-19 | 27,3 |
| 2026-10-26 | — |
| 2026-11-02 | — |
| 2026-11-09 | — |
A série começa em 5 de out.: antes disso não há dados.
A proporção é calculada entre as vagas que informam o formato (remoto, híbrido, escritório). Semanas com menos de 10 vagas assim ficam em branco.
Dados do gráfico
| Semana | Remoto |
|---|---|
| 2026-06-01 | — |
| 2026-06-08 | — |
| 2026-06-15 | — |
| 2026-06-22 | — |
| 2026-06-29 | — |
| 2026-07-06 | — |
| 2026-07-13 | — |
| 2026-07-20 | — |
| 2026-07-27 | — |
| 2026-08-03 | — |
| 2026-08-10 | — |
| 2026-08-17 | — |
| 2026-08-24 | — |
| 2026-08-31 | — |
| 2026-09-07 | — |
| 2026-09-14 | — |
| 2026-09-21 | — |
| 2026-09-28 | — |
| 2026-10-05 | 37,5 |
| 2026-10-12 | 64,3 |
| 2026-10-19 | 27,3 |
| 2026-10-26 | — |
| 2026-11-02 | — |
| 2026-11-09 | — |
Mercado limpo: índice de contratação
Os mesmos 7.505 sites de carreira de empregadores; o número de vagas vem do próprio site. Conectar novas fontes não move este índice — ele mostra o mercado, não a nossa cobertura. É todo o mercado do painel, não apenas Streaming.
Índice de contratação, 16 de out. = 100
Dados do gráfico
| Período | Índice de contratação |
|---|---|
| 2026-10-16 | 100 |
| 2026-10-17 | 100,03 |
| 2026-10-18 | 99,76 |
| 2026-10-19 | 99,68 |
| 2026-10-20 | 99,27 |
| 2026-10-21 | 98,6 |
| 2026-10-22 | 99,07 |
| 2026-10-23 | 97,4 |
| 2026-10-24 | 97,41 |
| 2026-10-26 | 97,33 |
| 2026-10-27 | 96,76 |
| 2026-10-28 | 96,21 |
| 2026-10-29 | 95,17 |
| 2026-10-30 | 95,13 |
| 2026-10-31 | 93,65 |
| 2026-11-01 | 93,33 |
| 2026-11-02 | 92,67 |
| 2026-11-03 | 92,65 |
| 2026-11-04 | 92,41 |
| 2026-11-05 | 92,13 |
| 2026-11-06 | 90,44 |
| 2026-11-07 | 90,48 |
| 2026-11-08 | 90,45 |
| 2026-11-10 | 90,29 |
| 2026-11-11 | 90,22 |
| 2026-11-13 | 90,12 |
| 2026-11-14 | 89,7 |
| 2026-11-15 | 89,68 |
| 2026-11-16 | 89,62 |
| 2026-11-18 | 88,91 |
| 2026-11-19 | 88,02 |
Índice encadeado: cada dia compara apenas os sites consultados naquele dia e no anterior; valores discrepantes e falhas de consulta de uma plataforma inteira são excluídos. Dias sem pares comparáveis ficam em branco.
Dados do gráfico
| Dia | Índice de contratação |
|---|---|
| 2026-10-16 | 100 |
| 2026-10-17 | 100,03 |
| 2026-10-18 | 99,76 |
| 2026-10-19 | 99,68 |
| 2026-10-20 | 99,27 |
| 2026-10-21 | 98,6 |
| 2026-10-22 | 99,07 |
| 2026-10-23 | 97,4 |
| 2026-10-24 | 97,41 |
| 2026-10-26 | 97,33 |
| 2026-10-27 | 96,76 |
| 2026-10-28 | 96,21 |
| 2026-10-29 | 95,17 |
| 2026-10-30 | 95,13 |
| 2026-10-31 | 93,65 |
| 2026-11-01 | 93,33 |
| 2026-11-02 | 92,67 |
| 2026-11-03 | 92,65 |
| 2026-11-04 | 92,41 |
| 2026-11-05 | 92,13 |
| 2026-11-06 | 90,44 |
| 2026-11-07 | 90,48 |
| 2026-11-08 | 90,45 |
| 2026-11-10 | 90,29 |
| 2026-11-11 | 90,22 |
| 2026-11-13 | 90,12 |
| 2026-11-14 | 89,7 |
| 2026-11-15 | 89,68 |
| 2026-11-16 | 89,62 |
| 2026-11-18 | 88,91 |
| 2026-11-19 | 88,02 |
Quantas vagas abertas de Streaming existem e quantos especialistas compatíveis o Zorky observa.
Demanda e oferta observada
Dados do gráfico
| Indicador | Valor |
|---|---|
| Demanda aberta | 36 |
| Demanda aberta | 36 |
| Oferta observada | — não publicado |
Streaming é uma área restrita, crescente e bem paga de engenharia de dados. Impulsionadores em 2026: tempo real como padrão para detecção de fraude, recomendações e análises imediatas, crescimento de arquitetura de eventos e CDC para desacoplar bancos monolíticos. Demanda onde os dados precisam estar disponíveis na hora.
⚠ candidatos compatíveis com uma vaga ainda não são contados: são mostrados a demanda e o pool observado
Como se distribuem os salários nas vagas de Streaming, em dólares americanos por mês.
Distribuição de salários
Dados do gráfico
| Indicador | Valor |
|---|---|
| <$1k | 0 |
| $1–2k | 0 |
| $2–3k | 0 |
| $3–4k | 0 |
| $4–5k | 0 |
| $5–6k | 1 |
| $6–7k | 0 |
| $7–8k | 0 |
| $8–9k | 1 |
| $9–10k | 1 |
| $10–12k | 0 |
| $12–15k | 2 |
| $15–20k | 1 |
| $20k+ | 0 |
- utilizável no cálculo: 6 (16,7%)
- informado, mas não convertido para USD/mês: 7 (19,4%)
- não informado: 23 (63,9%)
Uma em cada dez vagas oferece menos de $5.512, uma em cada dez mais de $17.754. Metade das vagas oferece entre $8.930 e $14.087. Amostra: 6.
⚠ percentis a partir de 6 salários de 36 vagas — uma referência com amostra pequena
Dados do gráfico
| Indicador | Limite inferior | Limite superior | Quantidade |
|---|---|---|---|
| <$1k | 0 | 1.000 | 0 |
| $1–2k | 1.000 | 2.000 | 0 |
| $2–3k | 2.000 | 3.000 | 0 |
| $3–4k | 3.000 | 4.000 | 0 |
| $4–5k | 4.000 | 5.000 | 0 |
| $5–6k | 5.000 | 6.000 | 1 |
| $6–7k | 6.000 | 7.000 | 0 |
| $7–8k | 7.000 | 8.000 | 0 |
| $8–9k | 8.000 | 9.000 | 1 |
| $9–10k | 9.000 | 10.000 | 1 |
| $10–12k | 10.000 | 12.000 | 0 |
| $12–15k | 12.000 | 15.000 | 2 |
| $15–20k | 15.000 | 20.000 | 1 |
| $20k+ | 20.000 | — | 0 |
Em quais países há mais vagas abertas de Streaming.
Geografia da demanda
| país | vagas | proporção |
|---|---|---|
| Polônia | 12 | 36,4% |
| Estados Unidos | 8 | 24,2% |
| Canadá | 3 | 9,1% |
| Paquistão | 3 | 9,1% |
| Índia | 2 | 6,1% |
| Alemanha | 1 | 3% |
| Suécia | 1 | 3% |
| Israel | 1 | 3% |
| Reino Unido | 1 | 3% |
| Arábia Saudita | 1 | 3% |
O país com mais vagas de streaming é Polônia (12 posições). Demanda em fintech para detecção de fraude, comércio eletrônico para recomendações e análise, telecomunicações, publicidade e jogos. Empresas internacionais contratam profissionais sêniores de língua russa em remoto integral.
⚠ apenas número de vagas: o salário por país não é publicado
Dados do gráfico
| País | Vagas |
|---|---|
| PL | 12 |
| US | 8 |
| CA | 3 |
| PK | 3 |
| IN | 2 |
| DE | 1 |
| SE | 1 |
| IL | 1 |
| GB | 1 |
| SA | 1 |
Quais tecnologias são mais pedidas na mesma vaga que Streaming.
Usada junto com
Participação: quantas das 36 vagas do mercado Streaming mencionam esta tecnologia. Ordenado pelo número de vagas, não pela “força da associação”. Termos genéricos como cloud não são uma nuvem específica (AWS, Azure).
Principais tecnologias em 2026: Kafka dominante, Pulsar / AWS Kinesis / Redpanda; processamento com Flink, líder com estado, Kafka Streams, Spark Structured Streaming e ksqlDB; CDC com Debezium; Kafka Connect e Schema Registry (Avro / Protobuf); ClickHouse como destino de fluxos; Java / Scala na JVM e Python; Docker / Kubernetes, Prometheus + Grafana.
Combinações: Kafka + Flink, Kafka + ClickHouse, Kafka + Debezium (CDC), Kafka + Schema Registry, Flink + exactly-once. Roteiro: sistemas distribuídos e garantias → Java / Scala → Kafka profundo → Connect e Schema Registry → Kafka Streams e depois Flink → CDC Debezium → conceitos de eventos → Kubernetes e monitoramento → projeto completo (fonte → Kafka → Flink → ClickHouse → Grafana).
Dados do gráfico
| Nome | Quantidade |
|---|---|
| kafka | 27 |
| aws | 13 |
| java | 12 |
| cloud | 11 |
| python | 10 |
| spring | 8 |
| ansible | 7 |
| grafana | 7 |
| eks | 5 |
| flink | 5 |
| ec2 | 4 |
| kubernetes | 4 |
Quantas vagas de Streaming há em cada nível, de júnior a principal.
Demanda por nível
| nível | vagas |
|---|---|
| senior | 14 |
| principal | 3 |
| middle | 3 |
| junior | 2 |
| lead | 1 |
Quase não há vagas puramente júnior; profissionais vêm de engenharia de dados, backend JVM ou big data. Caminho: dados / backend → streaming pleno → sênior → liderança de streaming / Kafka, engenharia de plataforma de dados ou arquitetura de dados.
⚠ apenas o lado da demanda: a senioridade do pool observado é desconhecida na maior parte
Dados do gráfico
| Nível | Quantidade |
|---|---|
| senior | 14 |
| principal | 3 |
| middle | 3 |
| junior | 2 |
| lead | 1 |
Quem mais contrata em Streaming e quanto a demanda se concentra nas maiores empresas.
Empregadores
A demanda está distribuída entre 30 empregadores. O maior responde por 8.6%, os dez primeiros por 42.9%; os 57.1% restantes são cauda longa.
| proporção | valor |
|---|---|
| top 1 | 8.6% |
| top 3 | 20.0% |
| top 10 | 42.9% |
| cauda longa | 57.1% |
⚠ os nomes não são mostrados: o classificador ainda não distingue agências de recrutamento de empregadores finais
De quais sites de empresas e portais de vagas o Zorky coleta as vagas de Streaming.
Onde o Zorky vê este mercado
Observado em 17 fontes; a maior responde por 13.9%: este mercado não depende de um único canal.
Vagas de streaming: hh.ru com «data engineer», «Kafka», «streaming engineer» e «stream processing engineer», Habr Career, getmatch, LinkedIn internacional e comunidades de dados e Kafka no Telegram. O mercado real é maior que a busca exata: tarefas Kafka aparecem em vagas de engenharia de dados e de plataforma de dados.
Dados do gráfico
| Classe | Nome | Nome em inglês | Quantidade | Proporção |
|---|---|---|---|---|
| board | джоб-борды и агрегаторы | sites de vagas e agregadores | 19 | 0,5278 |
| ats | ATS и карьерные сайты | ATS e sites de carreira | 16 | 0,4444 |
| telegram | Telegram | Telegram | 1 | 0,0278 |
As vagas de Streaming mais recentes dos sites de carreira das empresas.
Vagas recentes
- RTS- Kafka Engineer · IN
- Senior Java / Kafka Engineer (L7)
- Senior Kafka Engineer · PL
- Senior Software Engineer, Event Streaming Systems · DE
- Senior Software Developer Java and Event Streaming · SE
- Java Kafka Engineer · US
- Platform Backend Engineer (Go, Distributed Systems & Event Streaming) · CA
- Principal Technical Product Manager, External Services, […] Kinesis Data Streams · US · $17.754
Últimas vagas de streaming / Kafka: as 10 posições mais recentes com descrição de qualidade suficiente. Lista completa no CRM ou em «ver todas» abaixo.
Mercados adjacentes
Streaming integra engenharia de dados: próximo de data-engineer como ramo de pipelines e de big-data por Spark e grandes volumes. Faz fronteira com backend, serviços de eventos, DBA com CDC e DevOps na operação de Kafka. Comparação no SiblingSubnichesChart acima.
⚠ mercados adjacentes para comparação ainda não foram definidos
Como é medido
- Vaga
- uma vaga aberta que passou pelo filtro de qualidade e lista pelo menos duas tecnologias
- Candidato observado
- um candidato cujo stack contém esta tecnologia; um agregado — nenhum registro individual sai do perímetro
- Candidato compatível
- ainda não contado
- Janela
- vagas abertas no momento em que o snapshot foi gerado
Sobre os dados
- Alguns detalhamentos estão ocultos: a cobertura de dados deles ainda não é suficiente.
- As estatísticas só aparecem onde a amostra passa por um controle de qualidade.
- A ausência de um bloco não significa valor zero.
Detalhamentos ocultos no momento: 8.
Área: Engenharia de Dados
Especializações relacionadas
Dentro de streaming: engenharia de dados em streaming / tempo real para pipelines, engenharia Kafka / de plataforma Kafka para operação e evolução, engenharia de processamento de fluxos com Flink / Spark e plataforma de dados com foco em streaming. Comparação com outras especializações no gráfico abaixo.
Perguntas frequentes
Perguntas frequentes: remuneração, níveis, Kafka / Pulsar / Kinesis / Redpanda, Flink / Kafka Streams / Spark, arquitetura de eventos, CDC, exactly-once, remoto, empresas, início e habilidades sêniores. Respostas recalculadas automaticamente.
Quanto ganha um engenheiro de streaming júnior, pleno, sênior ou líder?
Quase não há vagas puramente júnior: normalmente não é a primeira função. A entrada ocorre por engenharia de dados, backend ou big data. Pleno exige Kafka seguro, produtores, consumidores e partições, e um motor de fluxos. Sênior projeta arquiteturas, exactly-once, estado no Flink e Kafka sob carga. Caminho: dados / backend → streaming pleno → sênior → liderança de streaming / Kafka, plataforma ou arquitetura de dados.
Quais ferramentas e habilidades um engenheiro de streaming mais precisa?
Principais em 5: cloud, kafka, python, flink, grafana. Plataformas: Kafka, padrão dominante, Pulsar, Kinesis e Redpanda moderna e compatível com Kafka. Processamento de fluxos: Flink para estado complexo, Kafka Streams para processamento leve dentro de Kafka, Spark Structured Streaming e ksqlDB para SQL sobre fluxos. Captura de alterações: Debezium transforma mudanças do banco em eventos. Ecossistema Kafka: Connect para fontes e destinos, Schema Registry com Avro / Protobuf e contratos, Confluent. Armazenamento: ClickHouse para análise em tempo real, popular na CEI, às vezes Druid e Pinot. Linguagens: Java e Scala na JVM, Python com PyFlink e clientes. Conceitos: distribuição, partições, grupos, offsets, exactly-once / at-least-once, contrapressão, janelas, marcas d'água, event sourcing e idempotência. Infraestrutura: Docker / Kubernetes, Prometheus + Grafana, CI/CD e SQL. Entender sistemas distribuídos e garantias vale mais que conhecer uma API específica.
Kafka, Pulsar, Kinesis ou Redpanda: qual escolher?
Apache Kafka é o padrão de fato para fluxos de eventos: amplo ecossistema Connect, Streams, Schema Registry e Confluent, muita adoção, mais vagas e materiais. Aprenda primeiro. Limitações: dependência histórica de ZooKeeper, substituída por KRaft nas novas versões, e operação especializada. Apache Pulsar separa armazenamento e processamento e oferece múltiplos inquilinos e replicação geográfica integrados, mas tem menor adoção e ecossistema. AWS Kinesis é gerenciado: sem administrar clústeres, mas com dependência do fornecedor e menor flexibilidade; faz sentido em infraestrutura toda AWS. Redpanda usa a API Kafka, é escrita em C++ sem JVM nem ZooKeeper, simplifica operação e reduz latência, crescendo em 2024–2026. Estratégia 2026: aprender Kafka pelo mercado e portabilidade; Redpanda exige pouco esforço adicional. Pulsar / Kinesis conforme a empresa. Brokers como RabbitMQ fazem entrega confiável entre serviços e não são plataformas de fluxos de eventos.
O que é processamento de fluxos: Flink, Kafka Streams ou Spark Streaming?
Processamento de fluxos trata dados quando chegam, não em lotes: filtros, agregações em janelas, enriquecimento, junções e padrões em tempo real. Apache Flink lidera processamento complexo com estado, evento a evento, com gestão de estado e tempo, marcas d'água, exactly-once e baixa latência. Adequado para detecção de fraude e análises complexas, com entrada mais exigente. Kafka Streams é biblioteca leve dentro da aplicação, sem clúster separado, mais simples para processamento moderado centrado em Kafka, apenas Java / Scala. Spark Structured Streaming usa microlotes no ecossistema Spark, conveniente para unir lotes e fluxos quando a empresa já usa Spark, com latência um pouco maior. ksqlDB usa SQL e facilita tarefas simples. Estratégia: Flink como habilidade principal em 2026; Kafka Streams como opção mais simples; Spark Streaming quando já existe Spark. A escolha depende da complexidade e do conjunto tecnológico.
O que são arquitetura orientada a eventos, CDC e exactly-once?
Arquitetura orientada a eventos: componentes comunicam-se por eventos, fatos sobre o ocorrido publicados em Kafka, em vez de chamadas síncronas diretas. Serviços assinam o que precisam de forma independente. Vantagens: baixo acoplamento, escala e histórico natural. CDC (Change Data Capture) captura alterações de banco em fluxo: Debezium lê o log transacional e publica inserções, atualizações e exclusões. Alimenta índices, caches, armazenamento analítico e outros serviços em tempo real sem sobrecarregar o banco; desacopla banco monolítico e mundo de eventos. Semântica exactly-once: um dos temas mais difíceis, garantir que cada evento seja processado exatamente uma vez, mesmo com falhas e reinícios, sem perdas nem duplicação; at-least-once permite duplicatas. Crítica em finanças. Combina idempotência, transações Kafka e checkpoints do motor como Flink. Esses conceitos são o núcleo da especialidade, entrevistas e decisões de arquitetura.
Qual é a proporção de vagas remotas?
Entre as vagas com modalidade de trabalho informada, 31% são remotas. Vagas sem modalidade informada são excluídas do denominador; trabalho híbrido não é contado como remoto.
Como iniciar carreira de engenharia de streaming em 2026?
Geralmente não é a primeira função; profissionais vêm de dados, backend, especialmente JVM, ou big data. Roteiro: 1) Sistemas distribuídos, consistência, falhas e garantias at-least-once / at-most-once / exactly-once. 2) Java ou Scala, pois a maioria dos motores usa JVM; Python complementar. 3) Kafka profundo: tópicos, partições, produtores, consumidores, grupos, offsets, replicação, garantias; experimentar localmente. 4) Connect, Schema Registry, Avro / Protobuf, contratos e operação. 5) Começar com Kafka Streams e avançar a Flink, estado, janelas, tempo de evento, marcas d'água e exactly-once. 6) CDC com Debezium. 7) Eventos, event sourcing, idempotência e contrapressão. 8) Docker / Kubernetes, Prometheus + Grafana, SQL, ClickHouse como destino. 9) Projeto: fonte → Kafka → Flink com agregações em janelas → ClickHouse → Grafana; adicionar CDC PostgreSQL via Debezium. Recursos: "Kafka: The Definitive Guide", O'Reilly, documentação Kafka / Flink, Confluent Developer gratuito, cursos Otus, Karpov.Courses e Data Learn. No currículo contam pipelines reais e entendimento das garantias.
Quantas vagas abertas estão nesta amostra?
A amostra publicada contém 36 vagas abertas após agrupar republicações. É o mesmo número do indicador principal. A seção geográfica descreve a cobertura da amostra; não é uma estimativa de todo o mercado.
Quais habilidades um engenheiro de streaming sênior precisa?
O sênior projeta e opera plataformas e pipelines sob alta carga. Sistemas distribuídos: consistência, falhas, partições, garantias at-least-once / exactly-once e seus custos, compromissos CAP; base indispensável. Kafka operacional: funcionamento interno, partições e impacto em escala e ordem, grupos e rebalanceamento, replicação, KRaft, desempenho, monitoramento, incidentes e evolução de esquemas. Processamento de fluxos: Flink com estado, checkpoints, tempo de evento versus processamento, marcas d'água, janelas e exactly-once; Kafka Streams e Spark Streaming e suas aplicações. Arquitetura: eventos, event sourcing, garantias por tarefa, CDC Debezium, idempotência, contrapressão, falhas e reprocessamento. Desempenho e confiabilidade: vazão, latência, capacidade, partições sobrecarregadas e atraso de consumidores. Linguagens: JVM com Java / Scala e Python. Armazenamento: ClickHouse e outros destinos, ligação com análise e serviços. Infraestrutura: Kubernetes, Docker, IaC, CI/CD, Prometheus / Grafana. Amplitude em dados: lotes e fluxos, arquiteturas lambda / kappa e data lakehouse. Comunicação: decisões, revisões, mentoria e custos como exactly-once. Inglês para documentação e mercado internacional. O principal valor é criar um sistema com garantias exigidas que suporte carga e se comporte corretamente diante de falhas.
Deixar uma solicitação
Descreva a tarefa e deixe um contato: a solicitação chega ao nosso CRM e respondemos no contato informado.