Lotes vs. streaming

Conceitos de Streaming

Mike Metzger

Data Engineer

Revisão rápida

Processos em lote tratam dados em grupos, ou lotes
No processamento em lote, o mais importante é o tamanho e a frequência do lote
Filas armazenam/processam dados na ordem de inserção
Filas são lotes, com tamanho de lote igual a um!
Streams tratam dados sem pausar no caminho
Streams não têm fim definido
Streams mantêm a ordem!

Fogo!

Corrente de baldes
- Tamanho do lote (quão grande é o balde)
- Frequência do lote (quão rápido passar o balde)

Corrente de baldes

Mangueira de incêndio
- Quantidade contínua de dados
- Não dá para saber quanto de água

Mangueira de incêndio

¹ Albert B. Kinne, Domínio público, via Wikimedia Commons ² Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet, Domínio público, via Wikimedia Commons

Como definir a melhor abordagem?

Depende dos requisitos
Se der para processar em grupos, lotes costumam ser melhores pela simplicidade
Se precisamos de ordem, mas tudo bem pausar, use uma fila
Se precisamos de dados contínuos ou não sabemos o volume, tente streaming
Se não dá para parar até processar tudo, use streaming

Vamos praticar!

Conceitos de Streaming