Streaming de dados em um único sistema
Conceitos de Streaming
Mike Metzger
Data Engineer
Introdução a streaming
O que é streaming?
- Os dados não param até serem processados
- Após o processamento inicial, podem passar por outros componentes
- É aberto (sem um evento final específico)
- É definido pelo fluxo de dados, não pelo conteúdo
Logs
- Armazena informações de eventos
- Pode ser um arquivo texto ou binário simples
- Ou um sistema para exportar informações a vários clientes (ex.: Apache Kafka)
- Vai armazenar informações até os recursos se esgotarem / forem podados
- A finalidade do log depende da aplicação
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
Log de eventos do sistema
- Presentes em Windows, Mac, Linux
- Processam e armazenam informações de eventos do sistema
- Windows EventLog, Mac / Linux syslog
Componentes:
- Listener: Aceita mensagens
- Parser: Entende como ler mensagens
- Logic: Decide o que fazer
- Writer: Armazena as mensagens para depois
Vamos praticar!
Conceitos de Streaming
