Ingestão de dados

Entendendo a Arquitetura de Dados Moderna

Miller Trujillo

Senior Software Engineer

O que é ingestão de dados?

• Requisitos funcionais
• O funcional pode ser impactado por analytics

Ingestão em lote

• Agendada para ingerir periodicamente
• Copiar para nossa plataforma para analytics
• Ler tudo vs. só o que é novo
• Conjuntos grandes exigem leitura parcial
• Conjuntos pequenos podem ser sobrescritos

Ingestão em lote: traga só o que mudou

• Recursos infinitos são impossíveis
• Ingerir só o que mudou
• Usar timestamp de atualização ou flag
• Último estado dos dados
• Exclusões exigem flag ou consolidação

Ingestão em streaming

• Modelo push
• Filas de eventos
• Computação 24/7
• Zona de aterrissagem

Vamos praticar!

Entendendo a Arquitetura de Dados Moderna