Ingesta de datos

Comprender la arquitectura de datos moderna

Miller Trujillo

Senior Software Engineer

¿Qué es la ingesta de datos?

• Requisitos funcionales
• Lo funcional puede verse afectado por la analítica

Ingesta por lotes

• Programada para ingerir datos periódicamente
• Copia en nuestra plataforma para analítica
• Leer todo vs. solo lo nuevo
• Conjuntos grandes requieren lecturas parciales
• Los pequeños pueden sobrescribirse

Ingesta por lotes: trae solo lo cambiado

• Recursos infinitos son imposibles
• Ingresa solo lo que cambió
• Campo de actualización (timestamp) o bandera
• Último estado de los datos
• Las bajas requieren bandera o consolidación

Ingesta en streaming

• Modelo push
• Colas de eventos
• Cómputo 24/7
• Zona de aterrizaje

¡Vamos a practicar!

Comprender la arquitectura de datos moderna