Ejemplos de arquitectura de datos moderna

Comprender la arquitectura de datos moderna

Miller Trujillo

Senior Software Engineer

Arquitectura Lambda

• Arquitectura de procesamiento de datos
• Permite procesar datasets a gran escala
• Permite procesamiento en tiempo real
• Combina batch y streaming
• 3 capas principales:
  • Capa batch
  • Capa de velocidad
  • Capa de servicio

Capas de Lambda: Batch

• Dataset maestro
  • Datos inmutables
  • Solo append
• Vistas precomputadas
• Cuentas bancarias
  • Dataset maestro: lista de transacciones
  • Vistas: transacciones aplicadas para obtener el saldo
• Precisión perfecta

Capas de Lambda: Velocidad

• Jobs batch en un horario dado
• Brecha entre datos conocidos y realidad
• La capa de velocidad cierra esa brecha
• Precisión no perfecta

Capas de Lambda: Servicio

• Une vistas batch y en tiempo real
• Vista unificada de los datos

Complejidad de Lambda

• Dos capas aumentan la complejidad
• Lógica, código y algoritmos duplicados
• Múltiples stacks: batch y streaming

Arquitectura Kappa

Lambda vs. Kappa

Aspecto	Arquitectura Lambda	Arquitectura Kappa
Procesamiento batch	Presente	Reprocesa la fuente de eventos
Procesamiento stream	Presente	Presente
Complejidad	Mayor	Menor
Tiempo real	Retrasado por la capa batch	Directo y simplificado
Casos de uso	Análisis complejo, histórico	Analítica en tiempo real, monitorización

¡Vamos a practicar!

Comprender la arquitectura de datos moderna