Procesamiento de datos

Comprender la arquitectura de datos moderna

Miller Trujillo

Senior Software Engineer

¿Qué es el procesamiento de datos?

• Exploración
• Calidad de datos: verificaciones y transformaciones
• Análisis
• Agregaciones
• Transformaciones

Procesamiento por lotes

• Batch y streaming
• Cantidad fija de datos

Procesamiento en streaming

Ventana de tiempo fija

Ventana de tiempo deslizante

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Conceptos de streaming

• Cuándo se generaron los datos
• Cuándo llegaron los datos
• Watermarks
• Datos tardíos
• Disparar nuevo procesamiento

Tecnologías de procesamiento

Caso de uso	Solución	Solución en la nube
Batch/streaming, big data, clúster	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Batch/streaming, big data, sin servidor (el proveedor gestiona totalmente los servidores)	Apache Spark, Beam	AWS Glue, Google Dataflow
Eventos individuales, procesamiento simple, soporte 24/7 sin servidores	Lenguajes generales: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

¡Vamos a practicar!

Comprender la arquitectura de datos moderna