Programación de datos

Comprender la ingeniería de datos

Hadrien Lacroix

Content Developer at DataCamp

Programación

• Puede aplicarse a cualquier tarea enumerada en el tratamiento de datos.
• La programación es el pegamento de tu sistema.
• Sujeta cada pieza y organiza cómo funcionan juntas.
• Ejecuta las tareas en un orden específico y resuelve todas las dependencias.

Programación manual, por tiempo y por sensor

• Manualmente

• Actualizar manualmente la tabla de empleados

Programación manual, por tiempo y por sensor

• Manualmente
• Ejecutar automáticamente a una hora determinada
• Ejecutar automáticamente si se cumple una condición específica
  • Programación de sensores

• Actualizar manualmente la tabla de empleados
• Actualizar la tabla de empleados a las 6 de la mañana

Programación manual, por tiempo y por sensor

• Manualmente
• Ejecutar automáticamente a una hora determinada
• Ejecutar automáticamente si se cumple una condición específica
  • Programación de sensores

• Actualizar manualmente la tabla de empleados
• Actualizar la tabla de empleados a las 6 de la mañana
• Actualizar las tablas de departamentos si se ha añadido un nuevo empleado

Lotes y flujos

• Por lotes (batches)
  • Agrupa los registros a intervalos
  • A menudo más barato
• Por flujos (streams)
  • Envía registros individuales de inmediato

• Canciones subidas por artistas
• Tabla de empleados
• Tabla de ingresos
• Registro de nuevos usuarios
• Otro ejemplo: la escucha con conexión o sin conexión

Herramientas de programación

Resumen

• Qué es la programación
• Diferentes formas de configurarlo
• Diferencia entre lotes y flujos
• Cómo se aplica la programación en Spotflix
• Airflow y Luigi

¡Vamos a practicar!

Comprender la ingeniería de datos