Pipelines de datos

Comprender la ciencia de datos

Sara Billen

Curriculum Manager

$$ Recogida e ingestión de datos con una sola fuente

$$ Recogida e ingestión de datos con tres fuentes

Más de una fuente de datos:

Diferentes tipos de datos:

¿Qué es una canalización de datos?

Mueve los datos a etapas definidas
Recogida y almacenamiento automatizados
- Programado por horas, días, semanas, etc.
- Activado por un evento
Supervisado con alertas generadas
Necesario para proyectos de big data
Los ingenieros de datos trabajan para personalizar las soluciones
Extraer, transformar, cargar

Canalización de datos

Datos	Fuente:	Frecuencia
Condiciones meteorológicas	Servicio Meteorológico Nacional API	Cada 30 minutos
Tweets en tu zona	Twitter API	Transmisión en tiempo real
Temperatura interior	Termostato doméstico inteligente	Cada 5 minutos
Estado de las luces	Bombillas inteligentes	Cada minuto
Estado de las cerraduras	Cerraduras de puerta inteligentes	Cada 15 segundos
Consumo de energía	Contador inteligente	Semanalmente

Fase de extracción

Fuente:	Frecuencia
Meteorología Nacional API	Cada 30 minutos
Twitter API	Transmisión en tiempo real
Termostato doméstico inteligente	Cada 5 minutos
Bombillas inteligentes	Cada minuto
Cerraduras de puerta inteligentes	Cada 15 segundos
Contador inteligente	Semanalmente

Fase de carga

$$ Ejemplo de transformaciones:

Unir fuentes de datos en un conjunto de datos
Convertir estructuras de datos para adaptarlas a los esquemas de las bases de datos
Eliminar datos irrelevantes

La preparación y exploración de datos no se produce en esta fase

Fase de carga

Automatizando

Comprender la ciencia de datos