Pipelines de datos

Comprender la ciencia de datos

Sara Billen

Curriculum Manager

$$ Recopilación e ingesta de datos con un conjunto de datos

Comprender la ciencia de datos

$$ Recopilación e ingesta de datos con tres fuentes

$$

¿Cómo escalamos?

Más de una fuente de datos:

  • Registros públicos
  • API
  • Bases de datos

Diferentes tipos de datos:

  • Datos no estructurados
  • Datos tabulares
  • Datos de streaming en tiempo real, p. ej., tuits
Comprender la ciencia de datos

¿Qué es una canalización de datos?

  • Mueve los datos a etapas definidas
  • Recopilación y almacenamiento automatizados
    • Programado por hora, a diario, semanalmente, etc.
    • Activado por un evento
  • Monitorizado con alertas generadas
  • Necesario para proyectos de big data
  • Los ingenieros de datos trabajan para personalizar soluciones
  • Extract Transform Load (ETL)

Canalización de datos

Comprender la ciencia de datos

Caso práctico: hogar inteligente

Datos Origen Frecuencia
Condiciones meteorológicas API del servicio meteorológico nacional Cada 30 minutos
Tuits en tu zona API de Twitter Flujo en tiempo real
Temperatura interior Termostato inteligente del hogar Cada 5 minutos
Estado de las luces Bombillas inteligentes Cada minuto
Estado de las cerraduras Cerraduras inteligentes Cada 15 segundos
Consumo de energía Contador inteligente Semanal
Comprender la ciencia de datos

Extraer

Fase de extracción

Fuente Frecuencia
API meteorológica nacional Cada 30 minutos
API de Twitter Flujo en tiempo real
Termostato inteligente para el hogar Cada 5 minutos
Bombillas inteligentes Cada minuto
Cerraduras inteligentes para puertas Cada 15 segundos
Contador inteligente Semanal
Comprender la ciencia de datos

Transformar

Fase de carga

Comprender la ciencia de datos

Transformar

Con todos los datos que llegan, ¿cómo los mantenemos organizados y fáciles de usar?

$$ Ejemplos de transformaciones:

  • Unir fuentes de datos en un único conjunto de datos
  • Convertir estructuras de datos para ajustarlas a esquemas de base de datos
  • Eliminar datos irrelevantes

La preparación y exploración de datos no ocurre en esta etapa

Comprender la ciencia de datos

Cargar

Fase de carga

Comprender la ciencia de datos

Automatización

Automatizando

Comprender la ciencia de datos

¡Practiquemos!

Comprender la ciencia de datos

Preparing Video For Download...