Publicación de datos

Comprender la arquitectura de datos moderna

Miller Trujillo

Senior Software Engineer

Capa de publicación

• Dónde guardar los datos procesados
• Protocolos para consumirlos

¿Qué datos tenemos?

• ¿Qué datos tenemos?
  • ¿Son estructurados?
  • ¿Son series temporales?
• ¿Cómo se consumirán?

• Data Warehouse
  • Informes/cuadros de mando automatizados
  • BI/Analítica de datos
  • Consultas directas
• Almacenamiento de blobs
• Base de datos de series temporales
• Base de datos NoSQL

¿Cómo se consumirá?

• Data warehouse
  • Informes/cuadros de mando automatizados
  • BI/Analítica de datos
  • Consultas directas
• Modelos de machine learning
• Aplicaciones
  • Información resumida
  • Registros individuales
• ¡No hay talla única!

Publica tus datos según el caso de uso

Sistema	Tipo de datos	Caso de uso de consumo	Herramientas
Data warehouse	Datos estructurados; puede manejar semiestruct.	Consultas analíticas, BI/analítica, informes/cuadros de mando	BigQuery, Redshift, Snowflake
Blob storage	Todo tipo de datos	Modelos de ML con vídeo/imagen, archivado	S3, Cloud Storage, Azure Storage
Base NoSQL	Semiestructurados, series temporales	Exposición vía API, alta demanda	BigTable, DataStore, DynamoDB, CosmosDB
RDBMS	Datos estructurados; puede manejar semiestruct.	Consumo de registros individuales, exposición API, menor demanda	Postgres, MySQL, Oracle

Publicar vs. Consumir

¡Vamos a practicar!

Comprender la arquitectura de datos moderna