Gestión de metadatos

Comprender la arquitectura de datos moderna

Miller Trujillo

Senior Software Engineer

¿Qué son los metadatos?

  • Datos sobre datos

Ejemplo de metadatos usando un libro

Comprender la arquitectura de datos moderna

Tipos de metadatos

Tipo de metadato Ejemplo de datos Ejemplo en catálogo de libros
Metadatos técnicos Tipos de datos, relaciones, nombres de columnas, orígenes ISBN del libro, número de páginas
Metadatos de negocio Definiciones, reglas, responsable de datos Título, autor, editorial, género
Metadatos operativos Timestamps, estado de ETL, métricas de calidad Fecha de adquisición, estado del libro
Metadatos de uso Quién accedió, cuándo y cómo se usó Quién lo prestó, cuándo y por cuánto tiempo
Comprender la arquitectura de datos moderna

¿Dónde guardar tus metadatos?

GCP Data Catalog

  • Servicio de metadatos gestionado
  • Se integra con servicios de GCP
  • Puede registrar metadatos externos

AWS Glue Catalog

  • Repositorio central de metadatos
  • Se integra con servicios de AWS
  • Los crawlers catalogan datos externos

Catálogos de datos

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
Comprender la arquitectura de datos moderna

¡Vamos a practicar!

Comprender la arquitectura de datos moderna

Preparing Video For Download...