Gestione dei metadati

Comprendere la data architecture moderna

Miller Trujillo

Senior Software Engineer

Cos'è il metadato?

  • Dati sui dati

Esempio di metadati usando un libro

Comprendere la data architecture moderna

Tipi di metadati

Tipo di metadato Esempio di dato Esempio nel catalogo libri
Metadati tecnici Tipi dati, relazioni, nomi colonne, sorgenti dati ISBN del libro, numero di pagine
Metadati di business Definizioni, regole, owner dei dati Titolo, autore, editore, genere
Metadati operativi Timestamp, stato job ETL, metriche di qualità Data di acquisizione, condizione del libro
Metadati d’uso Chi ha accesso, quando e come è stato usato Chi ha preso in prestito, quando e per quanto
Comprendere la data architecture moderna

Dove archiviare i metadati?

GCP Data Catalog

  • Servizio gestito di metadati
  • Si integra con i servizi GCP
  • Può registrare metadati esterni

AWS Glue Catalog

  • Repository centrale di metadati
  • Si integra con i servizi AWS
  • I crawler catalogano dati esterni

Cataloghi dati

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
Comprendere la data architecture moderna

Passiamo alla pratica!

Comprendere la data architecture moderna

Preparing Video For Download...