Manajemen Metadata

Memahami Arsitektur Data Modern

Miller Trujillo

Senior Software Engineer

Apa itu metadata?

  • Data tentang data

Contoh metadata menggunakan buku

Memahami Arsitektur Data Modern

Jenis metadata

Jenis metadata Contoh data Contoh katalog buku
Metadata teknis Tipe data, relasi, nama kolom, sumber data ISBN buku, jumlah halaman
Metadata bisnis Definisi bisnis, aturan, pemilik data Judul, penulis, penerbit, genre
Metadata operasional Timestamp, status job ETL, metrik kualitas data Tanggal akuisisi buku, kondisi buku
Metadata penggunaan Siapa mengakses data, kapan, dan bagaimana digunakan Siapa meminjam buku, kapan, dan berapa lama
Memahami Arsitektur Data Modern

Di mana menyimpan metadata?

GCP Data Catalog

  • Layanan metadata terkelola
  • Terintegrasi dengan layanan GCP
  • Dapat mendaftarkan metadata eksternal

AWS Glue Catalog

  • Repositori metadata terpusat
  • Terintegrasi dengan layanan AWS
  • Crawler dapat mengkatalogkan data eksternal

Katalog data

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
Memahami Arsitektur Data Modern

Ayo berlatih!

Memahami Arsitektur Data Modern

Preparing Video For Download...