Quản lý siêu dữ liệu

Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Miller Trujillo

Senior Software Engineer

Siêu dữ liệu là gì?

  • Dữ liệu về dữ liệu

Ví dụ siêu dữ liệu qua một cuốn sách

Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Các loại siêu dữ liệu

Loại siêu dữ liệu Ví dụ dữ liệu Ví dụ trong mục lục sách
Kỹ thuật Kiểu dữ liệu, quan hệ, tên cột, nguồn dữ liệu ISBN, số trang của sách
Nghiệp vụ Định nghĩa nghiệp vụ, quy tắc, chủ sở hữu dữ liệu Tựa đề, tác giả, nhà xuất bản, thể loại
Vận hành Dấu thời gian, trạng thái ETL, chỉ số chất lượng dữ liệu Ngày nhập sách, tình trạng sách
Sử dụng Ai truy cập dữ liệu, khi nào, dùng thế nào Ai mượn sách, khi nào, trong bao lâu
Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Lưu siêu dữ liệu ở đâu?

GCP Data Catalog

  • Dịch vụ siêu dữ liệu được quản lý
  • Tích hợp với các dịch vụ GCP
  • Có thể đăng ký siêu dữ liệu ngoài

AWS Glue Catalog

  • Kho siêu dữ liệu trung tâm
  • Tích hợp với các dịch vụ AWS
  • Trình thu thập có thể lập mục dữ liệu ngoài

Danh mục dữ liệu

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Ayo berlatih!

Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Preparing Video For Download...