Unity Catalog dan Lineage

Pengantar Databricks Lakehouse

Gang Wang

Senior Data Scientist

Mengapa tata kelola penting

Ratusan tabel lintas banyak tim
"Apakah tim pemasaran bisa melihat data keuangan pelanggan?"
"Laporan ini tampak salah — dari mana asal data dasarnya?"
Unity Catalog memusatkan jawabannya

recraft: half: Labirin pipeline data dan folder yang saling terhubung dengan tanda tanya mengambang di atasnya, mewakili kompleksitas data tanpa tata kelola

Hierarki Unity Catalog

Tampilan pohon hierarki Unity Catalog

Metastore - satu per akun, kontainer tingkat atas
Catalog - seperti "production" atau "development"
Schema - mengelompokkan objek terkait (mis. "sales")
Berisi table, view, dan function

Kontrol akses

-- Grant read access to a schema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Revoke table-level access
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

Izin pada setiap tingkat hierarki
Beri SELECT, MODIFY, CREATE pada catalog, schema, atau table
Turunan - grant pada catalog berlaku untuk semua schema di dalamnya

Data lineage

Dari mana asal data ini?

diagram alir: bronze_orders (sumber), silver_orders (dibersihkan), gold_daily_revenue (diagregasi), Revenue Dashboard (konsumen)

Pelacakan otomatis hubungan antartabel saat kueri berjalan
Telusuri sumber upstream dan konsumen downstream

Lineage dalam praktik

Upstream - telusuri asal data
Downstream - lihat apa yang bergantung pada tabel ini
Analisis dampak - jika kolom ini diubah, apa yang rusak?
Debugging - laporan salah angka, telusuri kembali ke sumbernya

recraft: half: Seorang detektif dengan kaca pembesar memeriksa jejak dokumen dan tabel data yang saling terhubung, mewakili investigasi data lineage

Ringkasan

Unity Catalog - tata kelola terpusat untuk semua aset data
Hierarki - metastore → catalog → schema
Kontrol akses - grant SQL di setiap tingkat, menurun ke bawah
Lineage - pelacakan otomatis aliran data, upstream dan downstream

Ayo berlatih!

Pengantar Databricks Lakehouse