Arsitektur platform

Pengantar Databricks Lakehouse

Gang Wang

Senior Data Scientist

Analogi hotel

Control plane - "Meja Resepsionis"

recraft: half: Meja depan hotel modern dengan concierge yang mengelola pemesanan di layar, mewakili Databricks yang mengelola koordinasi dan penjadwalan

Dikelola oleh Databricks
Menangani koordinasi dan permintaan

Data plane - "Kamar Hotel Anda"

recraft: half: Kamar hotel privat yang aman dengan brankas pribadi dan meja kerja, mewakili akun cloud pelanggan tempat data berada dan komputasi berjalan

Berada di akun cloud Anda
Tempat data dan komputasi Anda berada

Control plane

Dikelola oleh Databricks
Antarmuka Workspace dan notebook
Penjadwalan dan orkestrasi job
Pengelolaan dan konfigurasi cluster

recraft: half: Meja resepsionis modern dengan monitor teratur menampilkan dasbor dan papan penjadwalan, mewakili pusat kendali

Data plane

recraft: half: Ruang brankas aman dengan rak server dan kontainer penyimpanan terkunci, mewakili infrastruktur cloud milik pelanggan

Berada di akun cloud Anda
Cluster komputasi berjalan di sini
Data disimpan di penyimpanan cloud Anda
Anda mengendalikan akses dan jaringan

Apa berada di mana?

nanobanana: full: Diagram terbagi dengan dua bagian terhubung panah: sisi kiri berlabel Control Plane menampilkan Workspace UI dan Job Scheduler, sisi kanan berlabel Data Plane menampilkan Clusters dan Cloud Storage, panah mengalir di antara keduanya

Audit log dan system tables

Audit log melacak semua aktivitas workspace
Disimpan di akun cloud Anda sebagai system tables
Kueri dengan SQL untuk pelaporan kepatuhan

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;

Ringkasan

Control plane - dikelola Databricks (UI, penjadwalan, pengelolaan)
Data plane - cloud Anda (komputasi, penyimpanan, data)
Audit log - disimpan sebagai system tables di akun Anda
Data Anda tidak pernah keluar dari lingkungan cloud Anda

Ayo berlatih!

Pengantar Databricks Lakehouse