Mengelola dan mengonfigurasi cluster

Pengantar Databricks Lakehouse

Gang Wang

Senior Data Scientist

Menemukan cluster Anda

All Clusters - semua di workspace
My Clusters - yang Anda buat
Shared with Me - cluster yang diberi akses kepada Anda
Filter berdasarkan status: Running, Terminated

recraft: half: Sebuah lemari arsip dengan folder berwarna dan label yang menunjukkan kategori terorganisasi, mewakili pemfilteran dan pengelolaan cluster

Status cluster

diagram alur: Pending, Running, Restarting, Terminating, Terminated

Terminasi: apa yang tetap dan yang hilang

perbandingan: Dipertahankan, Konfigurasi, Notebook, Penyimpanan cloud | Hilang, Data in-memory, Pustaka terpasang, File sementara

Terminasi bukan penghapusan - konfigurasi dan notebook tetap ada
Data in-memory, cache, dan paket yang diinstal via pip akan dibersihkan

Kapan perlu mulai ulang

Menginstal library baru yang tidak termuat
Cluster tidak stabil atau berjalan lambat
Perlu menghapus data cache dari memori
Memperbarui init script atau variabel lingkungan

recraft: half: Ikon tombol daya dengan panah melingkar berpendar biru dan hijau, mewakili operasi mulai ulang atau penyegaran sistem

Autoscaling dan auto-termination

Autoscaling dan Auto-termination

Autoscaling menambah/mengurangi worker sesuai kebutuhan
Menangani beban lonjakan tanpa over-provisioning
Auto-termination mematikan setelah idle sesuai batas waktu
Mencegah cluster yang terlupa menghabiskan anggaran

Kebijakan cluster

Guardrail yang ditetapkan admin untuk pembuatan cluster
Membatasi jenis node, maksimum worker, dan versi runtime
Mewajibkan auto-termination dan penandaan
Pengguna membuat cluster dalam batas kebijakan

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}

Ringkasan

Filter cluster untuk cepat menemukan yang Anda butuhkan
Terminasi menghemat biaya tetapi menghapus memori dan pustaka
Mulai ulang untuk memuat library baru atau menelusuri masalah
Autoscaling dan auto-termination mengendalikan biaya otomatis
Kebijakan cluster memungkinkan admin menegakkan standar

Ayo berlatih!

Pengantar Databricks Lakehouse