Jenis klaster dan runtime

Pengantar Databricks Lakehouse

Gang Wang

Senior Data Scientist

Apa itu klaster?

Sekelompok mesin virtual yang menjalankan kode Anda
Satu node driver mengoordinasikan pekerjaan
Satu atau lebih node worker memproses data
Klaster membaca data dari penyimpanan cloud

hierarki: Driver Node, Worker 1, Worker 2, Worker 3, Cloud Storage

Klaster serbaguna

Pengembangan interaktif dan kueri ad hoc
Dibagi pakai oleh banyak pengguna dalam tim
Berjalan hingga Anda menghentikannya secara manual
Bayangkan seperti mobil pribadi Anda—selalu tersedia, tetapi tetap bayar saat diparkir

recraft: half: Sebuah mobil pribadi diparkir di jalan masuk rumah, selalu tersedia tetapi tetap berbiaya saat menganggur, mewakili sumber daya komputasi selalu aktif

Klaster jobs

Dibuat otomatis saat pekerjaan dimulai
Menjalankan satu tugas, lalu berhenti
Tanpa pengelolaan manual
Dioptimalkan biaya untuk beban produksi

recraft: half: Taksi modern dengan argo menyala di atasnya, mewakili sumber daya komputasi on-demand yang berjalan dan berhenti otomatis

Kapan menggunakan yang mana?

perbandingan: All-Purpose, Dev interaktif, Pekerjaan notebook, SQL ad hoc, Berbagi tim | Jobs, ETL malam, Laporan terjadwal, Uji otomatis, Produksi

Kesalahan umum: menjalankan pipeline produksi di klaster serbaguna

Databricks Runtime

Tumpukan perangkat lunak berversi yang berjalan di setiap klaster
Termasuk Apache Spark, Delta Lake, Python, R, Scala
Versi LTS - dukungan jangka panjang, disarankan untuk produksi
ML Runtime menambahkan pustaka ML pra-instal

lapisan: Runtime 15.4 LTS, Apache Spark 3.5.x, Delta Lake 3.2.x, Python 3.11 / Scala 2.12 / R 4.3, Pustaka Sistem

Ringkasan

Klaster serbaguna - interaktif, berbagi pakai, dikelola manual
Klaster jobs - otomatis, satu tugas, hemat biaya
Databricks Runtime - tumpukan perangkat lunak berversi (gunakan LTS untuk produksi)
Sesuaikan jenis klaster dengan beban kerja untuk mengendalikan biaya

Ayo berlatih!

Pengantar Databricks Lakehouse