Küme türleri ve çalışma zamanları

Databricks Lakehouse'a Giriş

Gang Wang

Senior Data Scientist

Küme nedir?

Kodunu çalıştıran bir sanal makine grubu
Çalışmayı koordine eden bir driver düğümü
İşlemeyi yapan bir veya daha çok worker düğümü
Kümeler veriyi bulut depolamadan okur

hiyerarşi: Driver Düğümü, Worker 1, Worker 2, Worker 3, Bulut Depolama

Genel amaçlı kümeler

Etkileşimli geliştirme ve ad-hoc sorgular
Takımda birden çok kullanıcıyla paylaşılır
Manuel durdurana kadar çalışır
Kendi araban gibi düşün - hep hazır, ama park halindeyken de ücret yazıyor

recraft: half: Bir giriş yolunda park etmiş kişisel araba; her zaman hazır ama boşta olsa da para harcayan, sürekli açık hesaplama kaynağını temsil ediyor

Job kümeleri

Bir iş başladığında otomatik oluşturulur
Tek bir görevi çalıştırır, sonra sonlanır
Manuel yönetim gerekmez
Üretim iş yükleri için maliyet optimize

recraft: half: Üstünde yanan taksimetre olan modern bir taksi; talep üzerine çalışan ve otomatik başlayıp duran hesaplama kaynağını temsil ediyor

Hangisini ne zaman kullanmalı?

karşılaştırma: Genel Amaçlı, Etkileşimli geliştirme, Notebook çalışması, Ad-hoc SQL, Takım paylaşımı | Joblar, Gecelik ETL, Zamanlanmış raporlar, Otomatik test, Üretim

Yaygın hata: üretim boru hatlarını genel amaçlı kümelerde çalıştırmak

Databricks Runtime

Her kümeye kurulan sürümlenmiş yazılım yığını
Apache Spark, Delta Lake, Python, R, Scala içerir
LTS sürümler - uzun süreli destek; üretim için önerilir
ML Runtime, ön yüklü ML kütüphaneleri ekler

katmanlar: Runtime 15.4 LTS, Apache Spark 3.5.x, Delta Lake 3.2.x, Python 3.11 / Scala 2.12 / R 4.3, Sistem Kitaplıkları

Özet

Genel amaçlı kümeler - etkileşimli, paylaşılan, manuel yönetilir
Job kümeleri - otomatik, tek görev, maliyet optimize
Databricks Runtime - sürümlenmiş yazılım yığını (üretimde LTS kullan)
Maliyeti kontrol için küme türünü iş yüküne uydur

Hadi pratik yapalım!

Databricks Lakehouse'a Giriş