Kümeleri yönetme ve yapılandırma

Databricks Lakehouse'a Giriş

Gang Wang

Senior Data Scientist

Kümelerini bulma

$$

Tüm Kümeler - çalışma alanındaki her şey
Kümelerim - senin oluşturdukların
Benimle Paylaşılanlar - başkalarının erişim verdiği kümeler
Duruma göre filtrele: Çalışıyor, Sonlandırıldı

$$

recraft: half: Renk kodlu klasörler ve etiketlerle düzenlenmiş kategorileri gösteren bir dosya dolabı, küme filtreleme ve düzenlemeyi temsil eder

Küme durumları

akış şeması: Beklemede, Çalışıyor, Yeniden Başlatılıyor, Sonlandırılıyor, Sonlandırıldı

Sonlandırma: neler kalır, neler gider

karşılaştırma: Korunanlar, Yapılandırma, Notebooks, Bulut depolama | Kaybedilenler, Bellekteki veriler, Yüklenen kütüphaneler, Geçici dosyalar

Sonlandırma silme değildir - yapılandırma ve defterler kalır
Bellek içi veriler, önbellekler ve pip ile yüklenen paketler temizlenir

Ne zaman yeniden başlatılmalı

$$

Yüklediğin yeni bir kütüphane çalışmıyor
Küme öngörülemez davranıyor veya yavaş
Bellekten önbelleğe alınan verileri temizlemen gerekiyor
Bir init script veya ortam değişkenini güncelledin

$$

recraft: half: Mavi ve yeşil parlayan dairesel oklarla çevrili bir güç düğmesi simgesi, sistem yeniden başlatma veya yenilemeyi temsil eder

Otomatik ölçekleme ve otomatik sonlandırma

$$

Otomatik ölçekleme ve Otomatik sonlandırma

$$

Otomatik ölçekleme, talebe göre işçi ekler veya çıkarır
Dalgalı iş yüklerini fazla tahsis etmeden yönetir
Otomatik sonlandırma, belirli bir boşta kalma süresinden sonra kapatır
Unutulan kümelerin bütçeyi yakmasını önler

Küme ilkeleri

$$

Küme oluşturma için yönetici tanımlı korkuluklar
Düğüm tiplerini, azami işçi sayısını ve çalışma zamanı sürümlerini sınırla
Otomatik sonlandırma ve etiketlemeyi zorunlu kıl
Kullanıcılar politikaların sınırları içinde küme oluşturur

$$

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}

Özet

$$

Filtrele ve ihtiyacın olan kümeyi hızla bul
Sonlandırma maliyeti düşürür ama bellek ve kütüphaneleri temizler
Yeni kütüphaneleri almak veya sorun gidermek için yeniden başlat
Otomatik ölçekleme ve otomatik sonlandırma maliyeti kendiliğinden kontrol eder
Küme ilkeleri yöneticilerin standartları dayatmasını sağlar

Hadi pratik yapalım!

Databricks Lakehouse'a Giriş

Preparing Video For Download...