Veri Zekâsı Platformu - İşleme

Databricks'e Giriş

Kevin Barlow

Data Practitioner

Kurumlar neden hesaplamayı önemser?

Tek dişli

Dişli sistemi

Databricks kurucuları tarafından oluşturuldu
Açık kaynak çerçeve
Son derece verimli dağıtık hesaplama
Python, SQL, Scala, R için API'ler
Tüm kullanım durumları için uygundur:
- veri mühendisliğinden makine öğrenimi ve iş zekâsına

DataCamp'teki bazı Apache Spark kurslarına göz atın!

Apache Spark Logosu

Klasik (Classic)

Hesaplama kaynakları (sanal makineler) İşleme Düzlemi'nde oluşturulur
Databricks bulutunuza yapılandırma sağlar
Artıları: hesaplama ve güvenlik kendi ortamınızda, mevcut işlem havuzlarını kullanma vb.
Eksileri: yavaş başlatma süresi

Databricks Denetim Düzlemi

Sunucusuz (Serverless)

Hesaplama kaynakları (sanal makineler) Denetim Düzlemi'nde oluşturulur
Databricks kullanıcılarınıza erişim sağlar
Artıları: Hızlı başlatma, en yeni özellikler, en yüksek performans, Databricks zamanla performansı artırır
Eksileri(?): hesaplama sizin ortamınızda değildir

Sunucusuz Mimari

Tek düğüm (Single-node)

Tek düğümlü küme

Çok düğüm (Multi-node)

Çok düğümlü küme

Her Databricks kümesine kurulu
- Apache Spark'ın optimize edilmiş sürümü
- Daha hızlı SQL sorguları için Photon
- Yaygın kütüphaneler (örn. pandas, dplyr, sci-kit learn)
- Databricks hizmetlerine bağlanma mantığı

Genel öneri: Runtime'ın en güncel Uzun Vadeli Destek (LTS) sürümünü kullanın

Databricks Runtime yüklü küme

Databricks'e Giriş