Databricks Lakehouse Platform’un temel özellikleri

Databricks Kavramları

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark, açık kaynaklı bir veri işleme çerçevesidir ve Databricks’in altında çalışan motordur.

DataCamp Dersleri

  • Pyspark’a Giriş
  • Pyspark ile Büyük Veri Temelleri
  • Pyspark ile Veri Temizleme
  • Pyspark ile Makine Öğrenimi
  • Python’da Spark SQL’e Giriş
Databricks Kavramları

Spark’ın Faydaları

Başlıca Faydalar:

  1. Genişletilebilir, esnek açık kaynaklı çerçeve
  2. Büyük geliştirici topluluğu
  3. Yüksek performans
  4. Databricks optimizasyonları

Spark Küme Diyagramı

1 https://spark.apache.org/docs/latest/cluster-overview.html
Databricks Kavramları

Bulut bilişimin temelleri

Klasik Bilişim

Bulut Bilişim

Databricks Kavramları

Databricks Hesaplama

Kümeler (Clusters)

  • Hesaplama kaynakları kümesi
  • Tüm iş yükleri, her kullanım durumu
  • Genel amaçlı vs. Jobs

Desteklenen Databricks dilleri

SQL Depoları (Warehouses)

  • Yalnızca SQL
  • BI kullanım senaryoları
  • Photon

SQL Dili

Databricks Kavramları

Bulut veri depolama

Bulut veri depolama - VT

Bulut veri depolama - dosyalar

Databricks Kavramları

Delta

Delta Lake logosu

Delta, açık kaynaklı bir veri depolama dosya biçimidir ve şunları sağlar:

  • ACID işlemleri
  • Birleşik batch ve streaming
  • Şema evrimi
  • Tablo geçmişi
  • Zaman yolculuğu
1 delta.io
Databricks Kavramları

Unity Catalog

Unity Catalog, Databricks Lakehouse platformundaki tüm veri varlıklarına erişimi yöneten açık bir veri yönetişimi stratejisidir.

  • Erişim için SQL GRANT, REVOKE deyimleri
  • Yönetişim için basit arayüz

Veri Kataloğu

Databricks Kavramları

Databricks Arayüzü

Veri iş yükünüze göre yeteneklere daha kolay erişim için tasarlandı.

  • Tüm kullanıcılar veri ve hesaplamaya erişir
  • SQL kullanıcıları sorgu ve raporlar için tanıdık arayüz alır
  • Veri mühendisleri Delta Live Tables’tan yararlanır
  • ML iş yükleri modeller, özellikler vb. kullanır

Databricks Menüsü

Databricks Kavramları

Hadi gözden geçirelim!

Databricks Kavramları

Preparing Video For Download...