Veri Alma

Databricks SQL'e Giriş

Kevin Barlow

Data Manager

Motivasyon

Göl Evi Akış Diyagramı

Databricks SQL'e Giriş

Göl evini oluşturma

Göl Evi Akış Diyagramı - Alım

Databricks SQL'e Giriş

GUI tabanlı seçenekler

Lakeflow Connect

  • Veri almak için yerleşik bağlayıcılar
    • Veritabanları
    • SaaS uygulamaları
  • Veriyi güncel tutan veri hatları oluşturur

Lakeflow Connect

Veri yükleme

  • Dosyalarınızı manuel yükleyin
    • CSV, Parquet vb.
  • Hızla yeni Delta tabloları oluşturun
  • Ad hoc veri yükleme için idealdir

Manuel Veri Yükleme

Databricks SQL'e Giriş

Veriyi göl evine getirme

COPY INTO

  • Bulut nesne depolamadan veriyi doğrudan Delta tablolara kopyalar
  • Daha statik veri kümeleri için uygundur
  • Yerel olarak SQL Editor içinde çalıştırılabilir
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

  • Bulut depodan yeni veri dosyalarını otomatik alır
  • Daha büyük ve değişken veri kümeleri için uygundur
  • SQL’de Delta Live Tables kullanır
CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")
Databricks SQL'e Giriş

Hadi pratik yapalım!

Databricks SQL'e Giriş

Preparing Video For Download...