Veri Dışa Aktarma ve Bağlanabilirlik

Snowflake'te Veri Pipeline'larını Otomatikleştirme

Emily Melhuish

Technical Curriculum Developer, Snowflake

Dışa Aktarma Kullanım Senaryosu

Veriyi bulut depolamaya dışa aktarma

Tüm iş ortaklarının Snowflake erişimi yoktur
COPY INTO sonuçları doğrudan bir aşamaya yazar

Ayrı bir dışa aktarma hattı gerekmez

COPY INTO @harbr_partner_export/
daily_summary/
FROM (SELECT * FROM 
logistics.shipment_summary
WHERE export_date = 
CURRENT_DATE() - 1);

mermaid: snowflake'in iş ortağı depolamasına dışa aktarımı

COPY INTO

COPY INTO @harbr_partner_export/shipment_summary/
FROM (
  SELECT shipment_id,
         origin,
         destination,
         delivery_status,
         delivery_time_hours
  FROM logistics.shipments
  WHERE delivery_date = CURRENT_DATE()
)
FILE_FORMAT = (TYPE = 'CSV' HEADER = TRUE)
OVERWRITE = TRUE;

Dışa Aktarma Dosya Biçimleri

Biçim	En Uygun
CSV	Evrensel — neredeyse her sistem okur; iş ortağı dışa aktarmaları için ideal
JSON	İç içe yapıları korur; yarı yapılandırılmış çıktıyı tüketenler için yararlı
Parquet	Büyük analitik veri kümeleri; sütunlu sıkıştırma = daha küçük dosyalar, daha hızlı okuma

Temel dışa aktarma seçenekleri

-- Büyük dışa aktarmaları birden çok dosyaya böl (bayt)
HEADER = TRUE              -- ilk satıra sütun adlarını ekle
OVERWRITE = TRUE           -- o yoldaki mevcut dosyaların üzerine yaz
MAX_FILE_SIZE = 104857600  -- çıktı dosyası başına 100 MB

Bağlanabilirlik Manzarası

Bağlanabilirlik görünümü bağlayıcılar

Kafka ve Spark bağlayıcıları

Kafka Bağlayıcısı

Konular doğrudan Snowflake tablolarına akar
Dosya yok, aşama yok — Snowpipe Streaming kullanır
Gecikme saniyeler düzeyinde

# connector.properties (Kafka ayarları)
snowflake.topic2table.map=events:
delivery_events
snowflake.ingestion.method=
SNOWPIPE_STREAMING

Spark Bağlayıcısı

Spark'ın DataFrame API'siyle bütünleşir
Spark işleri Snowflake'ten okur ve Snowflake'e yazar
Büyük ölçekli dönüşüm iş yüklerini yönetir

// Snowflake'ten bir Spark DataFrame'e okuma
val df = spark.read.format("snowflake")
  .options(sfOptions).option("dbtable", 
    "shipments").load()

JDBC/ODBC ve İş Ortağı Entegrasyonları

Evrensel bağlanabilirlik

Entegrasyon	Tür	Harbr'da kullanım
JDBC / ODBC	Evrensel sürücüler	BI araçları (Tableau, Power BI, Looker) - doğrudan sorgu
Python Connector	Yerel Python sürücüsü	Veri hatları, zamanlanmış ETL, veri bilimi iş akışları
dbt	SQL dönüşümü	Modelleri doğrudan Snowflake işleminde çalıştırır
Fivetran / Airbyte	Yönetilen alım	SaaS kaynakları → Snowflake, özel kod yok

Vamos praticar!

Snowflake'te Veri Pipeline'larını Otomatikleştirme