Veri Akışı Performansını Optimize Etme

Microsoft Fabric ile Veri Alımı ve Semantik Modeller

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Dataflows Gen2’de Aşama (Staging)

Dönüşüm sırasında veriyi geçici olarak tutarak performansı optimize eder

Aşama Yapıları:
- Dönüşümlerde kullanılan gizli, dahili Lakehouse depolaması
- Dataflow’larca otomatik yönetilir; doğrudan kullanıcı erişimi yoktur
Aşama Ne Zaman Kullanılır:
- SQL uç noktası performansını artırmak için varsayılan olarak etkindir
- Doğrudan Lakehouse ve depo dışı yüklemelerde devre dışıdır (yeniden etkinleştirilebilir)
Aşama Verisini Kaldırma:
- Aşamayı devre dışı bırakıp yenileyin (30 gün sonra temizlenir)
- Hemen kaldırmak için dataflow’u veya çalışma alanını silin

Büyük veri kümelerini verimli biçimde işleyen yüksek hızlı veri alım özelliği

Mimari: Ağır iş yüklerini daha hızlı işlem için Power Query’den yüksek performanslı bir hattaya yeniden dağıtır
Fayda: Büyük veride ölçeklenebilir arka uç kaynaklarını kullanarak işlem süresini en aza indirir

DataFlows Gen2 Hızlı Kopya Mimarisi

Önkoşullar:

Dosyalar: 100 MB+ (CSV/Parquet)
Veritabanları: 5M+ satır (Azure SQL DB, PostgreSQL)
Desteklenen Bağlayıcılar: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, Şirket içi SQL Server, Warehouse, Oracle
Desteklenen Dönüşümler: Dosyaları birleştir, Sütun seç, Veri türlerini değiştir, Sütunları yeniden adlandır/kaldır

Hızlı Kopyayı Zorunlu Kıl:

Belirli hedefler için bağımsız Dataflow’lar oluşturun (Lakehouse, Warehouse veya KQL Database).
Ön ayarlı hedef ayarları otomatik uygulanır, geliştirmeyi hızlandırır!

Varsayılan Davranışlar: Aşağıdakiler varsayılandır ve değiştirilemez

Dataflows Gen2’de Varsayılan Veri Hedefi

Microsoft Fabric ile Veri Alımı ve Semantik Modeller