Performans iyileştirmelerini uygulama

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Luis Silva

Solution Architect - Data & AI

Optimizasyon stratejileri

  • Fabric öğelerinin tasarımını optimize edin
  • Dikey ölçeklendirme
  • Yatay ölçeklendirme
Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

SQL’i optimize etme

  • Sorguları yalnızca gereken sütun ve işlemlerle sınırlayın

Tüm sütunları seçmekten yalnızca belirli sütunları seçmeye indirgenen örnek SQL SELECT ifadesi

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

SQL’i optimize etme

  • Sorguları yalnızca gereken sütun ve işlemlerle sınırlayın
  • Mümkün olan en küçük veri türlerini kullanın

Sayısal bir sütunun veri türünün BIGINT’ten INT’e değiştirildiği örnek CREATE TABLE ifadesi

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

SQL’i optimize etme

  • Sorguları yalnızca gereken sütun ve işlemlerle sınırlayın
  • Mümkün olan en küçük veri türlerini kullanın
  • Yıldız şeması tasarımını kullanın

Bir olgu tablosu ve ilişkili boyut tablolarından oluşan yıldız şeması diyagramı

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

SQL’i optimize etme

  • Sorguları yalnızca gereken sütun ve işlemlerle sınırlayın
  • Mümkün olan en küçük veri türlerini kullanın
  • Yıldız şeması tasarımını kullanın
  • Sorgu kullanımını izlemek için sistem görünümlerini kullanın
SELECT *
FROM sys.dm_exec_requests;
Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Not Defterlerini optimize etme

  • Spark History Server’dan yararlanın

Spark UI web sayfasının ekran görüntüsü

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Not Defterlerini optimize etme

  • Spark History Server’dan yararlanın
  • Kullanılmadığında etkin Spark oturumlarını durdurun
Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Not Defterlerini optimize etme

  • Spark History Server’dan yararlanın
  • Kullanılmadığında etkin Spark oturumlarını durdurun
  • Birleştirme yaparken, çalıştırmadan önce bellekteki veri miktarını azaltın
Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Veri akışlarını optimize etme

  • Sıralama gibi maliyetli işlemleri en aza indirin

Gerekli değilse sıralama işleminin kaldırıldığı örnek bir veri akışı

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Veri akışlarını optimize etme

  • Sıralama gibi maliyetli işlemleri en aza indirin
  • Sorgu katlama
    • İşlemeyi veri kaynağına devredin

Örnek veri akışı adımı. Sorgu katlama yoksa değerlendirme veri kaynağı dışında yapılır. Sorgu katlama varsa işlem veri kaynağında değerlendirilir

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Veri akışlarını optimize etme

  • Sıralama gibi maliyetli işlemleri en aza indirin
  • Sorgu katlama
    • İşlemeyi veri kaynağına devredin
  • Aşama (Staging) Açık/Kapalı
    • Küçük yüklemeler veya basit dönüşümler için kapatın
    • Büyük yüklemeler veya karmaşık dönüşümler için açın

Bir veri akışı sorgusunda Staging’i Etkinleştir seçeneğinin ekran görüntüsü

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Dikey ölçeklendirme

  • SKU boyutunu artırın
  • Daha yüksek SKU = daha fazla işlem kapasitesi

En küçük F2’den en büyük F2048’e kadar mevcut Fabric Azure SKU’larını listeleyen tablo v

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Dikey ölçeklendirme

v-core sayısını artırarak bir Fabric kapasitesinin dikey ölçeklendiğini gösteren örnek görsel

Örnek: F64’ten (8 v-core) F128’e (16 v-core) dikey ölçeklendirme

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Yatay ölçeklendirme

  • Bazı öğeleri farklı bir Fabric kapasitesine taşıyın.
  • İş yüklerini yalıtın
    • Üretim ve üretim dışı
    • İş birimleri; ör. yönetim raporlaması için ayrı kapasite
Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Yatay ölçeklendirme

İkinci bir kapasite ekleyip iş yükünü taşıyarak bir Fabric kapasitesinin yatay ölçeklendiğini gösteren örnek görsel

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Hadi pratik yapalım!

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Preparing Video For Download...