Leistungsverbesserungen umsetzen

Daten transformieren und analysieren mit Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Optimierungsstrategien

  • Design von Fabric-Elementen optimieren
  • Vertikal skalieren
  • Horizontal skalieren
Daten transformieren und analysieren mit Microsoft Fabric

SQL optimieren

  • Abfragen auf benötigte Spalten und Operationen begrenzen

Beispiel: SQL-SELECT von allen Spalten auf nur bestimmte Spalten reduziert

Daten transformieren und analysieren mit Microsoft Fabric

SQL optimieren

  • Abfragen auf benötigte Spalten und Operationen begrenzen
  • Kleinste mögliche Datentypen verwenden

Beispiel: CREATE TABLE, Datentyp einer numerischen Spalte von BIGINT auf INT geändert

Daten transformieren und analysieren mit Microsoft Fabric

SQL optimieren

  • Abfragen auf benötigte Spalten und Operationen begrenzen
  • Kleinste mögliche Datentypen verwenden
  • Sternschema verwenden

Diagramm eines Sternschemas mit Faktentabelle und zugehörigen Dimensionstabellen

Daten transformieren und analysieren mit Microsoft Fabric

SQL optimieren

  • Abfragen auf benötigte Spalten und Operationen begrenzen
  • Kleinste mögliche Datentypen verwenden
  • Sternschema verwenden
  • Systemansichten zur Überwachung der Abfragenutzung verwenden
SELECT *
FROM sys.dm_exec_requests;
Daten transformieren und analysieren mit Microsoft Fabric

Notebooks optimieren

  • Spark History Server nutzen

Screenshot der Spark-UI-Webseite

Daten transformieren und analysieren mit Microsoft Fabric

Notebooks optimieren

  • Spark History Server nutzen
  • Aktive Spark-Sitzungen beenden, wenn sie nicht benötigt werden
Daten transformieren und analysieren mit Microsoft Fabric

Notebooks optimieren

  • Spark History Server nutzen
  • Aktive Spark-Sitzungen beenden, wenn sie nicht benötigt werden
  • Beim Joinen Speicherbedarf reduzieren, bevor der Join ausgeführt wird
Daten transformieren und analysieren mit Microsoft Fabric

Datenflüsse optimieren

  • Teure Operationen wie Sortieren minimieren

Beispiel-Datenfluss, in dem eine Sortierung entfernt wird, wenn sie nicht nötig ist

Daten transformieren und analysieren mit Microsoft Fabric

Datenflüsse optimieren

  • Teure Operationen wie Sortieren minimieren
  • Query Folding
    • Verarbeitung an die Datenquelle auslagern

Beispiel-Datenflussschritt. Ohne Query Folding erfolgt die Auswertung außerhalb der Datenquelle. Mit Query Folding wird die Operation von der Datenquelle ausgewertet

Daten transformieren und analysieren mit Microsoft Fabric

Datenflüsse optimieren

  • Teure Operationen wie Sortieren minimieren
  • Query Folding
    • Verarbeitung an die Datenquelle auslagern
  • Staging an/aus
    • Deaktivieren für kleine Lademengen oder einfache Transformationen
    • Aktivieren für große Lademengen oder komplexere Transformationen

Screenshot mit der Option Enable Staging in einer Dataflow-Abfrage

Daten transformieren und analysieren mit Microsoft Fabric

Scale-up

  • SKU-Größe erhöhen
  • Höhere SKU = mehr Rechenkapazität

Tabelle der verfügbaren Fabric Azure-SKUs, von klein F2 bis groß F2048 v

Daten transformieren und analysieren mit Microsoft Fabric

Scale-up

Beispielgrafik: Scale-up einer Fabric-Kapazität durch Erhöhen der vCores

Beispiel: von F64 (8 vCores) auf F128 (16 vCores) hochskalieren

Daten transformieren und analysieren mit Microsoft Fabric

Scale-out

  • Einige Elemente auf eine andere Fabric-Kapazität verschieben.
  • Workloads isolieren
    • Produktion vs. Nicht-Produktion
    • Verschiedene Geschäftsbereiche, z. B. eigene Kapazität für Management-Reporting
Daten transformieren und analysieren mit Microsoft Fabric

Scale-out

Beispielgrafik: Scale-out einer Fabric-Kapazität durch Hinzufügen einer zweiten Kapazität und Verschieben einer Workload

Daten transformieren und analysieren mit Microsoft Fabric

Lass uns üben!

Daten transformieren und analysieren mit Microsoft Fabric

Preparing Video For Download...