Optimierung der Dataflow-Leistung

Datenaufnahme und Semantische Modelle mit Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Staging in Dataflows Gen2

Hält Daten während der Transformation vor, um Leistung zu optimieren

  • Staging-Artefakte:
    • Verdeckter interner Lakehouse-Speicher für Transformationen
    • Automatisch von Dataflows verwaltet; kein direkter Benutzerzugriff
  • Wann Staging nutzen:
    • Standardmäßig aktiviert für bessere SQL-Endpoint-Leistung
    • Deaktiviert bei direktem Lakehouse- und Nicht-Warehouse-Loading (kann reaktiviert werden)
  • Staging-Daten entfernen:
    • Staging deaktivieren und aktualisieren (nach 30 Tagen gelöscht)
    • Dataflow oder Workspace löschen für sofortige Entfernung
Datenaufnahme und Semantische Modelle mit Microsoft Fabric

Datenaufnahme mit Fast Copy beschleunigen

Eine Hochgeschwindigkeits-Ingestion, die effizient auf große Datasets skaliert

  • Architektur: Verlagert Last von Power Query in eine Hochleistungspipeline für schnellere Verarbeitung
  • Vorteil: Minimiert die Verarbeitungszeit durch skalierbare Backend-Ressourcen bei großen Datenmengen

Fast-Copy-Architektur in Dataflows Gen2

Datenaufnahme und Semantische Modelle mit Microsoft Fabric

Fast Copy optimieren: Voraussetzungen und Schlüsseleinstellungen

Voraussetzungen:

  • Dateien: 100 MB+ (CSV/Parquet)
  • Datenbanken: 5 Mio.+ Zeilen (Azure SQL DB, PostgreSQL)
  • Unterstützte Connectoren: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, On-Premises SQL Server, Warehouse, Oracle
  • Unterstützte Transformationen: Dateien zusammenführen, Spalten auswählen, Datentypen ändern, Spalten umbenennen/entfernen

Option „Fast Copy erzwingen“:

  • Erzwingt Fast Copy; schlägt sofort fehl, wenn Kriterien nicht erfüllt sind
  • Spart Zeit, da langsame Verarbeitung vermieden wird
Datenaufnahme und Semantische Modelle mit Microsoft Fabric

Standardziel in Dataflows Gen2

  • Erstelle eigenständige Dataflows für bestimmte Ziele (Lakehouse, Warehouse oder KQL-Datenbank).

  • Voreingestellte Zieleinstellungen werden automatisch angewendet und beschleunigen die Entwicklung!

Voreinstellungen: Folgende Standardverhalten sind fest vorgegeben

  • Lakehouse: Ersetzen als Aktualisierungsmethode, dynamisches Schema
  • Warehouse/KQL-Datenbank: Anhängen als Aktualisierungsmethode, fixes Schema

Standarddatenziel in Dataflows Gen2

Datenaufnahme und Semantische Modelle mit Microsoft Fabric

Lass uns üben!

Datenaufnahme und Semantische Modelle mit Microsoft Fabric

Preparing Video For Download...