Prestaties van dataflows optimaliseren

Gegevensinname en semantische modellen met Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Staging in Dataflows Gen2

Houdt tijdelijk data vast tijdens transformaties om prestaties te verbeteren

  • Staging-artifacts:
    • Verborgen interne Lakehouse-opslag voor datatransformaties
    • Automatisch beheerd door Dataflows; niet direct toegankelijk
  • Wanneer staging gebruiken:
    • Standaard ingeschakeld voor betere SQL-endpointprestaties
    • Uitgeschakeld voor directe Lakehouse- en niet-warehouse-loads (kan weer aan)
  • Stagingdata verwijderen:
    • Staging uitschakelen en vernieuwen (na 30 dagen gewist)
    • Verwijder de dataflow of workspace om direct te wissen
Gegevensinname en semantische modellen met Microsoft Fabric

Data-ingestie versnellen met Fast Copy

Een snelle data-ingestiefunctie die efficiënt schaalt voor grote datasets

  • Architectuur: Verschuift zware workloads van Power Query naar een high-performance pipeline voor snellere verwerking
  • Voordeel: Minimaliseert verwerkingstijd met schaalbare backend-resources voor grote data

Architectuur van Fast Copy in DataFlows Gen2

Gegevensinname en semantische modellen met Microsoft Fabric

Fast Copy optimaliseren: vereisten en instellingen

Vereisten:

  • Bestanden: 100 MB+ (CSV/Parquet)
  • Databases: 5M+ rijen (Azure SQL DB, PostgreSQL)
  • Ondersteunde connectors: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, On-premises SQL Server, Warehouse, Oracle
  • Ondersteunde transformaties: Bestanden combineren, Kolommen selecteren, Datasets typen wijzigen, Kolommen hernoemen/verwijderen

Optie ‘Fast Copy vereisen’:

  • Dwingt Fast Copy af; faalt direct als niet voldaan aan criteria
  • Bespaart tijd door lange wachttijden met langzamere verwerking te vermijden
Gegevensinname en semantische modellen met Microsoft Fabric

Standaardbestemming in Dataflows Gen2

  • Maak losse Dataflows voor specifieke bestemmingen (Lakehouse, Warehouse of KQL Database).

  • Vooraf ingestelde bestemmingsinstellingen worden automatisch toegepast en versnellen de ontwikkeling!

Vooringestelde gedrag: Dit zijn standaardinstellingen en niet aanpasbaar

  • Lakehouse: Vervangen als update-methode, Dynamisch schema
  • Warehouse/KQL Database: Toevoegen als update-methode, Vast schema

Standaardgegevensbestemming in Dataflows Gen2

Gegevensinname en semantische modellen met Microsoft Fabric

Laten we oefenen!

Gegevensinname en semantische modellen met Microsoft Fabric

Preparing Video For Download...