Optimera dataflödesprestanda

Datainmatning och semantiska modeller med Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Mellanlagring i Dataflows Gen2

Lagrar data tillfälligt under transformationer för att optimera prestanda

Mellanlagringsartefakter:
- Dolt internt Lakehouse-lagringsutrymme som används vid datatransformationer
- Hanteras automatiskt av Dataflows; inte för direkt användaråtkomst
När ska mellanlagring användas:
- Aktiverat som standard för förbättrad SQL-endpointprestanda
- Inaktiverat för direkt Lakehouse- och icke-lagerhusinläsning (kan återaktiveras)
Ta bort mellanlagringsdata:
- Inaktivera mellanlagring och uppdatera (rensas efter 30 dagar)
- Ta bort dataflödet eller arbetsytan för omedelbar borttagning

En funktion för snabb datainmatning som skalas för att hantera stora datamängder effektivt

Arkitektur: Omfördelar tunga arbetsbelastningar från Power Query till en högpresterande pipeline för snabbare bearbetning
Fördel: Minimerar bearbetningstiden genom att utnyttja skalbara serverresurser för stora data

Arkitektur för Dataflows Gen2 Fast Copy

Förutsättningar:

Filer: 100 MB+ (CSV/Parquet)
Databaser: 5 M+ rader (Azure SQL DB, PostgreSQL)
Anslutningsappar som stöds: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, On premise SQL Server, Warehouse, Oracle
Transformationer som stöds: Kombinera filer, Markera kolumner, Ändra datatyper, Byta namn på/ta bort kolumner

Alternativet Kräv Fast Copy:

Tvingar användning av Fast Copy; misslyckas omedelbart om kriterierna inte uppfylls
Sparar tid genom att undvika lång väntan vid långsammare bearbetning

Skapa fristående Dataflows för specifika datadestinationer (Lakehouse, Warehouse eller KQL Database).
Förinställda datadestinationsinställningar tillämpas automatiskt och snabbar upp utvecklingen!

Förinställda beteenden: Följande är standardbeteenden och kan inte ändras

Standarddatadestination i Dataflows Gen2

Datainmatning och semantiska modeller med Microsoft Fabric