Optimalizace výkonu datového toku

Příjem dat a sémantické modely v Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Příprava (Staging) v Dataflows Gen2

Dočasně uchovává data během transformace pro optimalizaci výkonu

Přípravné artefakty:
- Skryté interní úložiště Lakehouse používané při transformacích dat
- Automaticky spravováno datovými toky; není určeno pro přímý přístup uživatelů
Kdy použít přípravu:
- Ve výchozím nastavení povoleno pro lepší výkon SQL endpointu
- Zakázáno pro přímé načítání do Lakehouse a jiných než warehousových cílů (lze znovu povolit)
Odstranění přípravných dat:
- Zakažte přípravu a obnovte (data jsou vymazána po 30 dnech)
- Odstraňte datový tok nebo pracovní prostor pro okamžité smazání

Funkce rychlého příjmu dat, která efektivně škáluje zpracování velkých datových sad

Architektura: Přesouvá náročné úlohy z Power Query do vysoce výkonného kanálu pro rychlejší zpracování
Výhoda: Zkracuje dobu zpracování díky škálovatelným backendovým prostředkům pro velká data

Architektura Fast Copy v DataFlows Gen2

Předpoklady:

Soubory: 100 MB+ (CSV/Parquet)
Databáze: 5M+ řádků (Azure SQL DB, PostgreSQL)
Podporované konektory: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, On premise SQL Server, Warehouse, Oracle
Podporované transformace: Kombinování souborů, výběr sloupců, změna datových typů, přejmenování/odebrání sloupců

Možnost Vyžadovat Fast Copy:

Vytvářejte samostatné datové toky pro konkrétní datová cílová místa (Lakehouse, Warehouse nebo KQL Database).
Přednastavená nastavení datového cíle jsou aplikována automaticky, což urychluje vývoj!

Přednastavená chování: Níže jsou výchozí chování, která nelze změnit

Výchozí datový cíl v Dataflows Gen2

Příjem dat a sémantické modely v Microsoft Fabric