Implementace zlepšení výkonu

Transform and Analyze Data with Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Strategie optimalizace

  • Optimalizovat návrh položek Fabric
  • Vertikální škálování
  • Horizontální škálování
Transform and Analyze Data with Microsoft Fabric

Optimalizace SQL

  • Omezit dotazy pouze na potřebné sloupce a operace

Ukázkový příkaz SQL SELECT zúžený z výběru všech sloupců na výběr konkrétních sloupců

Transform and Analyze Data with Microsoft Fabric

Optimalizace SQL

  • Omezit dotazy pouze na potřebné sloupce a operace
  • Používat co nejmenší datové typy

Ukázkový příkaz CREATE TABLE, kde je datový typ číselného sloupce změněn z BIGINT na INT

Transform and Analyze Data with Microsoft Fabric

Optimalizace SQL

  • Omezit dotazy pouze na potřebné sloupce a operace
  • Používat co nejmenší datové typy
  • Používat hvězdicové schéma

Diagram hvězdicového schématu s tabulkou faktů a souvisejícími dimenzními tabulkami

Transform and Analyze Data with Microsoft Fabric

Optimalizace SQL

  • Omezit dotazy pouze na potřebné sloupce a operace
  • Používat co nejmenší datové typy
  • Používat hvězdicové schéma
  • Používat systémová zobrazení pro sledování dotazů
SELECT *
FROM sys.dm_exec_requests;
Transform and Analyze Data with Microsoft Fabric

Optimalizace notebooků

  • Využít Spark History Server

Snímek obrazovky webové stránky Spark UI

Transform and Analyze Data with Microsoft Fabric

Optimalizace notebooků

  • Využít Spark History Server
  • Ukončit aktivní relace Spark, když nejsou používány
Transform and Analyze Data with Microsoft Fabric

Optimalizace notebooků

  • Využít Spark History Server
  • Ukončit aktivní relace Spark, když nejsou používány
  • Při spojování dat snížit množství dat v paměti před provedením spojení
Transform and Analyze Data with Microsoft Fabric

Optimalizace datových toků

  • Minimalizovat nákladné operace, jako je řazení

Ukázkový tok dat, ve kterém je operace řazení odstraněna, pokud není vyžadována

Transform and Analyze Data with Microsoft Fabric

Optimalizace datových toků

  • Minimalizovat nákladné operace, jako je řazení
  • Přeložení dotazů (Query folding)
    • Přenést zpracování na zdroj dat

Ukázkový krok datového toku. Bez přeložení dotazu probíhá vyhodnocení mimo zdroj dat. S přeložením dotazu vyhodnocení provádí zdroj dat

Transform and Analyze Data with Microsoft Fabric

Optimalizace datových toků

  • Minimalizovat nákladné operace, jako je řazení
  • Přeložení dotazů (Query folding)
    • Přenést zpracování na zdroj dat
  • Staging zapnout/vypnout
    • Vypnout pro malé datové načítání nebo jednodušší transformace
    • Zapnout pro větší datové načítání nebo složitější transformace

Snímek obrazovky s možností Povolit staging v dotazu datového toku

Transform and Analyze Data with Microsoft Fabric

Vertikální škálování

  • Zvýšit velikost SKU
  • Vyšší SKU = větší výpočetní kapacita

Tabulka dostupných SKU pro Fabric Azure, od nejmenšího F2 po největší F2048 v

Transform and Analyze Data with Microsoft Fabric

Vertikální škálování

Ilustrace vertikálního škálování kapacity Fabric zvýšením počtu v-jader

Příklad: Škálování z F64 (8 v-jader) na F128 (16 v-jader)

Transform and Analyze Data with Microsoft Fabric

Horizontální škálování

  • Přesunout některé položky na jinou kapacitu Fabric.
  • Izolovat pracovní zátěže
    • Produkční vs. neprodukční
    • Různé oblasti firmy, např. samostatná kapacita pro reporting vedení
Transform and Analyze Data with Microsoft Fabric

Horizontální škálování

Ilustrace horizontálního škálování kapacity Fabric přidáním druhé kapacity a přesunem pracovní zátěže na ni

Transform and Analyze Data with Microsoft Fabric

Pojďme si procvičit!

Transform and Analyze Data with Microsoft Fabric

Preparing Video For Download...