Implementa i miglioramenti delle prestazioni

Trasforma e analizza i dati con Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Strategie di ottimizzazione

Ottimizza il design degli elementi Fabric
Scale up
Scale out

Ottimizzare SQL

Limita le query a sole colonne e operazioni necessarie

Esempio di istruzione SQL SELECT ridotta dal selezionare tutte le colonne al selezionare solo colonne specifiche

Ottimizzare SQL

Limita le query a sole colonne e operazioni necessarie
Usa i tipi di dato più piccoli possibili

Esempio di istruzione CREATE TABLE dove il tipo di dato di una colonna numerica passa da BIGINT a INT

Ottimizzare SQL

Limita le query a sole colonne e operazioni necessarie
Usa i tipi di dato più piccoli possibili
Usa il design a schema a stella

Ottimizzare SQL

Limita le query a sole colonne e operazioni necessarie
Usa i tipi di dato più piccoli possibili
Usa il design a schema a stella
Usa le viste di sistema per monitorare l’uso delle query

SELECT *
FROM sys.dm_exec_requests;

Ottimizzare i Notebook

Sfrutta lo Spark History Server

Screenshot della pagina web Spark UI

Ottimizzare i Notebook

Sfrutta lo Spark History Server
Arresta le sessioni Spark attive quando non servono

Ottimizzare i Notebook

Sfrutta lo Spark History Server
Arresta le sessioni Spark attive quando non servono
Nei join, riduci i dati in memoria prima di eseguire il join

Ottimizzare i dataflow

Riduci al minimo operazioni costose come l’ordinamento

Dataflow di esempio in cui un’operazione di ordinamento viene eliminata se non richiesta

Ottimizzare i dataflow

Riduci al minimo operazioni costose come l’ordinamento
Query folding
- Sposta l’elaborazione sulla fonte dati

Fase di dataflow di esempio. Senza query folding, la valutazione avviene fuori dalla fonte dati. Con query folding, l’operazione è valutata dalla fonte dati

Ottimizzare i dataflow

Riduci al minimo operazioni costose come l’ordinamento
Query folding
- Sposta l’elaborazione sulla fonte dati
Staging On/Off
- Disattiva per carichi piccoli o trasformazioni semplici
- Attiva per carichi grandi o trasformazioni complesse

Screenshot che mostra l’opzione Enable Staging in una query di dataflow

Scale up

Aumenta la dimensione della SKU
SKU più alta = più capacità di calcolo

Tabella delle varie SKU Azure Fabric disponibili, dalla più piccola F2 alla più grande F2048 v

Scale up

Illustrazione di esempio dello scale up di una capacità Fabric aumentando il numero di v-core

Esempio: scale up da F64 (8 v-core) a F128 (16 v-core)

Scale out

Sposta alcuni elementi in un’altra capacità Fabric.
Isola i carichi di lavoro
- Produzione vs non produzione
- Aree aziendali diverse, ad es. capacità separata per reportistica executive

Scale out

Illustrazione di esempio dello scale out di una capacità Fabric aggiungendo una seconda capacità e spostandovi un carico di lavoro

Passons à la pratique !

Trasforma e analizza i dati con Microsoft Fabric