Ottimizzare le prestazioni dei Dataflow

Acquisizione dei dati e modelli semantici con Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Staging nei Dataflow Gen2

Conserva temporaneamente i dati durante la trasformazione per ottimizzare le prestazioni

Artifact di staging:
- Archiviazione Lakehouse interna e nascosta usata nelle trasformazioni
- Gestita automaticamente dai Dataflow; non accessibile direttamente
Quando usare lo staging:
- Abilitato di default per migliorare le prestazioni degli endpoint SQL
- Disabilitato per caricamenti diretti in Lakehouse e non-warehouse (riabilitabile)
Rimozione dati di staging:
- Disabilita lo staging e aggiorna (si cancella dopo 30 giorni)
- Elimina il dataflow o lo workspace per rimuovere subito

Funzionalità di ingestion ad alta velocità che scala per gestire grandi dataset in modo efficiente

Architettura: Redistribuisce carichi pesanti da Power Query a una pipeline ad alte prestazioni per elaborazioni più rapide
Vantaggio: Riduce i tempi sfruttando risorse backend scalabili per grandi volumi

Architettura Fast Copy di DataFlows Gen2

Prerequisiti:

File: 100 MB+ (CSV/Parquet)
Database: 5M+ righe (Azure SQL DB, PostgreSQL)
Connettori supportati: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, SQL Server locale, Warehouse, Oracle
Trasformazioni supportate: Unisci file, Seleziona colonne, Cambia tipi dati, Rinomina/Rimuovi colonne

Opzione Richiedi Fast Copy:

Crea Dataflow stand-alone per destinazioni specifiche (Lakehouse, Warehouse o database KQL).
Le impostazioni predefinite della destinazione si applicano automaticamente, accelerando lo sviluppo!

Comportamenti preimpostati: I seguenti sono predefiniti e non modificabili

Destinazione predefinita in Dataflow Gen2

Acquisizione dei dati e modelli semantici con Microsoft Fabric