Optimizarea performanței fluxului de date

Ingestia datelor și Modele Semantice cu Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Staging în Dataflows Gen2

Stochează temporar datele în timpul transformării pentru a optimiza performanța

  • Artefacte de staging:
    • Spațiu de stocare intern ascuns în Lakehouse, utilizat în timpul transformărilor
    • Gestionat automat de Dataflows; nu este accesibil direct de utilizatori
  • Când se utilizează staging-ul:
    • Activat implicit pentru performanță îmbunătățită a endpoint-ului SQL
    • Dezactivat pentru încărcarea directă în Lakehouse și non-warehouse (poate fi reactivat)
  • Eliminarea datelor de staging:
    • Dezactivați staging-ul și reîmprospătați (șterse după 30 de zile)
    • Ștergeți dataflow-ul sau spațiul de lucru pentru eliminare imediată
Ingestia datelor și Modele Semantice cu Microsoft Fabric

Accelerarea ingestiei de date cu Fast Copy

O funcționalitate de ingestie rapidă a datelor, scalabilă pentru seturi mari de date

  • Arhitectură: Redistribuie sarcinile intensive din Power Query către un pipeline de înaltă performanță pentru procesare mai rapidă
  • Beneficiu: Reduce timpul de procesare utilizând resurse backend scalabile pentru date voluminoase

Arhitectura Fast Copy în DataFlows Gen2

Ingestia datelor și Modele Semantice cu Microsoft Fabric

Optimizarea Fast Copy: cerințe și setări cheie

Cerințe preliminare:

  • Fișiere: minim 100 MB (CSV/Parquet)
  • Baze de date: minim 5M rânduri (Azure SQL DB, PostgreSQL)
  • Conectori suportați: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, SQL Server on-premise, Warehouse, Oracle
  • Transformări suportate: Combinare fișiere, Selectare coloane, Modificare tipuri de date, Redenumire/Eliminare coloane

Opțiunea Require Fast Copy:

  • Forțează utilizarea Fast Copy; eșuează imediat dacă cerințele nu sunt îndeplinite
  • Economisește timp evitând așteptările lungi asociate procesării mai lente
Ingestia datelor și Modele Semantice cu Microsoft Fabric

Destinația implicită în Dataflow Gen2

  • Creați Dataflows independente pentru destinații specifice (Lakehouse, Warehouse sau KQL Database).

  • Setările prestabilite ale destinației sunt aplicate automat, accelerând dezvoltarea!

Comportamente prestabilite: Cele de mai jos sunt implicite și nu pot fi modificate

  • Lakehouse: Metodă de actualizare Replace, schemă dinamică
  • Warehouse/KQL Database: Metodă de actualizare Append, schemă fixă

Destinație implicită în Dataflows Gen2

Ingestia datelor și Modele Semantice cu Microsoft Fabric

Să exersăm!

Ingestia datelor și Modele Semantice cu Microsoft Fabric

Preparing Video For Download...