Optimiser les performances des Dataflows

Ingestion des données et modèles sémantiques avec Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Staging dans Dataflows Gen2

Stocke temporairement les données pendant la transformation pour optimiser les performances

  • Artefacts de staging :
    • Stockage Lakehouse interne et masqué utilisé lors des transformations
    • Géré automatiquement par les Dataflows ; pas d’accès direct pour l’utilisateur
  • Quand utiliser le staging :
    • Activé par défaut pour améliorer les performances des endpoints SQL
    • Désactivé pour le chargement direct vers Lakehouse et hors entrepôt (réactivable)
  • Suppression des données de staging :
    • Désactiver le staging et actualiser (purgé après 30 jours)
    • Supprimer le dataflow ou l’espace de travail pour retirer immédiatement
Ingestion des données et modèles sémantiques avec Microsoft Fabric

Accélérer l’ingestion avec Fast Copy

Fonction d’ingestion à haut débit qui passe à l’échelle pour de grands jeux de données

  • Architecture : Redistribue les charges lourdes de Power Query vers un pipeline haute performance pour accélérer le traitement
  • Avantage : Réduit le temps de traitement grâce à des ressources backend scalables pour les gros volumes

Architecture Fast Copy de Dataflows Gen2

Ingestion des données et modèles sémantiques avec Microsoft Fabric

Optimiser Fast Copy : prérequis et réglages clés

Prérequis :

  • Fichiers : 100 Mo+ (CSV/Parquet)
  • Bases : 5 M+ de lignes (Azure SQL DB, PostgreSQL)
  • Connecteurs pris en charge : ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, SQL Server local, Warehouse, Oracle
  • Transformations prises en charge : Combiner des fichiers, Sélectionner des colonnes, Changer les types, Renommer/Supprimer des colonnes

Option Exiger Fast Copy :

  • Force l’usage de Fast Copy, échoue immédiatement si les critères ne sont pas remplis
  • Évite les attentes liées à un traitement plus lent, gagnant du temps
Ingestion des données et modèles sémantiques avec Microsoft Fabric

Destination par défaut de Dataflows Gen2

  • Créez des Dataflows autonomes pour des destinations cibles précises (Lakehouse, Warehouse ou base KQL).

  • Les paramètres de destination prédéfinis s’appliquent automatiquement, accélérant le développement !

Comportements prédéfinis : comportements par défaut non modifiables

  • Lakehouse : Méthode de mise à jour Remplacer, Schéma dynamique
  • Warehouse/Base KQL : Méthode de mise à jour Ajouter, Schéma fixe

Destination par défaut des Dataflows Gen2

Ingestion des données et modèles sémantiques avec Microsoft Fabric

Passons à la pratique !

Ingestion des données et modèles sémantiques avec Microsoft Fabric

Preparing Video For Download...