Mettre en œuvre des améliorations de performance

Transformer et analyser des données avec Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Stratégies d'optimisation

  • Optimiser la conception des éléments Fabric
  • Monter en puissance
  • Monter en charge
Transformer et analyser des données avec Microsoft Fabric

Optimiser SQL

  • Limiter les requêtes aux seules colonnes et opérations nécessaires

Exemple d'instruction SQL SELECT, passant de toutes les colonnes à quelques colonnes ciblées

Transformer et analyser des données avec Microsoft Fabric

Optimiser SQL

  • Limiter les requêtes aux seules colonnes et opérations nécessaires
  • Utiliser les types de données les plus petits possibles

Exemple d'instruction CREATE TABLE où le type d'une colonne numérique passe de BIGINT à INT

Transformer et analyser des données avec Microsoft Fabric

Optimiser SQL

  • Limiter les requêtes aux seules colonnes et opérations nécessaires
  • Utiliser les types de données les plus petits possibles
  • Adopter un schéma en étoile

Schéma en étoile avec une table de faits et des tables de dimension associées

Transformer et analyser des données avec Microsoft Fabric

Optimiser SQL

  • Limiter les requêtes aux seules colonnes et opérations nécessaires
  • Utiliser les types de données les plus petits possibles
  • Adopter un schéma en étoile
  • Utiliser les vues système pour suivre l'usage des requêtes
SELECT *
FROM sys.dm_exec_requests;
Transformer et analyser des données avec Microsoft Fabric

Optimiser les notebooks

  • Exploiter le Spark History Server

Capture d'écran de la page web Spark UI

Transformer et analyser des données avec Microsoft Fabric

Optimiser les notebooks

  • Exploiter le Spark History Server
  • Arrêter les sessions Spark actives quand elles ne sont pas utilisées
Transformer et analyser des données avec Microsoft Fabric

Optimiser les notebooks

  • Exploiter le Spark History Server
  • Arrêter les sessions Spark actives quand elles ne sont pas utilisées
  • Lors des jointures, réduire les données en mémoire avant d'exécuter la jointure
Transformer et analyser des données avec Microsoft Fabric

Optimiser les dataflows

  • Réduire les opérations coûteuses comme le tri

Exemple de dataflow où une opération de tri est supprimée si elle n'est pas nécessaire

Transformer et analyser des données avec Microsoft Fabric

Optimiser les dataflows

  • Réduire les opérations coûteuses comme le tri
  • Query folding
    • Déporter le traitement vers la source de données

Étape de dataflow : sans query folding, l'évaluation se fait hors source ; avec query folding, l'opération est évaluée par la source

Transformer et analyser des données avec Microsoft Fabric

Optimiser les dataflows

  • Réduire les opérations coûteuses comme le tri
  • Query folding
    • Déporter le traitement vers la source de données
  • Staging activé/désactivé
    • Désactiver pour de petits chargements ou des transformations simples
    • Activer pour de gros chargements ou des transformations complexes

Capture d'écran montrant l'option Enable Staging dans une requête de dataflow

Transformer et analyser des données avec Microsoft Fabric

Monter en puissance

  • Augmenter la taille du SKU
  • SKU plus élevé = plus de capacité de calcul

Tableau des différents SKU Azure Fabric disponibles, du plus petit F2 au plus grand F2048 v

Transformer et analyser des données avec Microsoft Fabric

Monter en puissance

Illustration de la montée en puissance d'une capacité Fabric en augmentant le nombre de v-cores

Exemple : passer de F64 (8 v-cores) à F128 (16 v-cores)

Transformer et analyser des données avec Microsoft Fabric

Monter en charge

  • Déplacer certains éléments vers une autre capacité Fabric.
  • Isoler les charges de travail
    • Production vs hors production
    • Différentes entités métier, par ex. une capacité dédiée au reporting exécutif
Transformer et analyser des données avec Microsoft Fabric

Monter en charge

Illustration de la montée en charge d'une capacité Fabric en ajoutant une seconde capacité et en y déplaçant une charge

Transformer et analyser des données avec Microsoft Fabric

Passons à la pratique !

Transformer et analyser des données avec Microsoft Fabric

Preparing Video For Download...