Mettre en œuvre des améliorations de performance

Transformer et analyser des données avec Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Stratégies d'optimisation

  • Optimiser la conception des éléments Fabric
  • Mise à l'échelle verticale
  • Mise à l'échelle horizontale
Transformer et analyser des données avec Microsoft Fabric

Optimiser le SQL

  • Limiter les requêtes aux seules colonnes et opérations nécessaires

Exemple d'instruction SQL SELECT passant de toutes les colonnes à seulement certaines

Transformer et analyser des données avec Microsoft Fabric

Optimiser le SQL

  • Limiter les requêtes aux seules colonnes et opérations nécessaires
  • Utiliser les plus petits types de données possibles

Exemple d'instruction CREATE TABLE où le type d'une colonne numérique passe de BIGINT à INT

Transformer et analyser des données avec Microsoft Fabric

Optimiser le SQL

  • Limiter les requêtes aux seules colonnes et opérations nécessaires
  • Utiliser les plus petits types de données possibles
  • Utiliser une conception en schéma en étoile

Schéma en étoile avec une table de faits et des tables de dimensions liées

Transformer et analyser des données avec Microsoft Fabric

Optimiser le SQL

  • Limiter les requêtes aux seules colonnes et opérations nécessaires
  • Utiliser les plus petits types de données possibles
  • Utiliser une conception en schéma en étoile
  • Utiliser les vues système pour surveiller l'usage des requêtes
SELECT *
FROM sys.dm_exec_requests;
Transformer et analyser des données avec Microsoft Fabric

Optimiser les blocs-notes

  • Tirer parti de Spark History Server

Capture d'écran de la page Web de l'interface Spark

Transformer et analyser des données avec Microsoft Fabric

Optimiser les blocs-notes

  • Tirer parti de Spark History Server
  • Arrêter les sessions Spark actives lorsqu'elles ne sont pas utilisées
Transformer et analyser des données avec Microsoft Fabric

Optimiser les blocs-notes

  • Tirer parti de Spark History Server
  • Arrêter les sessions Spark actives lorsqu'elles ne sont pas utilisées
  • Lors des jointures, réduire les données en mémoire avant d'exécuter la jointure
Transformer et analyser des données avec Microsoft Fabric

Optimiser les flux de données

  • Minimiser les opérations coûteuses comme le tri

Exemple de flux de données où une opération de tri est éliminée si elle n'est pas requise

Transformer et analyser des données avec Microsoft Fabric

Optimiser les flux de données

  • Minimiser les opérations coûteuses comme le tri
  • Query folding
    • Décharger le traitement vers la source de données

Étape de flux de données. Sans query folding, l'évaluation se fait hors de la source. Avec query folding, l'opération est évaluée par la source

Transformer et analyser des données avec Microsoft Fabric

Optimiser les flux de données

  • Minimiser les opérations coûteuses comme le tri
  • Query folding
    • Décharger le traitement vers la source de données
  • Staging activé/désactivé
    • Désactiver pour de petits chargements ou des transformations simples
    • Activer pour de gros chargements ou des transformations complexes

Capture d'écran montrant l'option Enable Staging dans une requête de flux de données

Transformer et analyser des données avec Microsoft Fabric

Mise à l'échelle verticale

  • Augmenter la taille du SKU
  • Plus le SKU est élevé = plus de capacité de calcul

Tableau des différents SKU Azure Fabric disponibles, du plus petit F2 au plus grand F2048 v

Transformer et analyser des données avec Microsoft Fabric

Mise à l'échelle verticale

Illustration de la mise à l'échelle verticale d'une capacité Fabric en augmentant le nombre de v-cœurs

Exemple : passer de F64 (8 v-cœurs) à F128 (16 v-cœurs)

Transformer et analyser des données avec Microsoft Fabric

Mise à l'échelle horizontale

  • Déplacer certains éléments vers une autre capacité Fabric.
  • Isoler les charges de travail
    • Production vs hors production
    • Différents secteurs d'affaires, p. ex. une capacité distincte pour les rapports destinés à la direction
Transformer et analyser des données avec Microsoft Fabric

Mise à l'échelle horizontale

Illustration de la mise à l'échelle horizontale d'une capacité Fabric en ajoutant une deuxième capacité et en y déplaçant une charge

Transformer et analyser des données avec Microsoft Fabric

Passons à la pratique !

Transformer et analyser des données avec Microsoft Fabric

Preparing Video For Download...