Agrégation des données

Transformer et analyser des données avec Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Quand faut-il agréger des données ?

  • Réduire le nombre de lignes d'un ensemble de données à l'aide d'une fonction d'agrégation pour produire des résumés.
    • Compter
    • Résumer
    • Moyenne
    • Maximum
    • Minimum
Transformer et analyser des données avec Microsoft Fabric

Quand faut-il agréger des données ?

  • Réduire le nombre de lignes d'un ensemble de données à l'aide d'une fonction d'agrégation pour produire des résumés.
    • Compter
    • Résumer
    • Moyenne
    • Maximum
    • Minimum

Tableau des commandes par État agrégé en un nouveau tableau avec le nombre total de commandes et le montant total des ventes par État

Transformer et analyser des données avec Microsoft Fabric

Outils pour mettre en œuvre l'agrégation de données

 

 

Icônes représentant trois outils : SQL, Spark et Dataflows

Transformer et analyser des données avec Microsoft Fabric

Agréger des données avec SQL

  • Fonctions d'agrégation SQL courantes :
    • SUM()
    • COUNT()
    • AVG()
    • MIN()
    • MAX()
  • Généralement utilisées avec GROUP BY
  • Fonctions statistiques
    • STDEV()
    • VAR()
SELECT
  <unaggregated columns>,
  function(<aggregated column>)
FROM 
  <table>
GROUP BY 
  <unaggregated columns>;
Transformer et analyser des données avec Microsoft Fabric

Agréger des données avec SQL

SELECT 
  [State], 
  COUNT([Order_ID]) AS [Num Orders], 
  SUM([Order_Amount]) AS [Total Amount]
FROM 
  [tbl_Orders]
GROUP BY 
  [State]

Tableau des commandes par État agrégé en un nouveau tableau avec le nombre total de commandes et le montant total des ventes par État

Transformer et analyser des données avec Microsoft Fabric

Agréger des données avec Spark

  • Fonctions d'agrégation PySpark courantes :
    • sum()
    • count()
    • avg()
    • min() et max()
    • first() et last()
  • Fonctions statistiques
    • stdev()
    • variance()
  • Utilisées avec groupBy() et agg()
df.groupBy(<unaggregated columns>)
.agg(function(<aggregated column>))
Transformer et analyser des données avec Microsoft Fabric

Agréger des données avec Spark

Tableau des commandes par État agrégé en un nouveau tableau avec le nombre total de commandes et le montant total des ventes par État

from pyspark.sql.functions import sum

df.groupBy("state").agg(count("order_id"), sum("order_amount")).show()
Transformer et analyser des données avec Microsoft Fabric

Agréger des données avec Spark

  • Les fonctions d'agrégation doivent être importées de pyspark.sql.functions au début de votre code.
#----- Importer une ou plusieurs fonctions :
from pyspark.sql.functions import sum, avg, count, min, max

#----- Importer toutes les fonctions SQL :
from pyspark.sql.functions import * 

#----- Importer toutes les fonctions SQL avec un alias :
import pyspark.sql.functions as F
# appeler sum : F.sum()
Transformer et analyser des données avec Microsoft Fabric

Agréger des données avec Dataflows

  • Transformation Group by
    • Sum
    • Average
    • Median
    • Min
    • Max
    • Percentile
    • Count rows

Capture d'écran de la boîte de dialogue Group by dans Dataflows

Transformer et analyser des données avec Microsoft Fabric

Agréger des données avec Dataflows

Capture d'écran de la boîte de dialogue Group by dans un Dataflow, indiquant un regroupement par État avec deux agrégations : nombre de lignes et somme de la colonne du montant de commande

Tableau des commandes par État agrégé en un nouveau tableau avec le nombre total de commandes et le montant total des ventes par État

Transformer et analyser des données avec Microsoft Fabric

Passons à la pratique !

Transformer et analyser des données avec Microsoft Fabric

Preparing Video For Download...