Daten aggregieren

Daten transformieren und analysieren mit Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Wann solltest du Daten aggregieren?

Reduziere die Zeilenanzahl eines Datensatzes mit Aggregationsfunktionen für Zusammenfassungen.
- Zählen
- Summieren
- Mittelwert
- Maximum
- Minimum

Wann solltest du Daten aggregieren?

Reduziere die Zeilenanzahl eines Datensatzes mit Aggregationsfunktionen für Zusammenfassungen.
- Zählen
- Summieren
- Mittelwert
- Maximum
- Minimum

Tabelle mit Bestellungen pro Bundesstaat, aggregiert zu einer neuen Tabelle mit Gesamtanzahl der Bestellungen und Gesamtsumme pro Staat

Tools zur Umsetzung von Datenaggregation

Symbole für drei Tools: SQL, Spark und Dataflows

Daten mit SQL aggregieren

Häufige SQL-Aggregatsfunktionen:
- SUM()
- COUNT()
- AVG()
- MIN()
- MAX()
Meist in Kombination mit GROUP BY
Statistische Funktionen
- STDEV()
- VAR()

SELECT
  <unaggregated columns>,
  function(<aggregated column>)
FROM 
  <table>
GROUP BY 
  <unaggregated columns>;

Daten mit SQL aggregieren

SELECT 
  [State], 
  COUNT([Order_ID]) AS [Num Orders], 
  SUM([Order_Amount]) AS [Total Amount]
FROM 
  [tbl_Orders]
GROUP BY 
  [State]

Tabelle mit Bestellungen pro Bundesstaat, aggregiert zu einer neuen Tabelle mit Gesamtanzahl der Bestellungen und Gesamtsumme pro Staat

Daten mit Spark aggregieren

Häufige PySpark-Aggregatsfunktionen:
- sum()
- count()
- avg()
- min() und max()
- first() und last()
Statistische Funktionen
- stdev()
- variance()
Verwendet mit groupBy() und agg()

df.groupBy(<unaggregated columns>)
.agg(function(<aggregated column>))

Daten mit Spark aggregieren

Tabelle mit Bestellungen pro Bundesstaat, aggregiert zu einer neuen Tabelle mit Gesamtanzahl der Bestellungen und Gesamtsumme pro Staat

from pyspark.sql.functions import sum

df.groupBy("state").agg(count("order_id"), sum("order_amount")).show()

Daten mit Spark aggregieren

Aggregationsfunktionen müssen zu Beginn deines Codes aus pyspark.sql.functions importiert werden.

#----- Eine oder mehrere Funktionen importieren:
from pyspark.sql.functions import sum, avg, count, min, max

#----- Alle SQL-Funktionen importieren:
from pyspark.sql.functions import * 

#----- Alle SQL-Funktionen mit Alias importieren:
import pyspark.sql.functions as F
# sum aufrufen: F.sum()

Daten mit Dataflows aggregieren

Group by-Transformation
- Sum
- Average
- Median
- Min
- Max
- Percentile
- Count rows

Screenshot des Group by-Dialogs in Dataflows

Daten mit Dataflows aggregieren

Screenshot des Group by-Dialogs in einem Dataflow, gruppiert nach Bundesstaat und mit zwei Aggregationen: Zeilen zählen und Summe der Spalte Bestellbetrag

Tabelle mit Bestellungen pro Bundesstaat, aggregiert zu einer neuen Tabelle mit Gesamtanzahl der Bestellungen und Gesamtsumme pro Staat

Lass uns üben!

Daten transformieren und analysieren mit Microsoft Fabric