Agregace dat

Transform and Analyze Data with Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Kdy agregovat data?

Redukce počtu řádků v datové sadě pomocí agregační funkce pro vytvoření souhrnů.
- Počet
- Souhrn
- Průměr
- Maximum
- Minimum

Kdy agregovat data?

Redukce počtu řádků v datové sadě pomocí agregační funkce pro vytvoření souhrnů.
- Počet
- Souhrn
- Průměr
- Maximum
- Minimum

Tabulka s objednávkami po státech agregovaná do nové tabulky s celkovým počtem objednávek a celkovou výší tržeb po státech

Nástroje pro agregaci dat

Ikony reprezentující tři nástroje: SQL, Spark a Dataflows

Agregace dat v SQL

Běžné agregační funkce v SQL:
- SUM()
- COUNT()
- AVG()
- MIN()
- MAX()
Obvykle se používají s GROUP BY
Statistické funkce
- STDEV()
- VAR()

SELECT
  <unaggregated columns>,
  function(<aggregated column>)
FROM 
  <table>
GROUP BY 
  <unaggregated columns>;

Agregace dat v SQL

SELECT 
  [State], 
  COUNT([Order_ID]) AS [Num Orders], 
  SUM([Order_Amount]) AS [Total Amount]
FROM 
  [tbl_Orders]
GROUP BY 
  [State]

Tabulka s objednávkami po státech agregovaná do nové tabulky s celkovým počtem objednávek a celkovou výší tržeb po státech

Agregace dat ve Sparku

Běžné agregační funkce v PySparku:
- sum()
- count()
- avg()
- min() a max()
- first() a last()
Statistické funkce
- stdev()
- variance()
Používají se s groupBy() a agg()

df.groupBy(<unaggregated columns>)
.agg(function(<aggregated column>))

Agregace dat ve Sparku

Tabulka s objednávkami po státech agregovaná do nové tabulky s celkovým počtem objednávek a celkovou výší tržeb po státech

from pyspark.sql.functions import sum

df.groupBy("state").agg(count("order_id"), sum("order_amount")).show()

Agregace dat ve Sparku

Agregační funkce musí být importovány z pyspark.sql.functions příkazem na začátku kódu.

#----- Import one or multiple functions:
from pyspark.sql.functions import sum, avg, count, min, max

#----- Import all SQL functions:
from pyspark.sql.functions import * 

#----- Import all SQL functions with an alias:
import pyspark.sql.functions as F
# call sum: F.sum()

Agregace dat v Dataflows

Transformace Seskupit podle
- Sum
- Average
- Median
- Min
- Max
- Percentile
- Count rows

Snímek dialogu Seskupit podle v Dataflows

Agregace dat v Dataflows

Snímek dialogu Seskupit podle v Dataflow, kde je nastaveno seskupení podle státu a dvě agregace: počet řádků a součet sloupce s výší objednávky

Tabulka s objednávkami po státech agregovaná do nové tabulky s celkovým počtem objednávek a celkovou výší tržeb po státech

Pojďme si procvičit!

Transform and Analyze Data with Microsoft Fabric