Agregarea datelor

Transformă și analizează date cu Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Când ar trebui să agregați datele?

Reducerea numărului de rânduri dintr-un set de date, folosind o funcție de agregare pentru a produce rezumate.
- Numărare
- Sumarizare
- Medie
- Maxim
- Minim

Când ar trebui să agregați datele?

Reducerea numărului de rânduri dintr-un set de date, folosind o funcție de agregare pentru a produce rezumate.
- Numărare
- Sumarizare
- Medie
- Maxim
- Minim

Tabel cu comenzi de vânzări pe stat agregat într-un tabel nou cu numărul total de comenzi și suma totală a vânzărilor pe stat

Instrumente pentru agregarea datelor

Pictograme reprezentând trei instrumente: SQL, Spark și Dataflows

Agregarea datelor cu SQL

Funcții de agregare comune în SQL:
- SUM()
- COUNT()
- AVG()
- MIN()
- MAX()
De obicei utilizate împreună cu GROUP BY
Funcții statistice
- STDEV()
- VAR()

SELECT
  <unaggregated columns>,
  function(<aggregated column>)
FROM 
  <table>
GROUP BY 
  <unaggregated columns>;

Agregarea datelor cu SQL

SELECT 
  [State], 
  COUNT([Order_ID]) AS [Num Orders], 
  SUM([Order_Amount]) AS [Total Amount]
FROM 
  [tbl_Orders]
GROUP BY 
  [State]

Tabel cu comenzi de vânzări pe stat agregat într-un tabel nou cu numărul total de comenzi și suma totală a vânzărilor pe stat

Agregarea datelor cu Spark

Funcții de agregare comune în PySpark:
- sum()
- count()
- avg()
- min() și max()
- first() și last()
Funcții statistice
- stdev()
- variance()
Utilizate cu groupBy() și agg()

df.groupBy(<unaggregated columns>)
.agg(function(<aggregated column>))

Agregarea datelor cu Spark

Tabel cu comenzi de vânzări pe stat agregat într-un tabel nou cu numărul total de comenzi și suma totală a vânzărilor pe stat

from pyspark.sql.functions import sum

df.groupBy("state").agg(count("order_id"), sum("order_amount")).show()

Agregarea datelor cu Spark

Funcțiile de agregare trebuie importate din pyspark.sql.functions printr-o instrucțiune la începutul codului.

#----- Import one or multiple functions:
from pyspark.sql.functions import sum, avg, count, min, max

#----- Import all SQL functions:
from pyspark.sql.functions import * 

#----- Import all SQL functions with an alias:
import pyspark.sql.functions as F
# call sum: F.sum()

Agregarea datelor cu Dataflows

Transformarea Grupare după
- Sum
- Average
- Median
- Min
- Max
- Percentile
- Count rows

Captură de ecran a dialogului Grupare după din Dataflows

Agregarea datelor cu Dataflows

Captură de ecran a dialogului Grupare după dintr-un Dataflow, specificând că datele trebuie grupate după stat, cu două agregări: numărul de rânduri și suma coloanei cu valoarea comenzii

Tabel cu comenzi de vânzări pe stat agregat într-un tabel nou cu numărul total de comenzi și suma totală a vânzărilor pe stat

Să exersăm!

Transformă și analizează date cu Microsoft Fabric