Agregacja danych

Przekształcanie i analizowanie danych w Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Kiedy należy agregować dane?

Zmniejsz liczbę wierszy w zbiorze danych, używając funkcji agregującej do tworzenia podsumowań.
- Liczenie
- Podsumowanie
- Średnia
- Maksimum
- Minimum

Kiedy należy agregować dane?

Zmniejsz liczbę wierszy w zbiorze danych, używając funkcji agregującej do tworzenia podsumowań.
- Liczenie
- Podsumowanie
- Średnia
- Maksimum
- Minimum

Tabela zamówień sprzedaży według stanu zagregowana w nową tabelę z łączną liczbą zamówień i łączną kwotą sprzedaży na stan

Narzędzia do agregacji danych

Ikony trzech narzędzi: SQL, Spark i Dataflows

Agregacja danych w SQL

Typowe funkcje agregujące w SQL:
- SUM()
- COUNT()
- AVG()
- MIN()
- MAX()
Zazwyczaj używane z GROUP BY
Funkcje statystyczne
- STDEV()
- VAR()

SELECT
  <unaggregated columns>,
  function(<aggregated column>)
FROM 
  <table>
GROUP BY 
  <unaggregated columns>;

Agregacja danych w SQL

SELECT 
  [State], 
  COUNT([Order_ID]) AS [Num Orders], 
  SUM([Order_Amount]) AS [Total Amount]
FROM 
  [tbl_Orders]
GROUP BY 
  [State]

Tabela zamówień sprzedaży według stanu zagregowana w nową tabelę z łączną liczbą zamówień i łączną kwotą sprzedaży na stan

Agregacja danych w Spark

Typowe funkcje agregujące w PySpark:
- sum()
- count()
- avg()
- min() i max()
- first() i last()
Funkcje statystyczne
- stdev()
- variance()
Używane z groupBy() i agg()

df.groupBy(<unaggregated columns>)
.agg(function(<aggregated column>))

Agregacja danych w Spark

Tabela zamówień sprzedaży według stanu zagregowana w nową tabelę z łączną liczbą zamówień i łączną kwotą sprzedaży na stan

from pyspark.sql.functions import sum

df.groupBy("state").agg(count("order_id"), sum("order_amount")).show()

Agregacja danych w Spark

Funkcje agregujące należy importować z pyspark.sql.functions, dodając odpowiednią instrukcję na początku kodu.

#----- Import one or multiple functions:
from pyspark.sql.functions import sum, avg, count, min, max

#----- Import all SQL functions:
from pyspark.sql.functions import * 

#----- Import all SQL functions with an alias:
import pyspark.sql.functions as F
# call sum: F.sum()

Agregacja danych w Dataflows

Transformacja Grupuj według
- Sum
- Average
- Median
- Min
- Max
- Percentile
- Count rows

Zrzut ekranu okna dialogowego Grupuj według w Dataflows

Agregacja danych w Dataflows

Zrzut ekranu okna dialogowego Grupuj według w Dataflow, określającego grupowanie danych według stanu oraz dwie agregacje: liczbę wierszy i sumę kolumny z kwotą zamówienia

Tabela zamówień sprzedaży według stanu zagregowana w nową tabelę z łączną liczbą zamówień i łączną kwotą sprzedaży na stan

Czas na ćwiczenia!

Przekształcanie i analizowanie danych w Microsoft Fabric