Агрегація даних

Перетворення та аналіз даних у Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Коли варто агрегувати дані?

Скоротіть кількість рядків у наборі даних, використовуючи агрегувальну функцію для підсумків.
- Підрахунок
- Підсумок
- Середнє
- Максимум
- Мінімум

Коли варто агрегувати дані?

Скоротіть кількість рядків у наборі даних, використовуючи агрегувальну функцію для підсумків.
- Підрахунок
- Підсумок
- Середнє
- Максимум
- Мінімум

Таблиця з замовленнями за штатами, агрегована в нову таблицю з кількістю замовлень і загальною сумою продажів на штат

Інструменти для виконання агрегації даних

Піктограми трьох інструментів: SQL, Spark і Dataflows

Агрегація даних у SQL

Поширені агрегувальні функції SQL:
- SUM()
- COUNT()
- AVG()
- MIN()
- MAX()
Зазвичай разом із GROUP BY
Статистичні функції
- STDEV()
- VAR()

SELECT
  <unaggregated columns>,
  function(<aggregated column>)
FROM 
  <table>
GROUP BY 
  <unaggregated columns>;

Агрегація даних у SQL

SELECT 
  [State], 
  COUNT([Order_ID]) AS [Num Orders], 
  SUM([Order_Amount]) AS [Total Amount]
FROM 
  [tbl_Orders]
GROUP BY 
  [State]

Агрегація даних у Spark

Поширені агрегувальні функції PySpark:
- sum()
- count()
- avg()
- min() і max()
- first() і last()
Статистичні функції
- stdev()
- variance()
Використовуються з groupBy() і agg()

df.groupBy(<unaggregated columns>)
.agg(function(<aggregated column>))

Агрегація даних у Spark

from pyspark.sql.functions import sum

df.groupBy("state").agg(count("order_id"), sum("order_amount")).show()

Агрегація даних у Spark

Агрегувальні функції потрібно імпортувати з pyspark.sql.functions, додавши інструкцію на початку коду.

#----- Імпортувати одну або кілька функцій:
from pyspark.sql.functions import sum, avg, count, min, max

#----- Імпортувати всі SQL-функції:
from pyspark.sql.functions import * 

#----- Імпортувати всі SQL-функції з псевдонімом:
import pyspark.sql.functions as F
# виклик sum: F.sum()

Агрегація даних у Dataflows

Перетворення Group by
- Sum
- Average
- Median
- Min
- Max
- Percentile
- Count rows

Знімок екрана діалогу Group by у Dataflows

Агрегація даних у Dataflows

Знімок екрана діалогу Group by у Dataflow з групуванням за штатом і двома агрегаціями: підрахунок рядків і сума колонки суми замовлення

Давайте потренуємось!

Перетворення та аналіз даних у Microsoft Fabric