資料彙總

使用 Microsoft Fabric 進行資料轉換與分析

Luis Silva

Solution Architect - Data & AI

何時該做資料彙總？

使用彙總函式產生摘要，縮減資料集的列數。
- 計數
- 彙總
- 平均
- 最大值
- 最小值

何時該做資料彙總？

使用彙總函式產生摘要，縮減資料集的列數。
- 計數
- 彙總
- 平均
- 最大值
- 最小值

將各州的銷售訂單彙總為新表，含每州的訂單總數與銷售總額

實作資料彙總的工具

代表三種工具的圖示：SQL、Spark 與 Dataflows

用 SQL 做資料彙總

常見 SQL 彙總函式：
- SUM()
- COUNT()
- AVG()
- MIN()
- MAX()
通常搭配 GROUP BY 使用
統計函式
- STDEV()
- VAR()

SELECT
  <unaggregated columns>,
  function(<aggregated column>)
FROM 
  <table>
GROUP BY 
  <unaggregated columns>;

用 SQL 做資料彙總

SELECT 
  [State], 
  COUNT([Order_ID]) AS [Num Orders], 
  SUM([Order_Amount]) AS [Total Amount]
FROM 
  [tbl_Orders]
GROUP BY 
  [State]

將各州的銷售訂單彙總為新表，含每州的訂單總數與銷售總額

用 Spark 做資料彙總

常見 PySpark 彙總函式：
- sum()
- count()
- avg()
- min() 與 max()
- first() 與 last()
統計函式
- stdev()
- variance()
搭配 groupBy() 與 agg() 使用

df.groupBy(<unaggregated columns>)
.agg(function(<aggregated column>))

用 Spark 做資料彙總

將各州的銷售訂單彙總為新表，含每州的訂單總數與銷售總額

from pyspark.sql.functions import sum

df.groupBy("state").agg(count("order_id"), sum("order_amount")).show()

用 Spark 做資料彙總

你必須在程式一開始，從 pyspark.sql.functions 匯入彙總函式。

#----- 匯入一或多個函式：
from pyspark.sql.functions import sum, avg, count, min, max

#----- 匯入所有 SQL 函式：
from pyspark.sql.functions import * 

#----- 以別名匯入所有 SQL 函式：
import pyspark.sql.functions as F
# 呼叫 sum：F.sum()

用 Dataflows 做資料彙總

「Group by」轉換
- Sum
- Average
- Median
- Min
- Max
- Percentile
- Count rows

Dataflows 中 Group by 對話框的螢幕截圖

用 Dataflows 做資料彙總

Dataflow 中 Group by 對話框的螢幕截圖，指定依州分組，並做兩個彙總：列數計數與訂單金額欄位加總

將各州的銷售訂單彙總為新表，含每州的訂單總數與銷售總額

一起來練習吧！

使用 Microsoft Fabric 進行資料轉換與分析