データ集計

Microsoft Fabricでデータを変換して分析する

Luis Silva

Solution Architect - Data & AI

いつデータを集計すべきか

集計関数でデータの行数を圧縮し、要約を作成します。
- 件数
- 合計
- 平均
- 最大
- 最小

いつデータを集計すべきか

集計関数でデータの行数を圧縮し、要約を作成します。
- 件数
- 合計
- 平均
- 最大
- 最小

州ごとの販売注文を、注文数合計と売上額合計で集計した表

データ集計の実装に使うツール

3つのツール（SQL、Spark、Dataflows）のアイコン

SQLでデータを集計する

主なSQL集計関数:
- SUM()
- COUNT()
- AVG()
- MIN()
- MAX()
通常は GROUP BY と併用
統計関数
- STDEV()
- VAR()

SELECT
  <unaggregated columns>,
  function(<aggregated column>)
FROM 
  <table>
GROUP BY 
  <unaggregated columns>;

SQLでデータを集計する

SELECT 
  [State], 
  COUNT([Order_ID]) AS [Num Orders], 
  SUM([Order_Amount]) AS [Total Amount]
FROM 
  [tbl_Orders]
GROUP BY 
  [State]

州ごとの販売注文を、注文数合計と売上額合計で集計した表

Sparkでデータを集計する

主なPySpark集計関数:
- sum()
- count()
- avg()
- min() と max()
- first() と last()
統計関数
- stdev()
- variance()
groupBy() と agg() と併用

df.groupBy(<unaggregated columns>)
.agg(function(<aggregated column>))

Sparkでデータを集計する

州ごとの販売注文を、注文数合計と売上額合計で集計した表

from pyspark.sql.functions import sum

df.groupBy("state").agg(count("order_id"), sum("order_amount")).show()

Sparkでデータを集計する

集計関数はコードの先頭で pyspark.sql.functions からインポートする必要があります。

#----- 特定の関数をインポート:
from pyspark.sql.functions import sum, avg, count, min, max

#----- すべてのSQL関数をインポート:
from pyspark.sql.functions import * 

#----- すべてのSQL関数をエイリアス付きでインポート:
import pyspark.sql.functions as F
# sumの呼び出し: F.sum()

Dataflowsでデータを集計する

「Group by」変換
- Sum
- Average
- Median
- Min
- Max
- Percentile
- Count rows

Dataflows の Group by ダイアログのスクリーンショット

Dataflowsでデータを集計する

Dataflow の Group by ダイアログ。州でグループ化し、行数のカウントと注文額の合計を指定

州ごとの販売注文を、注文数合計と売上額合計で集計した表

¡Vamos a practicar!

Microsoft Fabricでデータを変換して分析する