데이터 집계

Microsoft Fabric로 데이터 변환 및 분석

Luis Silva

Solution Architect - Data & AI

언제 데이터를 집계해야 하나요?

집계 함수로 요약을 만들어 데이터셋의 행 수를 줄입니다.
- 개수
- 합계
- 평균
- 최댓값
- 최솟값

언제 데이터를 집계해야 하나요?

집계 함수로 요약을 만들어 데이터셋의 행 수를 줄입니다.
- 개수
- 합계
- 평균
- 최댓값
- 최솟값

주별 판매 주문을 합쳐, 주별 주문 수와 총 판매액을 보여주는 새 테이블

데이터 집계를 위한 도구

세 가지 도구 아이콘: SQL, Spark, Dataflows

SQL로 데이터 집계

자주 쓰이는 SQL 집계 함수:
- SUM()
- COUNT()
- AVG()
- MIN()
- MAX()
보통 GROUP BY와 함께 사용
통계 함수
- STDEV()
- VAR()

SELECT
  <unaggregated columns>,
  function(<aggregated column>)
FROM 
  <table>
GROUP BY 
  <unaggregated columns>;

SQL로 데이터 집계

SELECT 
  [State], 
  COUNT([Order_ID]) AS [Num Orders], 
  SUM([Order_Amount]) AS [Total Amount]
FROM 
  [tbl_Orders]
GROUP BY 
  [State]

주별 판매 주문을 합쳐, 주별 주문 수와 총 판매액을 보여주는 새 테이블

Spark로 데이터 집계

자주 쓰는 PySpark 집계 함수:
- sum()
- count()
- avg()
- min() 및 max()
- first() 및 last()
통계 함수
- stdev()
- variance()
groupBy() 및 agg()와 함께 사용

df.groupBy(<unaggregated columns>)
.agg(function(<aggregated column>))

Spark로 데이터 집계

주별 판매 주문을 합쳐, 주별 주문 수와 총 판매액을 보여주는 새 테이블

from pyspark.sql.functions import sum

df.groupBy("state").agg(count("order_id"), sum("order_amount")).show()

Spark로 데이터 집계

집계 함수는 코드 첫부분에 pyspark.sql.functions에서 임포트해야 합니다.

#----- 하나 또는 여러 함수 임포트:
from pyspark.sql.functions import sum, avg, count, min, max

#----- 모든 SQL 함수 임포트:
from pyspark.sql.functions import * 

#----- 모든 SQL 함수를 별칭으로 임포트:
import pyspark.sql.functions as F
# sum 호출: F.sum()

Dataflows로 데이터 집계

그룹화(Group by) 변환
- Sum
- Average
- Median
- Min
- Max
- Percentile
- Count rows

Dataflows의 그룹화 대화상자 스크린샷

Dataflows로 데이터 집계

Dataflow의 그룹화 대화상자 스크린샷: 주(state)로 그룹화하고 두 집계(행 수, 주문 금액 합계)를 지정

주별 판매 주문을 합쳐, 주별 주문 수와 총 판매액을 보여주는 새 테이블

Ayo berlatih!

Microsoft Fabric로 데이터 변환 및 분석