Tổng hợp dữ liệu

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Khi nào nên tổng hợp dữ liệu?

Rút gọn số hàng trong tập dữ liệu bằng hàm tổng hợp để tạo tóm tắt.
- Đếm
- Cộng dồn
- Trung bình
- Lớn nhất
- Nhỏ nhất

Khi nào nên tổng hợp dữ liệu?

Rút gọn số hàng trong tập dữ liệu bằng hàm tổng hợp để tạo tóm tắt.
- Đếm
- Cộng dồn
- Trung bình
- Lớn nhất
- Nhỏ nhất

Bảng đơn hàng theo tiểu bang được gộp thành bảng mới với tổng số đơn và tổng doanh thu theo từng tiểu bang

Công cụ để thực hiện tổng hợp dữ liệu

Biểu tượng của ba công cụ: SQL, Spark và Dataflows

Tổng hợp dữ liệu với SQL

Hàm tổng hợp SQL phổ biến:
- SUM()
- COUNT()
- AVG()
- MIN()
- MAX()
Thường dùng cùng GROUP BY
Hàm thống kê
- STDEV()
- VAR()

SELECT
  <unaggregated columns>,
  function(<aggregated column>)
FROM 
  <table>
GROUP BY 
  <unaggregated columns>;

Tổng hợp dữ liệu với SQL

SELECT 
  [State], 
  COUNT([Order_ID]) AS [Num Orders], 
  SUM([Order_Amount]) AS [Total Amount]
FROM 
  [tbl_Orders]
GROUP BY 
  [State]

Bảng đơn hàng theo tiểu bang được gộp thành bảng mới với tổng số đơn và tổng doanh thu theo từng tiểu bang

Tổng hợp dữ liệu với Spark

Hàm tổng hợp PySpark phổ biến:
- sum()
- count()
- avg()
- min() và max()
- first() và last()
Hàm thống kê
- stdev()
- variance()
Dùng với groupBy() và agg()

df.groupBy(<unaggregated columns>)
.agg(function(<aggregated column>))

Tổng hợp dữ liệu với Spark

Bảng đơn hàng theo tiểu bang được gộp thành bảng mới với tổng số đơn và tổng doanh thu theo từng tiểu bang

from pyspark.sql.functions import sum

df.groupBy("state").agg(count("order_id"), sum("order_amount")).show()

Tổng hợp dữ liệu với Spark

Cần import các hàm tổng hợp từ pyspark.sql.functions bằng câu lệnh ở đầu mã.

#----- Import một hoặc nhiều hàm:
from pyspark.sql.functions import sum, avg, count, min, max

#----- Import tất cả hàm SQL:
from pyspark.sql.functions import * 

#----- Import tất cả hàm SQL với bí danh:
import pyspark.sql.functions as F
# gọi sum: F.sum()

Tổng hợp dữ liệu với Dataflows

Biến đổi Group by
- Sum
- Average
- Median
- Min
- Max
- Percentile
- Count rows

Ảnh chụp hộp thoại Group by trong Dataflows

Tổng hợp dữ liệu với Dataflows

Ảnh chụp hộp thoại Group by trong Dataflow, nhóm theo tiểu bang và hai phép tổng hợp: đếm số hàng và tổng cột số tiền đơn hàng

Bảng đơn hàng theo tiểu bang được gộp thành bảng mới với tổng số đơn và tổng doanh thu theo từng tiểu bang

Vamos praticar!

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric