Làm sạch và lọc dữ liệu

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Công cụ làm sạch dữ liệu

Biểu tượng đại diện cho ba công cụ: SQL, Spark và Dataflows

Xử lý hàng trống

Xóa hàng khi cả hàng đều trống

Sơ đồ cho thấy bảng có nhiều hàng trống được chuyển thành bảng đã xóa các hàng trống

Xử lý hàng trống với Dataflows

Biến đổi Remove blank rows

Ảnh chụp màn hình menu Remove rows trong Dataflow, làm nổi bật tùy chọn xóa hàng trống, kèm ví dụ bảng trước và sau khi xóa

Xử lý hàng trống với Spark

Hàm DataFrame dropna( )
Có thể bỏ hàng có bất kỳ giá trị null, hoặc chỉ khi tất cả đều null

Ví dụ bảng trước và sau khi xóa hàng bằng hai biến thể của hàm dropna

Xử lý hàng trùng lặp

Xóa hàng trùng lặp

Sơ đồ cho thấy bảng có hàng trùng được chuyển thành bảng đã xóa một bản ghi trùng

Xử lý hàng trùng lặp với Dataflows

Biến đổi Remove duplicates

Ảnh chụp màn hình menu Remove rows trong Dataflow, làm nổi bật tùy chọn xóa bản ghi trùng lặp, kèm ví dụ bảng trước và sau khi xóa

Xử lý hàng trùng lặp với Spark

Hàm DataFrame dropDuplicates( )

Sơ đồ cho thấy bảng có hàng trùng được chuyển thành bảng đã xóa một bản ghi trùng sau khi gọi hàm dropDuplicates của dataframe

Thay thế giá trị

Thay thế giá trị nhất định trong một cột bằng giá trị khác.
Cũng có thể thay thế ô trống bằng một giá trị.

Sơ đồ cho thấy giá trị ABC ở một vài bản ghi được thay bằng XYA.

Thay thế giá trị với Dataflows

Biến đổi Replace values

Ảnh chụp màn hình tùy chọn biến đổi Replace values trong Dataflow, với ví dụ bảng trước và sau khi đổi giá trị trống thành chuỗi '(Unknown)'

Thay thế giá trị với Spark

Hàm DataFrame replace( )

Sơ đồ cho thấy giá trị N/A ở một số bản ghi được thay bằng chuỗi 'Unknown' sau khi gọi hàm PySpark replace

Chỉnh đúng kiểu dữ liệu

Nhất quán kiểu dữ liệu trong toàn mô hình
Hỗ trợ so sánh giá trị

Hình minh họa một cột lưu số dưới dạng văn bản được chuyển thành số thực

Chỉnh đúng kiểu dữ liệu

Nhất quán kiểu dữ liệu trong toàn mô hình.
Hỗ trợ so sánh giá trị.
Hỗ trợ thao tác theo kiểu dữ liệu.
- Phép toán số học trên cột số.
- Phép xử lý ngày/giờ trên cột ngày/giờ.

Ví dụ một số biến đổi có sẵn cho cột văn bản như chữ thường, chữ hoa, cắt khoảng trắng; và cho cột số như tổng và giá trị lớn nhất

Chỉnh kiểu dữ liệu với Dataflows

Menu ngữ cảnh (cách 1):
1. Chọn một cột trong chế độ xem dữ liệu.
2. Nhấp vào biểu tượng bên trái tiêu đề cột.

Ảnh chụp màn hình làm nổi bật biểu tượng bên trái tiêu đề cột để mở menu ngữ cảnh Change type

Chỉnh kiểu dữ liệu với Dataflows

Menu ngữ cảnh (cách 1):
1. Chọn một cột trong chế độ xem dữ liệu.
2. Nhấp vào biểu tượng bên trái tiêu đề cột.
3. Chọn kiểu dữ liệu mới từ danh sách.

Ảnh chụp màn hình menu Change type khi nhấp vào kiểu dữ liệu ở tiêu đề cột trong chế độ xem dữ liệu

Chỉnh kiểu dữ liệu với Dataflows

Menu ngữ cảnh (cách 2):
1. Chọn một cột trong chế độ xem dữ liệu.
2. Nhấp phải vào tiêu đề cột.

Ảnh chụp màn hình làm nổi bật tiêu đề cột mà ta muốn đổi kiểu dữ liệu

Chỉnh kiểu dữ liệu với Dataflows

Thêm một Transform:
1. Chọn một cột trong chế độ xem dữ liệu.
2. Thêm biến đổi bằng cách nhấp (+) trong sơ đồ.
3. Chọn Change type trong menu bật lên và chọn kiểu dữ liệu mới.

Ảnh chụp màn hình một truy vấn đang thêm biến đổi Change Type

Chỉnh kiểu dữ liệu với Spark

Hàm DataFrame cast( )

df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))

Ví dụ:

# Convert the [orderID] column to integer
df = df.withColumn("orderID", df["orderID"].cast("integer"))

Lọc dữ liệu

Bao gồm hoặc loại trừ hàng theo điều kiện.

SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

Sơ đồ cho thấy một bảng lọc ra các hàng không thuộc bang NY

Lọc dữ liệu với Dataflows

Dùng biến đổi Filter

Ảnh chụp màn hình transform lọc áp dụng cho một cột

Lọc dữ liệu với Spark

Hàm DataFrame filter( )
where( ) là bí danh của filter( )

df.filter( <condition> )

Ví dụ:

# Trả về các hàng DataFrame có State = 'NY'
df.filter( df.state == 'NY' )

Ayo berlatih!

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric