Khám phá và biến đổi dữ liệu

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Kịch bản biến đổi dữ liệu

Vì sao cần biến đổi dữ liệu?

Loại bỏ/làm sạch dữ liệu sai từ hệ nguồn

Ảnh bảng dữ liệu có một số mục sai tô đỏ

Kịch bản biến đổi dữ liệu

Vì sao cần biến đổi dữ liệu?

Loại bỏ/làm sạch dữ liệu sai từ hệ nguồn.
Chuyển đổi kiểu dữ liệu để nhất quán.

Hình minh họa một cột dữ liệu lưu số dạng văn bản được chuyển sang số thực

Kịch bản biến đổi dữ liệu

Vì sao cần biến đổi dữ liệu?

Loại bỏ/làm sạch dữ liệu sai từ hệ nguồn.
Chuyển đổi kiểu dữ liệu để nhất quán.
Lọc bỏ dữ liệu không liên quan.

Hình cho thấy bảng trước và sau khi lọc các hàng không đáp ứng tiêu chí, giữ lại bản ghi nơi một trường khác 'X'

Kịch bản biến đổi dữ liệu

Vì sao cần biến đổi dữ liệu?

Loại bỏ/làm sạch dữ liệu sai từ hệ nguồn.
Chuyển đổi kiểu dữ liệu để nhất quán.
Lọc bỏ dữ liệu không liên quan.
Kết hợp dữ liệu từ nhiều hệ nguồn.

Sơ đồ minh họa hai bảng được gộp thành một -

Kịch bản biến đổi dữ liệu

Vì sao cần biến đổi dữ liệu?

Loại bỏ/làm sạch dữ liệu sai từ hệ nguồn.
Chuyển đổi kiểu dữ liệu để nhất quán.
Lọc bỏ dữ liệu không liên quan.
Kết hợp dữ liệu từ nhiều hệ nguồn.
Đưa dữ liệu về định dạng phù hợp hơn cho phân tích/báo cáo.

Sơ đồ minh họa một bảng lớn được biến đổi thành mô hình sao (star schema)

Làm sạch dữ liệu

Giảm hàng không liên quan (xóa hàng đầu/cuối)
Xóa trùng lặp
Xóa hàng trống
Xóa hàng lỗi
Chuyển đổi kiểu dữ liệu

Ảnh bảng dữ liệu nguồn có mục sai tô đỏ và mũi tên cho thấy các bản ghi sai bị loại khỏi bảng đích

Lọc dữ liệu

Thu hẹp tập dữ liệu
- Chọn một phần dữ liệu
- Loại bản ghi không đáp ứng tiêu chí
Ví dụ: mệnh đề SQL WHERE

Ảnh chụp truy vấn chọn dữ liệu từ bảng Orders nơi cột State bằng NY

Sơ đồ cho thấy bảng lọc bỏ các hàng không thuộc bang NY

Gộp và Join dữ liệu

Join từ hai tập dữ liệu trở lên
Hữu ích khi xây dựng mô hình sao

Sơ đồ minh họa hợp nhất hai bảng

Tổng hợp và phân rã dữ liệu

Tổng hợp: tổng hợp và tóm tắt dữ liệu

Bảng đơn hàng theo bang được tổng hợp thành bảng mới với số đơn và doanh thu mỗi bang

Phân rã: tách dữ liệu, thường tách một cột thành nhiều cột

Bảng địa điểm chi nhánh có cột thành phố, bang được tách thành bảng mới với cột riêng cho thành phố và bang

Công cụ khám phá và biến đổi dữ liệu

Dataflows
Data Wrangler

Hai ảnh chụp màn hình song song, hiển thị giao diện đồ họa của dataflows và data wrangler

Sổ tay Spark
Tập lệnh SQL

Hai ảnh chụp màn hình song song, hiển thị một sổ tay Spark mẫu và một tập lệnh SQL

Dataflows

Giao diện đồ họa low-code
Làm sạch
Lọc
Tổng hợp

Ảnh chụp Dataflow designer với vài truy vấn mẫu và các thao tác biến đổi có sẵn

Data Wrangler

Công cụ dựa trên notebook cho phân tích thăm dò
Lưới hiển thị dữ liệu
Thống kê tóm tắt động
Trực quan hóa tích hợp
Thư viện thao tác làm sạch phổ biến

Ảnh chụp giao diện Data Wrangler hiển thị một số thao tác mẫu

Sổ tay Spark

Đa dạng ngôn ngữ
Thư viện Python cho thao tác dữ liệu
- PySpark cho tập dữ liệu lớn
- Pandas cho tập dữ liệu nhỏ

Ảnh chụp một sổ tay Spark với mã PySpark mẫu

Tập lệnh SQL

Câu lệnh T-SQL thao tác dữ liệu: SELECT, INSERT, UPDATE, DELETE
JOIN để gộp dữ liệu
CAST và CONVERT để đổi kiểu dữ liệu

Ảnh chụp trình soạn thảo SQL với truy vấn SELECT mẫu

Ayo berlatih!

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric