Kỹ thuật dữ liệu trong Microsoft Fabric

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Phân tích dữ liệu End-to-End

Sơ đồ các thành phần của giải pháp phân tích dữ liệu end-to-end, gồm nguồn dữ liệu, ingestion, chuẩn bị và chuyển đổi, lưu trữ, truy vấn và trực quan hóa phân tích

Nạp dữ liệu từ nguồn và lưu vào data lake
Chuẩn bị và chuyển đổi dữ liệu
Trực quan hóa và phân tích dữ liệu

Data Factory

Sơ đồ các thành phần của giải pháp phân tích dữ liệu end-to-end, làm nổi bật Data Pipelines trong phần Ingest và Dataflows trong phần Prepare and Transform

Nạp, chuẩn bị và chuyển đổi dữ liệu
Dataflows và Data Pipelines

Dataflow

Giao diện low-code để nạp và chuyển đổi dữ liệu
Động cơ chuyển đổi Power Query

Ảnh chụp trình thiết kế Dataflow hiển thị dataflow nhập liệu mẫu

Data Pipelines

Tập hợp hoạt động thực hiện một tác vụ
Loại hoạt động:
- Di chuyển dữ liệu (Copy activity, Dataflow)
- Chuyển đổi dữ liệu (Notebook, Stored Procedure, Script)
- Điều khiển (Switch, If, ForEach, Wait)

Ảnh chụp trình thiết kế Data Pipeline hiển thị pipeline nhập liệu mẫu với Copy activity và Dataflow

Synapse Data Engineering

Sơ đồ các thành phần của giải pháp phân tích dữ liệu end-to-end, làm nổi bật Lakehouse trong phần Store, và Notebooks cùng Spark job trong phần Prepare and Transform

Lakehouse
Notebook
Định nghĩa Apache Spark Job

Lakehouse

Dữ liệu có cấu trúc (bảng)
Dữ liệu phi cấu trúc (tệp)

Ảnh chụp Lakehouse Explorer trong cổng Fabric, hiển thị một Lakehouse chứa Tables và Files

Notebook

Giao diện web tương tác
- Mã thao tác dữ liệu
- Trực quan hóa dữ liệu
- Ghi chú / Giải thích
Hỗ trợ đa ngôn ngữ:
- PySpark (Python)
- Spark (Scala)
- Spark SQL (SQL)
- SparkR (R)

Ảnh chụp trình soạn thảo Notebook, hiển thị notebook mẫu với mô tả văn bản, mã Python và biểu đồ histogram

Định nghĩa Apache Spark Job

Gửi job batch/streaming đến cụm Spark
Thay thế hoặc bổ trợ cho Notebook:
- Notebook cho khám phá dữ liệu, tạo mẫu và cộng tác
- Spark Job Definition để tự động hóa mã xử lý dữ liệu sẵn sàng sản xuất

Ảnh chụp một định nghĩa Spark Job hiển thị tham số cấu hình

Synapse Data Warehouse

Sơ đồ các thành phần của giải pháp phân tích dữ liệu end-to-end, làm nổi bật Warehouse trong phần Store

Hoạt động như kho dữ liệu quan hệ truyền thống
Lưu dữ liệu trong OneLake với định dạng mở Delta Lake
Cho phép tương tác với các workload khác của Fabric
Không cần tạo nhiều bản sao dữ liệu

Chọn kho dữ liệu lưu trữ

Lakehouse
- Dữ liệu phi cấu trúc (tệp)
- Spark là giao diện phát triển chính

Warehouse
- Dữ liệu có cấu trúc (bảng)
- T-SQL là giao diện phát triển chính

Chọn công cụ sao chép dữ liệu

Bảng tóm tắt các yếu tố khi chọn giữa Pipeline Copy Activity, Dataflow và Spark. Yếu tố gồm Lượng mã cần thiết, kỹ năng nhà phát triển, nguồn dữ liệu và độ phức tạp chuyển đổi

Chọn công cụ sao chép dữ liệu

Ayo berlatih!

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric