Giới thiệu về Fabric Data Pipelines

Nạp dữ liệu và Mô hình Ngữ nghĩa với Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Data Pipelines trong Microsoft Fabric

Hai tính năng chính ở mức cao trong Data Factory:

  1. Data Pipelines - Điều phối di chuyển dữ liệu. Data Pipelines
  2. Dataflows - hỗ trợ hơn 300 biến đổi dữ liệu qua UI. Dataflows

Data Pipelines trong Microsoft Fabric:

  • Tự động hóa ETL với ít hoặc không cần code.
  • Hỗ trợ tích hợp liền mạch nhiều nguồn dữ liệu
  • Bộ activity phong phú cho ingestion và transform dữ liệu
  • Chạy thủ công hoặc lên lịch bằng triggers
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Nạp dữ liệu và Mô hình Ngữ nghĩa với Microsoft Fabric

Activity trong Data Pipelines

Activity là tác vụ trong Pipeline, điều phối xử lý dữ liệu và tự động hóa quy trình. Dây chuyền lắp ráp xe minh họa các activity trong data pipeline

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Nạp dữ liệu và Mô hình Ngữ nghĩa với Microsoft Fabric

Các loại Activity

  1. Move & Transform:
    • Xử lý truyền và biến đổi dữ liệu
    • (vd., Copy data Sao chép dữ liệu).
  2. Metadata & Validation:
    • Quản lý kiểm tra chất lượng và truy xuất metadata.
    • (vd., LookupTra cứu).
  3. Control Flow:
    • Điều khiển thứ tự tác vụ theo điều kiện và vòng lặp.
    • (vd., If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Nạp dữ liệu và Mô hình Ngữ nghĩa với Microsoft Fabric

Các loại Activity

  1. Orchestrate:

    • Đồng bộ nhiều quy trình
    • (vd., Invoke Pipeline Gọi Pipeline).

  2. Notifications:

    • Gửi cảnh báo và cập nhật qua email hoặc công cụ nhắn tin
    • (vd., 365 Outlook365 Outlook, TeamsTeams).

  3. Transform:

    • Thực thi biến đổi dữ liệu theo logic nghiệp vụ.
    • (vd., NotebookNotebook, Stored ProcedureStored Procedure).
Nạp dữ liệu và Mô hình Ngữ nghĩa với Microsoft Fabric

Parameters và Variables của Pipeline

Parameters và Variables giúp điều khiển và quản lý hành vi pipeline một cách động.

Parameters:

  • Thiết lập khi chạy: Điều chỉnh hành vi pipeline bằng đầu vào bên ngoài.
  • Phạm vi toàn cục: Ảnh hưởng toàn bộ lần chạy pipeline.

Variables:

  • Theo dõi động: Thay đổi giá trị trong khi pipeline chạy.
  • Phạm vi cục bộ: Quản lý dữ liệu trong activity cụ thể.
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Nạp dữ liệu và Mô hình Ngữ nghĩa với Microsoft Fabric

Pipeline runs

Một lần chạy pipeline sẽ thực thi các activity đến khi hoàn tất.

  • On-Demand: Khởi chạy trực tiếp từ Fabric UI. Chạy theo yêu cầu
  • Scheduled: Chạy theo tần suất định sẵn. Chạy theo lịch

Giám sát:

  • Theo dõi từng lần chạy bằng Run ID trong tab Monitor.

Xác thực:

  • Dùng Validate để kiểm tra cấu hình trước khi chạy.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Nạp dữ liệu và Mô hình Ngữ nghĩa với Microsoft Fabric

Ayo berlatih!

Nạp dữ liệu và Mô hình Ngữ nghĩa với Microsoft Fabric

Preparing Video For Download...