Fabric 資料管線導論

Microsoft Fabric 的資料擷取與語意模型

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Microsoft Fabric 的資料管線

Data Factory 的兩大高階功能：

  1. Data Pipelines － 協調資料移動。 資料管線
  2. Dataflows － 提供以 UI 操作的 300+ 資料轉換。 資料流程

Microsoft Fabric 中的 Data Pipelines：

  • 以少量或零程式碼自動化 ETL。
  • 無縫整合各式資料來源
  • 提供豐富的擷取與轉換活動
  • 可手動執行或用觸發器排程
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Microsoft Fabric 的資料擷取與語意模型

資料管線中的活動

活動是管線內的工作，用來協調資料處理與流程自動化。 以汽車組裝線比喻資料管線中的活動

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Microsoft Fabric 的資料擷取與語意模型

活動類型

  1. Move & Transform：
    • 處理資料傳輸與轉換任務
    • （如 Copy data Copy data）。
  2. Metadata & Validation：
    • 管理資料品質檢查與後設資料擷取。
    • （如 LookupLookup）。
  3. Control Flow：
    • 依條件與迴圈控制作業順序。
    • （如 If condition If condition、ForEach If condition）。
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Microsoft Fabric 的資料擷取與語意模型

活動類型

  1. Orchestrate：

    • 同步多個流程
    • （如 Invoke Pipeline Invoke Pipeline）。

  2. Notifications：

    • 透過電子郵件或訊息工具發送警示與更新
    • （如 365 Outlook365 Outlook、TeamsTeams）。

  3. Transform：

    • 依商業邏輯執行資料處理
    • （如 NotebookNotebook、Stored ProcedureStored Procedure）。
Microsoft Fabric 的資料擷取與語意模型

管線參數與變數

參數與變數用於動態控制與管理管線行為。

Parameters：

  • 執行時設定： 以外部輸入調整管線行為。
  • 全域範圍： 影響整個管線的執行。

Variables：

  • 動態追蹤： 在管線執行期間可變更數值。
  • 區域範圍： 管理特定活動內的資料。
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Microsoft Fabric 的資料擷取與語意模型

管線執行

一次管線執行會把管線中的活動跑完。

  • 隨選執行：從 Fabric UI 直接啟動。隨選執行
  • 排程執行：依指定頻率啟動。排程執行

監控：

  • 在 Monitor 分頁以唯一的 Run ID 追蹤與檢視每次執行。

驗證：

  • 執行前使用 Validate 選項，確保管線設定正確。
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Microsoft Fabric 的資料擷取與語意模型

一起來練習吧！

Microsoft Fabric 的資料擷取與語意模型

Preparing Video For Download...