Microsoft Fabric 的資料工程

使用 Microsoft Fabric 進行資料轉換與分析

Luis Silva

Solution Architect - Data & AI

端到端資料分析

說明端到端資料分析解決方案元件的示意圖，包含資料來源、擷取、準備與轉換、儲存、查詢，以及視覺化與分析

  • 從來源擷取資料並儲存到資料湖
  • 準備並轉換資料
  • 視覺化並分析資料
使用 Microsoft Fabric 進行資料轉換與分析

Data Factory

說明端到端資料分析解決方案元件的示意圖，強調在擷取元件中的 Data Pipelines 與在準備與轉換元件中的 Dataflows

  • 擷取、準備與轉換資料
  • Dataflows 與 Data Pipelines
使用 Microsoft Fabric 進行資料轉換與分析

Dataflows

  • 低程式碼的資料擷取與轉換介面
  • Power Query 轉換引擎

Dataflow 設計工具的螢幕截圖，顯示一個範例擷取 dataflow

使用 Microsoft Fabric 進行資料轉換與分析

Data Pipelines

  • 執行任務的一組活動
  • 活動類型：
    • 資料移動（Copy activity、Dataflow）
    • 資料轉換（Notebook、Stored Procedure、Script）
    • 控制（Switch、If、ForEach、Wait）

Data Pipeline 設計工具的螢幕截圖，顯示含 Copy 活動與 Dataflow 活動的範例擷取管線

使用 Microsoft Fabric 進行資料轉換與分析

Synapse 資料工程

說明端到端資料分析解決方案元件的示意圖，強調在儲存元件中的 Lakehouse 項目，以及在準備與轉換元件中的 Notebooks 與 Spark job

  • Lakehouse
  • Notebook
  • Apache Spark 作業定義
使用 Microsoft Fabric 進行資料轉換與分析

Lakehouse

  • 結構化資料（表格）
  • 非結構化資料（檔案）

Fabric 入口網站中的 Lakehouse Explorer 螢幕截圖，顯示含 Tables 與 Files 的 Lakehouse

使用 Microsoft Fabric 進行資料轉換與分析

Notebooks

  • 互動式網頁介面
    • 資料處理程式碼
    • 資料視覺化
    • 註解／說明
  • 多語言支援：
    • PySpark（Python）
    • Spark（Scala）
    • Spark SQL（SQL）
    • SparkR（R）

Notebook 編輯器螢幕截圖，顯示包含文字說明、Python 程式碼與長條圖的範例 notebook

使用 Microsoft Fabric 進行資料轉換與分析

Apache Spark 作業定義

  • 將批次／串流作業送至 Spark 叢集
  • 可作為 Notebook 的替代或補充：
    • Notebook 用於資料探索、雛型設計與協作開發
    • Spark 作業定義用於將可上線的資料處理程式碼自動化

Spark 作業定義的螢幕截圖，顯示設定參數

使用 Microsoft Fabric 進行資料轉換與分析

Synapse 資料倉儲

說明端到端資料分析解決方案元件的示意圖，強調在儲存元件中的 Warehouse 項目

  • 行為如傳統關聯式資料倉儲
  • 以開放的 Delta Lake 格式將資料存於 OneLake
  • 促進與其他 Fabric 作業互通
  • 不需建立多份資料副本
使用 Microsoft Fabric 進行資料轉換與分析

選擇資料存放區

  • Lakehouse
    • 非結構化資料（檔案）
    • 以 Spark 為主要開發介面

 

  • Warehouse
    • 結構化資料（表格）
    • 以 T-SQL 為主要開發介面
使用 Microsoft Fabric 進行資料轉換與分析

選擇資料複製工具

表格摘要：在 Pipeline Copy Activity、Dataflow 與 Spark 之間選擇時需考量的面向；包含所需程式碼量、開發者技能、資料來源與轉換複雜度

使用 Microsoft Fabric 進行資料轉換與分析

選擇資料複製工具

表格摘要：在 Pipeline Copy Activity、Dataflow 與 Spark 之間選擇時需考量的面向；包含所需程式碼量、開發者技能、資料來源與轉換複雜度

使用 Microsoft Fabric 進行資料轉換與分析

選擇資料複製工具

表格摘要：在 Pipeline Copy Activity、Dataflow 與 Spark 之間選擇時需考量的面向；包含所需程式碼量、開發者技能、資料來源與轉換複雜度

使用 Microsoft Fabric 進行資料轉換與分析

一起來練習吧！

使用 Microsoft Fabric 進行資料轉換與分析

Preparing Video For Download...