資料探索與轉換

使用 Microsoft Fabric 進行資料轉換與分析

Luis Silva

Solution Architect - Data & AI

資料轉換情境

為什麼需要轉換資料？

  • 從來源系統移除或清理錯誤資料

資料表格，部分無效項以紅色標示

使用 Microsoft Fabric 進行資料轉換與分析

資料轉換情境

為什麼需要轉換資料？

  • 從來源系統移除或清理錯誤資料。
  • 轉換資料型別以確保一致性。

將以文字儲存的數字欄轉為實際數字的示意圖

使用 Microsoft Fabric 進行資料轉換與分析

資料轉換情境

為什麼需要轉換資料？

  • 從來源系統移除或清理錯誤資料。
  • 轉換資料型別以確保一致性。
  • 篩除不相關資料。

表格在篩選前後的對照圖，僅保留某欄位不等於 'X' 的紀錄

使用 Microsoft Fabric 進行資料轉換與分析

資料轉換情境

為什麼需要轉換資料？

  • 從來源系統移除或清理錯誤資料。
  • 轉換資料型別以確保一致性。
  • 篩除不相關資料。
  • 合併多個來源系統的資料。

將兩個表格合併為一個的示意圖-

使用 Microsoft Fabric 進行資料轉換與分析

資料轉換情境

為什麼需要轉換資料？

  • 從來源系統移除或清理錯誤資料。
  • 轉換資料型別以確保一致性。
  • 篩除不相關資料。
  • 合併多個來源系統的資料。
  • 轉為更適合分析與報表的格式。

將大型表格轉換為星型架構的示意圖

使用 Microsoft Fabric 進行資料轉換與分析

資料清理

  • 減少不相關列（移除前幾列、移除後幾列）
  • 移除重複值
  • 移除空白列
  • 移除錯誤列
  • 轉換資料型別

來源資料表中無效項以紅色標示，箭頭指出如何在目標表中移除這些無效紀錄

使用 Microsoft Fabric 進行資料轉換與分析

資料篩選

  • 縮小資料集範圍

    • 僅選擇部分資料
    • 捨棄不符合條件的紀錄

  • 例：SQL WHERE 子句

查詢畫面：從 Orders 表選取 State 等於 NY 的資料

示意圖：將與 NY 州無關的列全部篩除

使用 Microsoft Fabric 進行資料轉換與分析

資料合併與連接

  • 合併兩個或更多資料集
  • 建立星型架構很實用

合併兩個表格的示意圖

使用 Microsoft Fabric 進行資料轉換與分析

資料聚合與反聚合

  • 聚合：彙整並摘要資料

各州銷售訂單聚合成新表，每州包含訂單數與總銷售額

  • 反聚合：拆分資料，通常將單一欄分成多欄

分行地點表：將城市、州從單一欄位拆成兩個獨立欄位

使用 Microsoft Fabric 進行資料轉換與分析

資料探索與轉換工具

  • Dataflows
  • Data Wrangler

並排兩張截圖，顯示 dataflows 與 data wrangler 的圖形介面

  • Spark 筆記本
  • SQL 指令碼

並排兩張截圖，顯示範例 Spark 筆記本與 SQL 指令碼

使用 Microsoft Fabric 進行資料轉換與分析

Dataflows

  • 低程式碼圖形介面
  • 清理
  • 篩選
  • 聚合

Dataflow 設計介面截圖，含數個範例查詢與可用轉換操作

使用 Microsoft Fabric 進行資料轉換與分析

Data Wrangler

  • 以筆記本為基礎的探索式資料分析工具
  • 資料顯示格
  • 動態摘要統計
  • 內建視覺化
  • 常見資料清理操作函式庫

Data Wrangler 介面截圖，顯示部分範例操作

使用 Microsoft Fabric 進行資料轉換與分析

Spark 筆記本

  • 多種語言
  • 資料操作的 Python 函式庫
    • 針對大型資料集用 PySpark
    • 較小資料集用 pandas

Spark 筆記本截圖，含部分 PySpark 範例程式碼

使用 Microsoft Fabric 進行資料轉換與分析

SQL 指令碼

  • 用於資料操作的 T-SQL 陳述式：SELECT、INSERT、UPDATE、DELETE
  • 使用 JOIN 合併資料
  • 使用 CAST 與 CONVERT 轉換資料型別

SQL 編輯器截圖，顯示一個 SELECT 範例查詢

使用 Microsoft Fabric 進行資料轉換與分析

一起來練習吧！

使用 Microsoft Fabric 進行資料轉換與分析

Preparing Video For Download...