数据探索与转换

使用 Microsoft Fabric 进行数据转换与分析

Luis Silva

Solution Architect - Data & AI

数据转换场景

为什么需要转换数据？

• 移除或清洗来源系统中的错误数据

数据转换场景

为什么需要转换数据？

• 移除或清洗来源系统中的错误数据。
• 转换数据类型以保持一致。

数据转换场景

为什么需要转换数据？

• 移除或清洗来源系统中的错误数据。
• 转换数据类型以保持一致。
• 过滤无关数据。

数据转换场景

为什么需要转换数据？

• 移除或清洗来源系统中的错误数据。
• 转换数据类型以保持一致。
• 过滤无关数据。
• 合并来自多个来源系统的数据。

-

数据转换场景

为什么需要转换数据？

• 移除或清洗来源系统中的错误数据。
• 转换数据类型以保持一致。
• 过滤无关数据。
• 合并来自多个来源系统的数据。
• 将数据整理为更适合分析与报告的格式。

数据清洗

• 减少无关行（删除前几行、后几行）
• 移除重复项
• 删除空行
• 删除错误行
• 转换数据类型

数据过滤

• 缩小数据集范围

  • 仅选择数据子集
  • 丢弃不满足条件的记录

• 示例：SQL WHERE 子句

合并与连接数据

• 连接两张或多张数据集
• 构建星型模型时很有用

数据聚合与反聚合

• 聚合：汇总与概括数据

• 反聚合：拆分数据，通常将一列拆为多列

数据探索与转换工具

• Dataflows
• Data Wrangler

• Spark 笔记本
• SQL 脚本

Dataflows

• 低代码可视化界面
• 清洗
• 过滤
• 聚合

Data Wrangler

• 基于笔记本的探索性数据分析工具
• 数据展示网格
• 动态摘要统计
• 内置可视化
• 常用数据清洗操作库

Spark 笔记本

• 多种语言
• Python 数据处理库
  • PySpark：适用于大型数据集
  • Pandas：适用于小型数据集

SQL 脚本

• 用于数据操作的 T-SQL 语句：SELECT、INSERT、UPDATE、DELETE
• 用 JOIN 合并数据
• 用 CAST 与 CONVERT 转换数据类型

Passons à la pratique !

使用 Microsoft Fabric 进行数据转换与分析