Microsoft Fabric 的数据工程

使用 Microsoft Fabric 进行数据转换与分析

Luis Silva

Solution Architect - Data & AI

端到端数据分析

• 从源摄取数据并存入数据湖
• 准备并转换数据
• 可视化并分析数据

Data Factory

• 摄取、准备与转换数据
• Dataflow 与数据管道

Dataflow

• 低代码的数据摄取与转换界面
• Power Query 转换引擎

数据管道

• 执行任务的一组活动
• 活动类型：
  • 数据移动（复制活动、Dataflow）
  • 数据转换（Notebook、存储过程、脚本）
  • 控制（Switch、If、ForEach、Wait）

Synapse 数据工程

• Lakehouse
• Notebook
• Apache Spark 作业定义

Lakehouse

• 结构化数据（表）
• 非结构化数据（文件）

Notebook

• 交互式网页界面
  • 数据处理代码
  • 数据可视化
  • 注释/说明
• 多语言支持：
  • PySpark（Python）
  • Spark（Scala）
  • Spark SQL（SQL）
  • SparkR（R）

Apache Spark 作业定义

• 向 Spark 集群提交批处理/流式作业
• Notebook 的替代或补充：
  • Notebook 用于数据探索、原型和协作开发
  • Spark 作业定义用于自动化生产级数据处理代码

Synapse 数据仓库

• 行为类似传统关系型数据仓库
• 在 OneLake 中以开放的 Delta Lake 格式存储数据
• 支持与其他 Fabric 工作负载互操作
• 无需创建多份数据副本

选择数据存储

• Lakehouse
  • 非结构化数据（文件）
  • 以 Spark 为主要开发界面

 

• Warehouse
  • 结构化数据（表）
  • 以 T-SQL 为主要开发界面

选择数据复制工具

选择数据复制工具

选择数据复制工具

¡Vamos a practicar!

使用 Microsoft Fabric 进行数据转换与分析