Fabric 数据管道简介

使用 Microsoft Fabric 进行数据摄取与语义模型

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Microsoft Fabric 中的数据管道

Data Factory 的两大核心功能：

  1. Data Pipelines —— 编排数据移动。 数据管道
  2. Dataflows —— 通过界面支持 300+ 数据转换。 数据流

Microsoft Fabric 中的数据管道：

  • 以少量或零代码自动化 ETL
  • 无缝集成多样数据源
  • 丰富的摄取与转换活动
  • 手动运行或用触发器定时调度
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
使用 Microsoft Fabric 进行数据摄取与语义模型

数据管道中的活动

活动是管道内的任务，用于编排数据处理与流程自动化。 用汽车装配线比喻数据管道中的活动

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
使用 Microsoft Fabric 进行数据摄取与语义模型

活动类型

  1. 移动与转换：
  2. 元数据与校验：
    • 进行数据质量检查与元数据获取。
    • （如 Lookup查找）。
  3. 控制流：
    • 基于条件与循环控制任务顺序。
    • （如 If condition If 条件、ForEach ForEach）。
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
使用 Microsoft Fabric 进行数据摄取与语义模型

活动类型

  1. 编排：

  2. 通知：

    • 通过邮件或消息工具发送提醒与更新
    • （如 365 Outlook365 Outlook、TeamsTeams）。

  3. 转换：

    • 按业务逻辑执行数据处理
    • （如 NotebookNotebook、Stored Procedure存储过程）。
使用 Microsoft Fabric 进行数据摄取与语义模型

管道参数与变量

参数和变量可动态控制与管理管道行为。

参数：

  • 运行时设置： 通过外部输入调整管道行为。
  • 全局作用域： 影响整个管道执行。

变量：

  • 动态跟踪： 在运行中更改取值。
  • 局部作用域： 管理特定活动内的数据。
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
使用 Microsoft Fabric 进行数据摄取与语义模型

管道运行

一次管道运行会执行管道中的所有活动直至完成。

  • 按需：在 Fabric 界面直接启动管道。 按需运行
  • 计划：按指定频率启动运行。 计划运行

监控：

  • 在"监视"选项卡用唯一的 Run ID 跟踪并查看每次运行。

验证：

  • 执行前使用"验证"检查管道配置是否正确。
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
使用 Microsoft Fabric 进行数据摄取与语义模型

Vamos praticar!

使用 Microsoft Fabric 进行数据摄取与语义模型

Preparing Video For Download...