Fabric データパイプライン入門
Microsoft Fabric によるデータ取り込みとセマンティック モデル
Alex Kuntz
Head of Cloud Curriculum, DataCamp
Microsoft Fabric の Data Pipelines
Data Factory の主要機能（高レベル）:
- Data Pipelines — データ移動をオーケストレーション。
- Dataflows — UI ベースで 300+ の変換をサポート。
Microsoft Fabric の Data Pipelines:
- 低/ノーコードで ETL を自動化
- 多様なデータソースとシームレスに統合
- データ取り込み・変換の豊富なアクティビティ
- 手動実行またはトリガーでスケジュール
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
データパイプラインのアクティビティ
アクティビティはパイプライン内のタスクで、データ処理とワークフロー自動化を担います。
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
アクティビティの種類
- 移動と変換:
- データ転送と変換を実行
- （例: Copy data 
）。
- 制御フロー:
- 条件やループでタスク順序を制御。
- （例: If condition
, ForEach 
）。
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
アクティビティの種類
オーケストレーション:
- 複数プロセスを同期
- （例: Invoke Pipeline 
, Teams
）。
変換:
- ビジネスロジックに沿ってデータを処理
- （例: Notebook
, Stored Procedure
）。
パイプライン実行
パイプライン実行は、パイプライン内のアクティビティを完了まで実行します。
- オンデマンド: Fabric UI から直接開始。
- スケジュール: 指定頻度で開始。
監視:
- Monitor タブで一意の Run ID を使って各実行を追跡・確認。
検証:
- 実行前に Validate で設定を確認。
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
