データフローのパフォーマンス最適化

Microsoft Fabric によるデータ取り込みとセマンティック モデル

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Dataflows Gen2 のステージング

変換中のデータを一時保持し、性能を最適化

  • ステージング アーティファクト:
    • 変換時に使われる Lakehouse の内部非表示ストレージ
    • Dataflows が自動管理。ユーザーが直接アクセスするものではない
  • ステージングを使う場面:
    • 既定で有効。SQL エンドポイントの性能を向上
    • Lakehouse への直接書き込みや非 Warehouse への読み込みでは無効（再有効化可）
  • ステージング データの削除:
    • ステージングを無効化して更新（30日後に自動削除）
    • 即時削除するにはデータフローまたはワークスペースを削除
Microsoft Fabric によるデータ取り込みとセマンティック モデル

Fast Copy で取り込みを加速

大規模データを効率よく取り込む高速機能

  • アーキテクチャ: 重い処理を Power Query から高性能パイプラインへ振り分け、高速化
  • 利点: 大規模データでもスケーラブルなバックエンドで処理時間を短縮

DataFlows Gen2 高速コピーのアーキテクチャ

Microsoft Fabric によるデータ取り込みとセマンティック モデル

Fast Copy の最適化: 前提条件と主要設定

前提条件:

  • ファイル: 100 MB 以上（CSV/Parquet）
  • データベース: 500万行以上（Azure SQL DB、PostgreSQL）
  • 対応コネクタ: ADLS Gen2、Blob Storage、SQL DB、Lakehouse、PostgreSQL、オンプレミス SQL Server、Warehouse、Oracle
  • 対応変換: ファイル結合、列の選択、データ型変更、列名変更/削除

Fast Copy を必須にする:

  • Fast Copy の使用を強制。条件未満なら即失敗
  • 遅い処理での長時間待機を回避し時間を節約
Microsoft Fabric によるデータ取り込みとセマンティック モデル

Dataflows Gen2 の既定データ先

  • 目的のデータ先（Lakehouse、Warehouse、または KQL Database）ごとに独立した Dataflows を作成します。

  • 事前設定のデータ先が自動適用され、開発が高速化します。

既定の動作: 以下は既定で変更不可

  • Lakehouse: 置換更新方式、動的スキーマ
  • Warehouse/KQL Database: 追記更新方式、固定スキーマ

Dataflows Gen2 の既定データ先

Microsoft Fabric によるデータ取り込みとセマンティック モデル

演習に進みましょう

Microsoft Fabric によるデータ取り込みとセマンティック モデル

Preparing Video For Download...