パフォーマンス改善の実装

Microsoft Fabricでデータを変換して分析する

Luis Silva

Solution Architect - Data & AI

最適化戦略

• Fabric アイテムの設計を最適化する
• スケールアップ
• スケールアウト

SQL の最適化

• 必要な列と処理のみに絞ってクエリする

SQL の最適化

• 必要な列と処理のみに絞ってクエリする
• 可能な限り小さいデータ型を使う

SQL の最適化

• 必要な列と処理のみに絞ってクエリする
• 可能な限り小さいデータ型を使う
• スタースキーマを採用する

SQL の最適化

• 必要な列と処理のみに絞ってクエリする
• 可能な限り小さいデータ型を使う
• スタースキーマを採用する
• システムビューでクエリ使用状況を監視する

SELECT *
FROM sys.dm_exec_requests;

ノートブックの最適化

• Spark History Server を活用する

ノートブックの最適化

• Spark History Server を活用する
• 未使用時はアクティブな Spark セッションを停止する

ノートブックの最適化

• Spark History Server を活用する
• 未使用時はアクティブな Spark セッションを停止する
• 結合時は、実行前にメモリ上のデータ量を減らす

データフローの最適化

• ソートなど高コスト処理を最小化する

データフローの最適化

• ソートなど高コスト処理を最小化する
• クエリ折りたたみ（Query Folding）
  • 処理をデータソース側にオフロードする

データフローの最適化

• ソートなど高コスト処理を最小化する
• クエリ折りたたみ（Query Folding）
  • 処理をデータソース側にオフロードする
• Staging のオン/オフ
  • 小規模データや単純変換では無効化
  • 大規模データや複雑変換では有効化

スケールアップ

• SKU サイズを増やす
• 高い SKU = 計算リソース増

v

スケールアップ

例: F64（8 vCore）から F128（16 vCore）へスケールアップ

スケールアウト

• 一部アイテムを別の Fabric 容量へ移動
• ワークロードを分離
  • 本番と非本番
  • 経営レポート用など、部門別に専用容量を用意

スケールアウト

練習してみましょう！

Microsoft Fabricでデータを変換して分析する