データの探索と変換

Microsoft Fabricでデータを変換して分析する

Luis Silva

Solution Architect - Data & AI

データ変換のシナリオ

なぜデータを変換するのか？

ソースの誤データを削除・修正

無効な項目が赤で示されたデータ表の画像

データ変換のシナリオ

なぜデータを変換するのか？

ソースの誤データを削除・修正
型を変換して一貫性を確保

数値を文字列で保持する列を実数値に変換する図

データ変換のシナリオ

なぜデータを変換するのか？

ソースの誤データを削除・修正
型を変換して一貫性を確保
不要なデータを除外

基準を満たさない行を除去し、特定フィールドが 'X' でない行のみ残す表の前後図

データ変換のシナリオ

なぜデータを変換するのか？

ソースの誤データを削除・修正
型を変換して一貫性を確保
不要なデータを除外
複数ソースのデータを結合

2つのテーブルが1つに結合される図 -

データ変換のシナリオ

なぜデータを変換するのか？

ソースの誤データを削除・修正
型を変換して一貫性を確保
不要なデータを除外
複数ソースのデータを結合
解析・レポートに適した形式へ整形

大きな1つのテーブルをスター・スキーマに変換する図

データクレンジング

無関係な行を削減（先頭行/末尾行の削除）
重複を削除
空白行を削除
エラー行を削除
データ型を変換

ソース表の無効レコードを赤で示し、宛先表から除去する矢印の図

データのフィルタリング

データセットを絞り込む
- 必要なサブセットのみ選択
- 条件を満たさないレコードを破棄
例: SQL の WHERE 句

Orders テーブルから State 列が NY の行を選択するクエリのスクリーンショット

NY州に関連しない行を除外するテーブルのフィルタ図

データのマージと結合

2つ以上のデータセットを結合
スター・スキーマ構築に有用

2つのテーブルを結合する図

データの集計と逆集計

集計: データを集約・要約

州別の受注を、注文数と売上合計で集計した新しい表

逆集計: 列を分割（1列→複数列）

支店所在地の「市, 州」を分割し、市と州を別列にした表

データ探索と変換のツール

Dataflows
Data Wrangler

Dataflows と Data Wrangler のGUIを並べたスクリーンショット

Spark ノートブック
SQL スクリプト

Spark ノートブックと SQL スクリプトのサンプルのスクリーンショット

Dataflows

ローコードのGUI
クレンジング
フィルタリング
集計

Dataflow デザイナーの画面。サンプルのクエリと利用可能な変換操作を表示

Data Wrangler

探索的データ分析向けのノートブック型ツール
データ表示グリッド
動的な要約統計
組み込みの可視化
代表的なデータクレンジング操作のライブラリ

Data Wrangler インターフェースのサンプル操作のスクリーンショット

Spark ノートブック

多様な言語に対応
データ操作向けの Python ライブラリ
- 大規模データに PySpark
- 小規模データに Pandas

PySpark コードを含む Spark ノートブックのスクリーンショット

SQL スクリプト

データ操作の T-SQL 文: SELECT, INSERT, UPDATE, DELETE
JOIN でデータを結合
CAST/CONVERT で型を変換

SELECT クエリの例を示す SQL エディタのスクリーンショット

練習しましょう！

Microsoft Fabricでデータを変換して分析する