データのクレンジングとフィルタリング

Microsoft Fabricでデータを変換して分析する

Luis Silva

Solution Architect - Data & AI

データクレンジングのツール

 

 

空白行の処理

• 行全体が空白の行を削除

 

Dataflows で空白行を処理する

• 「空白行を削除」変換

 

Spark で空白行を処理する

• DataFrame の dropna( ) 関数
• 任意の null を含む行、またはすべて null の行を削除可能

重複行の処理

• 重複行を削除

 

Dataflows で重複行を処理する

• 「重複を削除」変換

 

Spark で重複行を処理する

• DataFrame の dropDuplicates( ) 関数

 

値の置換

• 列内の特定値を別の値に置換。
• 空セルを値で埋めることも可能。

 

Dataflows で値を置換する

• 「値の置換」変換

 

Spark で値を置換する

• DataFrame の replace( ) 関数

 

データ型の修正

• モデル全体でのデータ型の一貫性
• 値の比較をサポート

データ型の修正

• モデル全体でのデータ型の一貫性
• 値の比較をサポート
• 型固有の操作をサポート
  • 数値列での算術演算
  • 日付/時刻列での日時演算

Dataflows でデータ型を修正する

• コンテキストメニュー（方法1）:
  1. データビューで列を選択。
  2. 列見出し左のアイコンをクリック。

Dataflows でデータ型を修正する

• コンテキストメニュー（方法1）:
  1. データビューで列を選択。
  2. 列見出し左のアイコンをクリック。
  3. 一覧から新しいデータ型を選択。

Dataflows でデータ型を修正する

• コンテキストメニュー（方法2）:
  1. データビューで列を選択。
  2. 列見出しを右クリック。

Dataflows でデータ型を修正する

• 変換を追加:
  1. データビューで列を選択。
  2. ダイアグラムビューで (+) をクリックして変換を追加。
  3. ポップアップで「型の変更」を選び、新しいデータ型を選択。

Spark でデータ型を修正する

• DataFrame の cast( ) 関数

df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))

• 例:

# [orderID] 列を integer に変換
df = df.withColumn("orderID", df["orderID"].cast("integer"))

データのフィルタリング

• 条件に基づき行を包含・除外

SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

Dataflows でフィルタリングする

• Filter 変換を使用

Spark でフィルタリングする

• DataFrame の filter( ) 関数
• where( ) は filter( ) のエイリアス

df.filter( <condition> )

• 例:

# State = 'NY' の行のみ返す
df.filter( df.state == 'NY' )

Passons à la pratique !

Microsoft Fabricでデータを変換して分析する