データのクレンジングと前処理とは？

Alteryx によるデータ準備

Deanna Sanchez

Alteryx ACE and Owner, Nova Geographica LLC

なぜクリーンデータが重要か

GIGO: Garbage In, Garbage Out（入力がゴミなら出力もゴミ）

  • クレンジングと前処理で実現:
    • ミス回避とエラー防止
    • データと形式の標準化
    • 生産性向上
    • 洞察までの速度向上

データベースにゴミが入り、ゴミが出るイメージ

Alteryx によるデータ準備

データの清掃は例えるなら…

車のチューニング - 部品清掃と新しい油脂で最適化すると性能が向上します。

 

整備士が車を整備する画像

Alteryx によるデータ準備

汚いデータの例

  • 欠損・不完全なデータ

空欄セルなどの欠損を示すデータ表

Alteryx によるデータ準備

汚いデータの例

  • 欠損・不完全なデータ
  • 非標準・不一致なデータ

大文字とタイトルケースの混在など不一致を示すデータ表

Alteryx によるデータ準備

汚いデータの例

  • 欠損・不完全なデータ
  • 非標準・不一致なデータ
  • 入力ミス

桁数過多などの入力ミスを示すデータ表

Alteryx によるデータ準備

汚いデータの例

  • 欠損・不完全なデータ
  • 非標準・不一致なデータ
  • 入力ミス
  • 先頭/末尾の空白や不要な記号・句読点

数値データのドル記号など不要な記号を示すデータ表

Alteryx によるデータ準備

クレンジング手法

欠損値の扱い

  • 代入で欠損を明示（例）:
    • 文字列の null を空欄に変換
    • 数値の null を 0 に代入
  • 欠損をデータストリームから除外

虫眼鏡とほうきでデータを掃除するアナリストのイメージ

Alteryx によるデータ準備

クレンジング手法

標準化

  • 形式を統一
    • 通貨に $ を付与
    • 000123456
  • フィールド名・ファイル名の命名規則を確認
    • "filename_01012004.csv"
  • フィールド内の大文字小文字を統一
    • LOCATION
  • データ型を変更

データを適切なフォルダに整理するアナリストのイメージ

Alteryx によるデータ準備

クレンジング手法

不要な要素を除去

  • 先頭/末尾の空白
  • タブ・改行
  • 不要な行・列
  • 不要な記号・文字・数字

建設作業員がデータファイルを清掃するイメージ

Alteryx によるデータ準備

色分けされたプロフィール

結果ウィンドウとプロフィールの色分けで、クレンジング手法の判断を支援します。

  • 緑 = OK

OK のカラープロファイル

Alteryx によるデータ準備

色分けされたプロフィール

結果ウィンドウとプロフィールの色分けで、クレンジング手法の判断を支援します。

  • 緑 = OK
  • 白 = 一意

OK と一意のカラープロファイル

Alteryx によるデータ準備

色分けされたプロフィール

結果ウィンドウとプロフィールの色分けで、クレンジング手法の判断を支援します。

  • 緑 = OK
  • 白 = 一意
  • 黄 = Null

OK・一意・Null のカラープロファイル

Alteryx によるデータ準備

色分けされたプロフィール

結果ウィンドウとプロフィールの色分けで、クレンジング手法の判断を支援します。

  • 緑 = OK
  • 白 = 一意
  • 黄 = Null
  • 赤 = Not OK（例: 末尾の空白）

OK・一意・Null・Not OK のカラープロファイル

Alteryx によるデータ準備

色分けされたプロフィール

結果ウィンドウとプロフィールの色分けで、クレンジング手法の判断を支援します。

  • 緑 = OK
  • 白 = 一意
  • 黄 = Null
  • 赤 = Not OK（例: 末尾の空白）
  • 灰 = 空

すべてのカラープロファイル

Alteryx によるデータ準備

Alteryx のデータ型

Boolean データ型を表示した表

  • データ型の種類を把握することが重要
    • 使い方と適用場面
  • 主なデータ型は5種
    • Boolean - 二値形式
Alteryx によるデータ準備

Alteryx のデータ型

Boolean と Numeric を表示した表

  • データ型の種類を把握することが重要
    • 使い方と適用場面
  • 主なデータ型は5種
    • Boolean - 二値形式
    • Numeric - 数値（Double を含む）
Alteryx によるデータ準備

Alteryx のデータ型

Boolean・Numeric・String を表示した表

  • データ型の種類を把握することが重要
    • 使い方と適用場面
  • 主なデータ型は5種
    • Boolean - 二値形式
    • Numeric - 数値（Double を含む）
    • String - 文字列
1 String（String から V_W String まで）
Alteryx によるデータ準備

Alteryx のデータ型

4種のデータ型（Boolean、Numeric、String、DateTime）の表

  • データ型の種類を把握することが重要
    • 使い方と適用場面
  • 主なデータ型は5種
    • Boolean - 二値形式
    • Numeric - 数値（Double を含む）
    • String - 文字列
    • DateTime - 日付・時刻
Alteryx によるデータ準備

Alteryx のデータ型

5種の主要データ型を表示した表

  • データ型の種類を把握することが重要
    • 使い方と適用場面
  • 主なデータ型は5種
    • Boolean - 二値形式
    • Numeric - 数値（Double を含む）
    • String - 文字列
    • DateTime - 日付・時刻
    • Spatial - 空間オブジェクト・ポイント
Alteryx によるデータ準備

データセットの詳細

  • Alteryx のハンズオン演習:
    • ニューヨーク市の不動産売買
    • すべての演習で同一データセット
    • 最高額の売買を分析

ニューヨーク市のスカイライン画像

Alteryx によるデータ準備

演習に進みましょう！

Alteryx によるデータ準備

Preparing Video For Download...