欠損データに対処する理由

Pythonで欠損データに対処する

Suraj Donthi

Deep Learning & Computer Vision Consultant

なぜ欠損データは生じるのか

  • 実データはたいてい汚い

72%の組織が、データ品質の問題が顧客の信頼と認知を損なうと考えています。

1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
Pythonで欠損データに対処する

なぜ欠損データは生じるのか

  • 取得時に欠測
    • 天候解析でのセンサー不良
    • 診断用の患者情報が不完全 など
  • 誤って削除
    • データ消失
    • 人的ミスで削除
Pythonで欠損データに対処する

このコースで学ぶこと

  • 欠損値処理の重要性
  • 乱れたデータで欠損を検出
  • 欠損の種類を分析
  • 適切に処理する（対象）
    • 数値
    • 時系列
    • カテゴリ
Pythonで欠損データに対処する

このコースで学ぶこと

  • 単純な手法で欠損を代入（置換）
  • 高度な手法で代入
  • 最適な処理法を評価
Pythonで欠損データに対処する

欠損値処理のワークフロー

  1. すべての欠損値を null に統一。
  2. 欠損の量と種類を分析。
  3. 適切に削除または代入（インプット）。
  4. 処理／代入後のデータの性能を評価・比較。
Pythonで欠損データに対処する

NULL 値の演算

None

None or True # Same for False

True

None + True # For all operators

TypeError: unsupported operand

None / 3 # For all operators

TypeError: unsupported operand

type(None)

NoneType

np.nan

import numpy as np
np.nan or True  # Same for False

nan

np.nan * True # For all operators

nan

np.nan - 3 # For all operators

nan

type(np.nan)

float
Pythonで欠損データに対処する

NULL 値の比較・判定

None

None == None

True

np.isnan(None)

False

np.nan

np.nan == np.nan

False

np.isnan(np.nan)

True
Pythonで欠損データに対処する

練習に進みましょう！

Pythonで欠損データに対処する

Preparing Video For Download...