連続値の欠損を補完する

Python で学ぶ Machine Learning のための特徴量エンジニアリング

Robert O'Callaghan

Director of Data Science, Ordergroove

欠損値の削除

  • テストセットでは欠損行を削除できない
Python で学ぶ Machine Learning のための特徴量エンジニアリング

他にできることは？

  • カテゴリ列: 最頻値で補完、または 'None' のような欠損フラグ文字列で置換
  • 数値列: 適切な代表値で補完
Python で学ぶ Machine Learning のための特徴量エンジニアリング

代表値（中央値・平均）

  • 平均
  • 中央値
Python で学ぶ Machine Learning のための特徴量エンジニアリング

代表値の計算

print(df['ConvertedSalary'].mean())
print(df['ConvertedSalary'].median())

92565.16992481203
55562.0
Python で学ぶ Machine Learning のための特徴量エンジニアリング

欠損値を補完する

df['ConvertedSalary'] = df['ConvertedSalary'].fillna(
    df['ConvertedSalary'].mean()
)

df['ConvertedSalary'] = df['ConvertedSalary']\
                         .astype('int64')
Python で学ぶ Machine Learning のための特徴量エンジニアリング

値の丸め

df['ConvertedSalary'] = df['ConvertedSalary'].fillna(
    round(df['ConvertedSalary'].mean())
)
Python で学ぶ Machine Learning のための特徴量エンジニアリング

Let's Practice!

Python で学ぶ Machine Learning のための特徴量エンジニアリング

Preparing Video For Download...