欠損データと代入法

Power BI で始める Python 入門

Jacob H. Marquez

Data Scientist

欠損データとは？

「欠損」を表す一般的な値:

  • null
  • NA
  • 99
  • ""
Power BI で始める Python 入門

欠損データとは？

「欠損」を表す一般的な値:

  • null
  • NA
  • 99
  • ""
entity year fished
Australia 1988 153148
Australia 1989 null
Australia 1990 567895
Australia 1991 632987
Australia 1992 643578
Australia 1993 null
Power BI で始める Python 入門

なぜ欠損が生じるか

  • 調査で回答者が質問を失念・拒否
  • 研究の後半で離脱
  • 測定機器の不具合
  • プライバシー法で利用制限
Power BI で始める Python 入門

無作為に欠損しているか？

MAR（無作為に欠損）

3都市（シアトル、ニューヨーク、パリ）の降水量（inch）の表。

Power BI で始める Python 入門

無作為に欠損しているか？

MNAR（無作為ではない欠損）

3都市（シアトル、ニューヨーク、パリ）の降水量（inch）の表。シアトルの1行が欠損。

Power BI で始める Python 入門

無作為に欠損しているか？

MNAR（無作為ではない欠損）

3都市（シアトル、ニューヨーク、パリ）の降水量（inch）の表。シアトルの1行が欠損。

  • 計測器が低値を検出できない
  • 特定の集団が情報を開示しにくい
Power BI で始める Python 入門

欠損への対処法

MNAR（無作為ではない欠損）

  • 解析を一時停止
  • 欠損の理由を把握
  • 追加データを収集
  • 制約と仮定を明記

MAR（無作為に欠損）

  • 観測を削除
  • 欠損フラグ変数を追加（欠損=1、非欠損=0）
  • 代入法
Power BI で始める Python 入門

代入法（Imputation）

定義：欠損値を別の値で置き換えること。

代入の種類：

  • 平均
  • 中央値
  • 最頻値
  • 直前・直後の値

列の欠損が5％以下で最適。

必ず並べ替えてから！

Power BI で始める Python 入門

代入法の例

MAR（無作為に欠損）

3都市（シアトル、ニューヨーク、パリ）の降水量（inch）の表。いくつか欠損あり。

中央値代入

3都市（シアトル、ニューヨーク、パリ）の降水量（inch）の表。都市内の中央値で欠損を補完。

Power BI で始める Python 入門

データセット

Invoice StockCode Description Quantity InvoiceDate Price Customer ID
506303 PADS PADS TO MATCH ALL CUSHIONS 1 4/29/2010 10:43:00 AM 0.001 14249
496725 M Manual 1 2/3/2010 2:16:00 PM 1.5 13619
502660 M Manual 6 3/25/2010 5:18:00 PM 1.5 13187
509669 90214S LETTER "S" BLING KEY RING 10 12/13/2009 3:54:00 PM 1.25 16725
Power BI で始める Python 入門

演習に進みましょう！

Power BI で始める Python 入門

Preparing Video For Download...