Stanford Open Policing Projectデータセット

pandasで警察活動を分析する

Kevin Markham

Founder, Data School

データセットの概要

警察官による交通取り締まり

Stanford Open Policing Projectの地図

各州のデータをダウンロード: https://openpolicing.stanford.edu/

データの準備

データの確認
データのクリーニング

import pandas as pd
ri = pd.read_csv('police.csv')
ri.head(3)

  state   stop_date stop_time  county_name driver_gender driver_race
0    RI  2005-01-04     12:55          NaN             M       White
1    RI  2005-01-23     23:15          NaN             M       White
2    RI  2005-02-17     04:15          NaN             M       White

各行は1件の交通取り締まりを表します
NaN は欠損値を示します

欠損値の特定 (1)

ri.isnull()

   state stop_date stop_time county_name driver_gender
0  False     False     False        True         False       
1  False     False     False        True         False       
2  False     False     False        True         False       
...

欠損値の特定 (2)

ri.isnull().sum()

state                     0
stop_date                 0
stop_time                 0
county_name           91741
driver_gender          5205
...

.sum() は各列の合計を計算します
True = 1、False = 0

列の削除

ri.isnull().sum()

state                     0
stop_date                 0
stop_time                 0
county_name           91741
driver_gender          5205
driver_race            5202
...

ri.shape

(91741, 15)

county_name 列には欠損値のみが含まれています
.drop() メソッドで county_name を削除します

ri.drop('county_name', 
  axis='columns', inplace=True)

行の削除

.dropna(): 欠損値を含む行を削除します

ri.head()

  state   stop_date stop_time driver_gender driver_race
0    RI  2005-01-04     12:55             M       White
1    RI  2005-01-23     23:15             M       White
2    RI  2005-02-17     04:15             M       White
3    RI  2005-02-20     17:15             M       White
4    RI  2005-02-24     01:20             F       White

ri.dropna(subset=['stop_date', 'stop_time'], inplace=True)

練習しましょう！

pandasで警察活動を分析する