テキストデータのクリーニング

Pythonで学ぶデータクリーニング

Adel Nehme

VP of AI Curriculum, DataCamp

テキストデータとは？

データの種類	例
名前	`Alex`, `Sara` ...
電話番号	`+96171679912` ...
メール	`[email protected]`..
パスワード	...

一般的なテキストデータの問題

1) データの不整合:

+96171679912 か 0096171679912 か？

2) 固定長の違反:

パスワードは8文字以上が必要

3) タイポ:

+961.71.679912

例

phones = pd.read_csv('phones.csv')
print(phones)

              Full name      Phone number
0       Noelani A. Gray  001-702-397-5143
1        Myles Z. Gomez  001-329-485-0540
2          Gil B. Silva  001-195-492-2338
3    Prescott D. Hardin   +1-297-996-4904
4    Benedict G. Valdez  001-969-820-3536
5      Reece M. Andrews              4138
6        Hayfa E. Keith  001-536-175-8444
7       Hedley I. Logan  001-681-552-1823
8      Jack W. Carrillo  001-910-323-5265
9       Lionel M. Davis  001-143-119-9210

例

phones = pd.read_csv('phones.csv')
print(phones)

              Full name      Phone number
0       Noelani A. Gray  001-702-397-5143
1        Myles Z. Gomez  001-329-485-0540
2          Gil B. Silva  001-195-492-2338
3    Prescott D. Hardin   +1-297-996-4904   <-- 形式の不一致
4    Benedict G. Valdez  001-969-820-3536
5      Reece M. Andrews              4138   <-- 長さの違反
6        Hayfa E. Keith  001-536-175-8444
7       Hedley I. Logan  001-681-552-1823
8      Jack W. Carrillo  001-910-323-5265
9       Lionel M. Davis  001-143-119-9210

例

phones = pd.read_csv('phones.csv')
print(phones)

              Full name   Phone number
0       Noelani A. Gray  0017023975143
1        Myles Z. Gomez  0013294850540
2          Gil B. Silva  0011954922338
3    Prescott D. Hardin  0012979964904
4    Benedict G. Valdez  0019698203536
5      Reece M. Andrews            NaN
6        Hayfa E. Keith  0015361758444
7       Hedley I. Logan  0016815521823
8      Jack W. Carrillo  0019103235265
9       Lionel M. Davis  0011431199210

電話番号列の修正

# "+" を "00" に置換
phones["Phone number"] = phones["Phone number"].str.replace("+", "00")
phones

            Full name      Phone number
0     Noelani A. Gray  001-702-397-5143
1      Myles Z. Gomez  001-329-485-0540
2        Gil B. Silva  001-195-492-2338
3  Prescott D. Hardin  001-297-996-4904
4  Benedict G. Valdez  001-969-820-3536
5    Reece M. Andrews              4138
6      Hayfa E. Keith  001-536-175-8444
7     Hedley I. Logan  001-681-552-1823
8    Jack W. Carrillo  001-910-323-5265
9     Lionel M. Davis  001-143-119-9210

電話番号列の修正

# "-" を空文字に置換
phones["Phone number"] = phones["Phone number"].str.replace("-", "")
phones

            Full name   Phone number
0     Noelani A. Gray  0017023975143
1      Myles Z. Gomez  0013294850540
2        Gil B. Silva  0011954922338
3  Prescott D. Hardin  0012979964904
4  Benedict G. Valdez  0019698203536
5    Reece M. Andrews           4138
6      Hayfa E. Keith  0015361758444
7     Hedley I. Logan  0016815521823
8    Jack W. Carrillo  0019103235265
9     Lionel M. Davis  0011431199210

電話番号列の修正

# 10桁未満の番号を NaN に置換
digits = phones['Phone number'].str.len()
phones.loc[digits < 10, "Phone number"] = np.nan
phones

              Full name   Phone number
0       Noelani A. Gray  0017023975143
1        Myles Z. Gomez  0013294850540
2          Gil B. Silva  0011954922338
3    Prescott D. Hardin  0012979964904
4    Benedict G. Valdez  0019698203536
5      Reece M. Andrews            NaN
6        Hayfa E. Keith  0015361758444
7       Hedley I. Logan  0016815521823
8      Jack W. Carrillo  0019103235265
9       Lionel M. Davis  0011431199210

電話番号列の修正

# Phone number 列の各行の長さを取得
sanity_check = phone['Phone number'].str.len()

# 最小の桁数が10以上であることを検証
assert sanity_check.min() >= 10

# 「+」や「-」が含まれないことを検証
assert phone['Phone number'].str.contains("+|-").any() == False

覚えておきましょう: assert は条件を満たすと何も返しません

さらに複雑な例は？

phones.head()

          Full name    Phone number
0     Olga Robinson  +(01706)-25891
1       Justina Kim    +0500-571437
2    Tamekah Henson      +0800-1111
3     Miranda Solis   +07058-879063
4  Caldwell Gilliam  +(016977)-8424

強化版 Ctrl + F

正規表現の実践

# 文字を空文字に置換
phones['Phone number'] = phones['Phone number'].str.replace(r'\D+', '')
phones.head()

          Full name Phone number
0     Olga Robinson   0170625891
1       Justina Kim   0500571437
2    Tamekah Henson     08001111
3     Miranda Solis  07058879063
4  Caldwell Gilliam   0169778424

練習しましょう！

Pythonで学ぶデータクリーニング