データの準備

データサイエンスを理解する

Hadrien Lacroix

Content Developer, DataCamp

データワークフロー

データサイエンスワークフロー

データサイエンスを理解する

データを前処理する理由

  • 実際のデータは不完全
  • 前処理を怠ると：
    • エラー
    • 誤った結果
    • バイアスのあるアルゴリズム

スープを準備している

データサイエンスを理解する

クレンジングを始めましょう

Sara Lis Hadrien Lis
年齢 "27" "30" "30"
身長 1.77 5.58 1.80 5.58
国 "ベルギー" "USA" "FR" "アメリカ"

窓をワイプする

データサイエンスを理解する

整然データ

修正前

$$

Sara Lis Hadrien Lis
年齢 "27" "30" "30"
身長 1.77 5.58 1.80 5.58
国 "ベルギー" "USA" "FR" "アメリカ"

たたまれた洗濯物

データサイエンスを理解する

整然データの結果

修正前

$$

Sara Lis Hadrien Lis
年齢 "27" "30" "30"
身長 1.77 5.58 1.80 5.58
国 "ベルギー" "USA" "FR" "アメリカ"

修正後

$$

名前 年齢 身長 国
Sara "26" 1.78 "ベルギー"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"
データサイエンスを理解する

重複を削除

修正前

$$

名前 年齢 身長 国
Sara "27" 1.77 "ベルギー"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

さくらんぼ

データサイエンスを理解する

重複削除の結果

修正前

$$

名前 年齢 身長 国
Sara "27" 1.77 "ベルギー"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

修正後

$$

名前 年齢 身長 国
Sara "27" 1.77 "ベルギー"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
データサイエンスを理解する

固有ID

修正前

$$

名前 年齢 身長 国
Sara "27" 1.77 "ベルギー"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

紫と黄色のアヒル

データサイエンスを理解する

固有ID追加の結果

修正前

$$

名前 年齢 身長 国
Sara "27" 1.77 "ベルギー"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

修正後

$$

ID 名前 年齢 身長 国
0 Sara "27" 1.77 "ベルギー"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"
データサイエンスを理解する

データを揃える

修正前

$$

ID 名前 年齢 身長 国
0 Sara "27" 1.77 "ベルギー"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

小さい金魚と大きい金魚

データサイエンスを理解する

データを揃える：結果

修正前

$$

ID 名前 年齢 身長 国
0 Sara "27" 1.77 "ベルギー"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

修正後

$$

ID 名前 年齢 身長 国
0 Sara "27" 1.77 "ベルギー"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"
データサイエンスを理解する

さらにデータを揃える

修正前

$$

ID 名前 年齢 身長 国
0 Sara "27" 1.77 "ベルギー"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"

ベルギーの国旗

データサイエンスを理解する

さらにデータを揃える

修正前

$$

ID 名前 年齢 身長 国
0 Sara "27" 1.77 "ベルギー"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

修正後

$$

ID 名前 年齢 身長 国
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"
データサイエンスを理解する

データ型

修正前

$$

ID 名前 年齢 身長 国
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

種類の違うパスタ

データサイエンスを理解する

データ型修正の結果

修正前

$$

ID 名前 年齢 身長 国
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

修正後

$$

ID 名前 年齢 身長 国
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"
データサイエンスを理解する

欠損値

修正前

$$

ID 名前 年齢 身長 国
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"

理由：

  • データ入力ミス
  • エラー
  • 意図的な欠損値

解決策

  • 推測して当てはめる
  • 削除する
  • 保持する
データサイエンスを理解する

欠損値の結果

修正前

$$

ID 名前 年齢 身長 国
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "USA"
2 Hadrien 1.80 "FR"

修正後

$$

ID 名前 年齢 身長 国
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 28 1.80 "FR"
データサイエンスを理解する

練習しましょう！

データサイエンスを理解する

Preparing Video For Download...