データの問題
データリテラシー入門
Anneleen Rummens
Data Scientist
汚れたデータ
汚れたデータとは：
人的ミス、技術的な問題、データ収集
プロセスの問題によって発生
- Garbage in, Garbage out の原則：
汚れたデータは誤った結論を導出
データエラー
- 不正確または不整合なデータ
- 通常、入力された値や形式に関連する人為的または技術的ミスが原因
- 対応策：
- 元の値または有効な形式が分かる場合：
データを修正
- 不明な場合：データを削除
欠損データ
- 不完全なデータ
- 問題ありのケース：
- 多くのデータが欠損
- 欠損のパターンを特定できる場合も
- 対応策：
データバイアス
- 社会的バイアスは、データバイアスとして
反映されることがある
- 現実を反映していないデータにつながり、分析結果にも影響
- 検出と解決が困難
- 対応策：
- 確実なデータ収集プロセス
- 結論にバイアスが潜在するリスクを認識
- 出力結果を説明できる AI モデルを活用
データクリーニング
- データの問題への対応策
- データ分析の重要な準備ステップ
- データの問題は、すべてを（完全に）
解決できるわけではない
- ただし、何らかの分析を行うことは常に可能
Preparing Video For Download...
