データ品質と取り込み

MLOpsの概念

Folkert Stijnman

ML Engineer

データ品質と取り込み

データ品質とは

• データ品質は、目的にどれだけ適うかの尺度です
• 複数の観点で評価します
• MLモデルの品質はデータに依存します

データ品質の観点

• 正確性
• 完全性
• 一貫性
• 適時性

データ品質の例

観点	確認すべき質問	品質の例
正確性	データは顧客を正しく表していますか？	データ上の年齢は18歳だが、実際は32歳。
完全性	顧客データに欠損はありますか？	顧客の80%で姓がない。
一貫性	顧客の定義は社内で統一されていますか？	あるDBではアクティブ、別のDBでは非アクティブ。
適時性	顧客の注文データはいつ利用可能ですか？	注文は日次で同期され、リアルタイムではない。

低いデータ品質でも、プロジェクトは続行可能です。

データ取り込み

演習に進みましょう

MLOpsの概念