Якість даних і завантаження

Концепції MLOps

Folkert Stijnman

ML Engineer

Якість даних і завантаження

Що таке якість даних?

• Якість даних — це міра того, наскільки добре дані слугують своїй меті
• Оцінюється за кількома вимірами
• Якість ML‑моделі залежить від даних

Виміри якості даних

• Точність
• Повнота
• Узгодженість
• Актуальність

Приклад вимірів якості даних

Вимір	Приклад запитання	Приклад якості виміру
Точність	Чи правильно наші дані описують клієнта?	У даних вік клієнта — 18, а насправді — 32.
Повнота	Чи бракує якихось даних про клієнта?	Для 80% клієнтів немає прізвища.
Узгодженість	Чи узгоджено визначення клієнта в усій компанії?	У одній базі клієнт активний, а в іншій — ні.
Актуальність	Коли доступні дані про замовлення клієнта?	Замовлення синхронізуються наприкінці дня і недоступні в реальному часі.

Низька якість даних — не кінець проєкту!

Завантаження даних

Давайте потренуємось!

Концепції MLOps