Риски машинного обучения

Машинное обучение для бизнеса

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Низкое качество модели

Некоторые модели работают плохо (оценивайте показатели тестовой выборки, а не обучающей):

Низкая точность
Низкая полнота
Большая ошибка

Низкая точность

Низкая точность — много неверно классифицированных объектов целевого класса = много ложноположительных срабатываний

Пример: лишь 10% клиентов, признанных склонными к покупке, действительно её совершили

Низкая полнота

Низкая полнота — модель правильно выявляет лишь малую долю всех объектов целевого класса

Пример: модель обнаружила только 25% всех мошеннических транзакций

Большая ошибка

Большая ошибка — значительное расхождение между предсказанными и фактическими значениями

Пример: средняя ошибка прогноза оценки удовлетворённости клиентов составляет 3,5 единицы, или 70 процентных пунктов

Сценарии с неприменимыми моделями

Вопрос: Как правильно проверять модели?

Ответ: Проводите тесты и эксперименты для оценки их эффективности — например, письма для предотвращения оттока, акции, плановое обслуживание оборудования, ручная проверка транзакций

A/B-тестирование

Что делать, если тесты не работают?

Соберите больше данных — необходимо участие бизнеса
Постройте причинно-следственные модели для выявления ключевых факторов
Проведите качественные исследования (опросы и т. д.)
Пересмотрите формулировку задачи
- Сузьте область
- Расширьте область
- Измените вопрос

Давайте потренируемся!

Машинное обучение для бизнеса