Цикл обратной связи, переобучение и разметка

Сквозное машинное обучение

Joshua Stapleton

Machine Learning Engineer

Цикл обратной связи

  • Выходные данные модели как входные данные системы:
    • Метрики и предсказания влияют на развитие системы
    • Можно использовать мониторинг модели

 

  • Неотъемлемая часть машинного обучения:
    • Обеспечивает быстрое обучение и адаптацию
    • Лучше реагирует на изменения

Две циклические стрелки, иллюстрирующие принцип обратной связи

Сквозное машинное обучение

Реализация цикла обратной связи

Обнаружение дрейфа данных

  • Распределение входных данных меняется со временем
  • Цикл обратной связи: переобучение на новых данных

Онлайн-обучение

  • Периодическое переобучение по мере изменения данных
  • Выходит за рамки дрейфа: адаптируется к изменениям структуры данных

Дрейф данных

Онлайн-обучение

Сквозное машинное обучение

Опасности цикла обратной связи

Опасности...

  • Выходные данные модели влияют на входные
  • Например, рекомендации в социальных сетях:
    • Максимизация вовлечённости пользователя
    • Модель учится показывать определённый тип контента
    • Пользователь смотрит всё больше такого контента
    • и т. д.
  • Формируются нежелательные поведенческие паттерны
  • Опаснее при полной автоматизации

Большой красный крест, обозначающий опасность

Сквозное машинное обучение

Правильное использование цикла обратной связи

  • Реактивный подход:

    • Человек в контуре управления
    • Предсказания модели не изменяют входные данные

  • Осторожность и контроль — прежде всего!

Большая зелёная галочка, обозначающая правильное использование

Сквозное машинное обучение

Давайте потренируемся!

Сквозное машинное обучение

Preparing Video For Download...