Написание эффективной документации по МО

Разработка моделей машинного обучения для продакшена

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Компоненты качественной документации по МО

  • Источники данных
  • Схемы данных
  • Методы разметки
  • Эксперименты и выбор модели
  • Среды обучения
  • Псевдокод модели
Разработка моделей машинного обучения для продакшена

Документирование источников данных

Позволяет выстроить процессы оценки качества данных.

Дополнительные преимущества:

  • Отслеживание происхождения данных.
  • Оценка и улучшение качества данных.

источники

Разработка моделей машинного обучения для продакшена

Схемы данных

Структура, описывающая организацию данных.

Пример схемы реляционной базы данных:

Ключ базы данных Тип данных Порядок данных
Person.name string nominal
Person.survey_score integer ordinal

схема

Разработка моделей машинного обучения для продакшена

Методы разметки (для классификации)

Документирование разметки целевой переменной улучшает:

  1. Воспроизводимость обучающего конвейера.

  2. Надёжность модели за счёт качества меток.

  3. Качество модели через улучшение меток.

выбор

Методы разметки могут меняться со временем.

Разработка моделей машинного обучения для продакшена

Псевдокод модели

Визуальное представление этапов построения модели машинного обучения.

Обычно включает:

  • Шаги проектирования признаков.
  • Компоненты ансамблевого конвейера.
  • Примеры входных и выходных данных модели.
Разработка моделей машинного обучения для продакшена

Эксперименты и выбор модели

Документирование экспериментов и выбора модели включает:

  • Процесс разработки модели.
  • Рассмотренные модели.
  • Используемые метрики.
  • Проверенные комбинации гиперпараметров для каждой модели.

выбор

Разработка моделей машинного обучения для продакшена

Среды обучения

При документировании среды обучения следует указать:

  • Используемые пакеты с версиями (например, scikit-learn==1.1.3).
  • Случайные зерна для недетерминированного обучения (например, алгоритмы снижения размерности).

Зачем?

  • Возможность воспроизвести результаты моделей машинного обучения.
  • Обеспечение согласованности между обучением и production-развёртыванием.
Разработка моделей машинного обучения для продакшена

Давайте потренируемся!

Разработка моделей машинного обучения для продакшена

Preparing Video For Download...