Развёртывание модели в Databricks

Концепции Databricks

Kevin Barlow

Data Practitioner

Жизненный цикл машинного обучения

Жизненный цикл машинного обучения

1 https://www.datacamp.com/blog/machine-learning-lifecycle-explained
Концепции Databricks

Развёртывание и эксплуатация модели

Жизненный цикл машинного обучения

Концепции Databricks

Проблемы при развёртывании моделей

Доступность

  • Как конечные пользователи или приложение будут использовать модель?
  • Где должна располагаться модель для обеспечения доступа к ней?
  • Будет ли модель понятна и удобна в использовании?

Использование модели МО

Оценка

  • Действительно ли пользователи применяют модель?
  • Модель по-прежнему работает эффективно?
  • Нужно ли переобучить модель?
  • Нужна ли более качественная новая модель?

Оценка модели МО

Концепции Databricks

Процесс развёртывания модели

Процесс развёртывания модели

Концепции Databricks

Форматы моделей

  • MLFlow Models поддерживает модели из любого фреймворка машинного обучения
  • Модели хранятся вместе с конфигурациями и артефактами
  • Модель можно «преобразовать» в другой формат в зависимости от потребностей. Например:
    • scikit-learn
    • pyfunc
    • spark
    • tensorflow

MLFlow Models

Концепции Databricks

Реестр моделей

Реестр моделей Databricks

Концепции Databricks

Реестр моделей

Реестр моделей — зарегистрированные модели

Концепции Databricks

Реестр моделей

Реестр моделей — версии моделей

Концепции Databricks

Реестр моделей

Реестр моделей — этапы модели

Концепции Databricks

Обслуживание моделей

Обслуживание моделей в Databricks

Концепции Databricks

Обслуживание моделей

Обслуживание моделей — кластер

Концепции Databricks

Обслуживание моделей

Обслуживание моделей — выбор модели

Концепции Databricks

Обслуживание моделей

Метрики обслуживания моделей

1 https://www.databricks.com/product/model-serving
Концепции Databricks

Давайте потренируемся!

Концепции Databricks

Preparing Video For Download...