Обзор Lakehouse AI

Концепции Databricks

Kevin Barlow

Data Practitioner

Lakehouse AI

Высокоуровневая схема Lakehouse

Почему Lakehouse для ИИ / МО?

Надёжные данные и файлы в Delta Lake
Высокомасштабируемые вычисления
Открытые стандарты, библиотеки, фреймворки
Единая среда для всех команд данных

¹ https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html

Жизненный цикл MLOps

Схема жизненного цикла машинного обучения

MLOps в Lakehouse

DataOps

DataOps

Интеграция данных из разных источников (AutoLoader)
Преобразование данных в чистый, пригодный формат (Delta Live Tables)
Создание признаков для моделей (Feature Store)

MLOps в Lakehouse

ModelOps

ModelOps

Разработка и обучение моделей (Notebooks)
Шаблоны и автоматизация МО (AutoML)
Отслеживание параметров, метрик и экспериментов (MLFlow)
Централизованное управление моделями (Model Registry)

MLOps в Lakehouse

DevOps

DevOps

Управление доступом к моделям (Unity Catalog)
Непрерывная интеграция и доставка (CI/CD) версий моделей (Model Registry)
Развёртывание моделей для использования (Serving Endpoints)

Давайте повторим!

Концепции Databricks

Preparing Video For Download...