Огляд Lakehouse AI

Концепції Databricks

Kevin Barlow

Data Practitioner

Lakehouse AI

Схема Lakehouse High Level

Чому Lakehouse для AI / ML?

  1. Надійні дані та файли в Delta Lake
  2. Високомасштабовані обчислення
  3. Відкриті стандарти, бібліотеки, фреймворки
  4. Уніфікація з іншими дата-командами
1 https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
Концепції Databricks

Життєвий цикл MLOps

Діаграма життєвого циклу машинного навчання

Концепції Databricks

MLOps у Lakehouse

DataOps

DataOps

  • Інтеграція даних з різних джерел (AutoLoader)
  • Перетворення даних у чистий, придатний формат (Delta Live Tables)
  • Створення корисних ознак для моделей (Feature Store)
Концепції Databricks

MLOps у Lakehouse

ModelOps

ModelOps

  • Розробка й тренування різних моделей (Notebooks)
  • Шаблони та автоматизація ML (AutoML)
  • Відстеження параметрів, метрик і спроб (MLFlow)
  • Централізація та використання моделей (Model Registry)
Концепції Databricks

MLOps у Lakehouse

DevOps

DevOps

  • Керування доступом до різних моделей (Unity Catalog)
  • Безперервна інтеграція й розгортання (CI/CD) версій моделей (Model Registry)
  • Розгортання моделей для споживання (Serving Endpoints)
Концепції Databricks

Повторимо!

Концепції Databricks

Preparing Video For Download...