Přehled Lakehouse AI

Databricks Concepts

Kevin Barlow

Data Practitioner

Lakehouse AI

Schéma architektury Lakehouse

Proč Lakehouse pro AI / ML?

  1. Spolehlivá data a soubory v Delta Lake
  2. Vysoce škálovatelný výpočetní výkon
  3. Otevřené standardy, knihovny a frameworky
  4. Sjednocení s ostatními datovými týmy
1 https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
Databricks Concepts

Životní cyklus MLOps

Diagram životního cyklu strojového učení

Databricks Concepts

MLOps v Lakehouse

DataOps

DataOps

  • Integrace dat z různých zdrojů (AutoLoader)
  • Transformace dat do čistého, použitelného formátu (Delta Live Tables)
  • Vytváření užitečných příznaků pro modely (Feature Store)
Databricks Concepts

MLOps v Lakehouse

ModelOps

ModelOps

  • Vývoj a trénování modelů (Notebooks)
  • Šablony a automatizace strojového učení (AutoML)
  • Sledování parametrů, metrik a pokusů (MLFlow)
  • Centralizace a sdílení modelů (Model Registry)
Databricks Concepts

MLOps v Lakehouse

DevOps

DevOps

  • Správa přístupu k modelům (Unity Catalog)
  • Průběžná integrace a nasazení (CI/CD) verzí modelů (Model Registry)
  • Nasazení modelů pro využití (Serving Endpoints)
Databricks Concepts

Pojďme si zopakovat!

Databricks Concepts

Preparing Video For Download...