Prezentare generală Lakehouse AI

Concepte Databricks

Kevin Barlow

Data Practitioner

Lakehouse AI

Diagramă de nivel înalt Lakehouse

De ce Lakehouse pentru AI / ML?

  1. Date și fișiere fiabile în Delta Lake
  2. Calcul foarte scalabil
  3. Standarde, biblioteci și cadre deschise
  4. Unificare cu celelalte echipe de date
1 https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
Concepte Databricks

Ciclul de viață MLOps

Diagrama ciclului de viață Machine Learning

Concepte Databricks

MLOps în Lakehouse

DataOps

DataOps

  • Integrarea datelor din surse multiple (AutoLoader)
  • Transformarea datelor într-un format utilizabil și curat (Delta Live Tables)
  • Crearea de caracteristici utile pentru modele (Feature Store)
Concepte Databricks

MLOps în Lakehouse

ModelOps

ModelOps

  • Dezvoltarea și antrenarea modelelor (Notebooks)
  • Șabloane ML și automatizare (AutoML)
  • Urmărirea parametrilor, metricilor și experimentelor (MLFlow)
  • Centralizarea și consumul modelelor (Model Registry)
Concepte Databricks

MLOps în Lakehouse

DevOps

DevOps

  • Guvernarea accesului la modele (Unity Catalog)
  • Integrare și livrare continuă (CI/CD) pentru versiuni de modele (Model Registry)
  • Implementarea modelelor pentru consum (Serving Endpoints)
Concepte Databricks

Să recapitulăm!

Concepte Databricks

Preparing Video For Download...