Ikhtisar Lakehouse AI

Konsep Databricks

Kevin Barlow

Data Practitioner

Lakehouse AI

Diagram Tingkat Tinggi Lakehouse

Mengapa Lakehouse untuk AI/ML?

  1. Data dan file andal di Delta Lake
  2. Komputasi sangat skalabel
  3. Standar, pustaka, dan kerangka kerja terbuka
  4. Terpadu dengan tim data lain
1 https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
Konsep Databricks

Siklus Hidup MLOps

Diagram Siklus Hidup Machine Learning

Konsep Databricks

MLOps di Lakehouse

DataOps

DataOps

  • Integrasi data dari berbagai sumber (AutoLoader)
  • Transformasi data ke format bersih dan siap pakai (Delta Live Tables)
  • Buat fitur untuk model (Feature Store)
Konsep Databricks

MLOps di Lakehouse

ModelOps

ModelOps

  • Kembangkan dan latih berbagai model (Notebooks)
  • Template dan otomatisasi ML (AutoML)
  • Lacak parameter, metrik, dan percobaan (MLFlow)
  • Sentralisasi dan konsumsi model (Model Registry)
Konsep Databricks

MLOps di Lakehouse

DevOps

DevOps

  • Kelola akses ke berbagai model (Unity Catalog)
  • CI/CD untuk versi model (Model Registry)
  • Deploy model untuk konsumsi (Serving Endpoints)
Konsep Databricks

Mari meninjau!

Konsep Databricks

Preparing Video For Download...