Tổng quan về Lakehouse AI

Các khái niệm về Databricks

Kevin Barlow

Data Practitioner

Lakehouse AI

Sơ đồ tổng quan Lakehouse

Vì sao Lakehouse cho AI/ML?

  1. Dữ liệu và tệp tin đáng tin cậy trong Delta lake
  2. Tính toán mở rộng cao
  3. Chuẩn mở, thư viện, framework mở
  4. Hợp nhất với các nhóm dữ liệu khác
1 https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
Các khái niệm về Databricks

Vòng đời MLOps

Sơ đồ vòng đời Machine Learning

Các khái niệm về Databricks

MLOps trong Lakehouse

DataOps

DataOps

  • Tích hợp dữ liệu từ nhiều nguồn (AutoLoader)
  • Biến đổi dữ liệu sang định dạng sạch, dùng được (Delta Live Tables)
  • Tạo đặc trưng cho mô hình (Feature Store)
Các khái niệm về Databricks

MLOps trong Lakehouse

ModelOps

ModelOps

  • Phát triển và huấn luyện nhiều mô hình (Notebooks)
  • Mẫu và tự động hóa ML (AutoML)
  • Theo dõi tham số, chỉ số và thử nghiệm (MLFlow)
  • Tập trung và khai thác mô hình (Model Registry)
Các khái niệm về Databricks

MLOps trong Lakehouse

DevOps

DevOps

  • Quản trị truy cập vào các mô hình (Unity Catalog)
  • Tích hợp liên tục và triển khai liên tục (CI/CD) cho phiên bản mô hình (Model Registry)
  • Triển khai mô hình để sử dụng (Serving Endpoints)
Các khái niệm về Databricks

Ôn tập!

Các khái niệm về Databricks

Preparing Video For Download...