Từ triển khai thủ công đến tự động

Giới thiệu về Databricks Lakehouse

Gang Wang

Senior Data Scientist

Vấn đề của triển khai thủ công

$$

  • Cấu hình job qua UI, từng cái một
  • Sao chép notebook vào thư mục production thủ công
  • Thiết lập trôi dạt giữa staging và production
  • Không có cách tái tạo triển khai từ đầu

$$

recraft: half: Một người ngồi tại bàn làm việc bừa bộn đầy giấy nhớ và giấy tờ lộn xộn, biểu trưng cho sự hỗn loạn của quy trình triển khai thủ công

Giới thiệu về Databricks Lakehouse

Vì sao điều này quan trọng ở quy mô lớn

$$

  • Một dự án điển hình có jobs, pipelines, clusters, permissions, và schedules
  • Mỗi phần được cấu hình riêng trong UI
  • Một thành viên rời đi - kiến thức cấu hình cũng ra đi theo
  • Khi bị audit hỏi "tháng trước thay đổi gì?" - không có câu trả lời rõ ràng

$$

recraft: half: Bảng trắng văn phòng phủ đầy sơ đồ rối rắm, ghi chú bị gạch bỏ và dấu hỏi, biểu trưng cho việc thất thoát kiến thức tổ chức và hỗn loạn cấu hình

Giới thiệu về Databricks Lakehouse

Databricks Asset Bundles là gì?

$$

radial: Databricks Asset Bundles

$$

  • Mọi thứ trong một thư mục dự án, được version trong Git, triển khai bằng một lệnh CLI
Giới thiệu về Databricks Lakehouse

Ưu điểm của DAB

$$

  • Tái tạo được - triển khai cùng cấu hình mỗi lần
  • Quản lý phiên bản - thay đổi được theo dõi trong Git
  • Thăng cấp môi trường - dev → staging → prod
  • Tích hợp CI/CD - tự động hóa triển khai trong pipelines

$$

recraft: half: Dây chuyền lắp ráp nhà máy với các hộp giống hệt nhau được sản xuất liên tục trên băng chuyền, biểu trưng cho triển khai tự động có thể tái tạo

Giới thiệu về Databricks Lakehouse

Truyền thống so với DAB

$$

Truyền thống DAB
Cấu hình Nhấp trong UI Tệp YAML trong Git
Khả năng tái tạo Thủ công, dễ lỗi Tự động, nhất quán
Thăng cấp môi trường Sao chép và cấu hình lại bundle deploy --target prod
Hoàn nguyên Dựng lại theo trí nhớ git revert + triển khai lại
Cộng tác Mỗi lần một người Quy trình Git đầy đủ

Giới thiệu về Databricks Lakehouse

Tóm tắt

$$

  • Triển khai thủ công qua UI mong manh và không mở rộng được
  • Databricks Asset Bundles mô tả dự án của bạn bằng YAML
  • Lợi ích: tái tạo, quản lý phiên bản, CI/CD, thăng cấp môi trường
  • Mọi thứ nằm trong Git - một nguồn sự thật duy nhất cho triển khai của bạn
Giới thiệu về Databricks Lakehouse

Cùng luyện tập nào!

Giới thiệu về Databricks Lakehouse

Preparing Video For Download...