Quản lý và cấu hình cụm

Giới thiệu về Databricks Lakehouse

Gang Wang

Senior Data Scientist

Tìm cụm của bạn

$$

All Clusters - mọi thứ trong workspace
My Clusters - các cụm bạn đã tạo
Shared with Me - cụm người khác cấp quyền cho bạn
Lọc theo trạng thái: Running, Terminated

$$

tủ hồ sơ với các bìa màu và nhãn thể hiện phân loại, tượng trưng cho lọc và tổ chức cụm

Trạng thái cụm

sơ đồ luồng: Pending, Running, Restarting, Terminating, Terminated

Kết thúc: giữ gì và mất gì

so sánh: Giữ lại, Configuration, Notebooks, Cloud storage | Mất, In-memory data, Installed libraries, Temp files

Kết thúc không phải xóa - cấu hình và notebook vẫn còn
Dữ liệu trong bộ nhớ, bộ đệm và gói pip cài đặt sẽ bị xóa

Khi nào nên khởi động lại

$$

Cài library mới nhưng không tải được
Cụm hoạt động không ổn định hoặc chạy chậm
Cần xóa dữ liệu cache khỏi bộ nhớ
Đã cập nhật init script hoặc biến môi trường

$$

recraft: half: Biểu tượng nút nguồn với mũi tên tròn quanh, phát sáng xanh lam và xanh lục, tượng trưng cho khởi động lại hoặc làm mới hệ thống

Autoscaling và auto-termination

$$

Autoscaling và Auto-termination

$$

Autoscaling thêm hoặc bớt worker theo nhu cầu
Xử lý tải biến động mà không cấp thừa tài nguyên
Auto-termination tắt sau một khoảng rảnh cấu hình sẵn
Tránh cụm bị quên gây tốn ngân sách

Cluster policies

$$

Rào chắn do admin đặt khi tạo cụm
Giới hạn loại node, số worker tối đa và phiên bản runtime
Buộc bật auto-termination và gắn thẻ
Người dùng tạo cụm trong phạm vi policy

$$

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}

Tóm tắt

$$

Lọc cụm để tìm nhanh thứ bạn cần
Kết thúc tiết kiệm chi phí nhưng xóa bộ nhớ và thư viện
Khởi động lại để nhận library mới hoặc xử lý sự cố
Autoscaling và auto-termination tự động kiểm soát chi phí
Cluster policies cho phép admin áp dụng tiêu chuẩn

Cùng luyện tập nào!

Giới thiệu về Databricks Lakehouse

Preparing Video For Download...