Các loại cluster và runtime

Giới thiệu về Databricks Lakehouse

Gang Wang

Senior Data Scientist

Cluster là gì?

$$

Một tập máy ảo chạy mã của bạn
Một nút driver điều phối công việc
Một hoặc nhiều nút worker xử lý dữ liệu
Cluster đọc dữ liệu từ bộ nhớ đám mây

$$

$$

phân cấp: Driver Node, Worker 1, Worker 2, Worker 3, Cloud Storage

All-purpose clusters

$$

Phát triển tương tác và truy vấn ad-hoc
Chia sẻ cho nhiều người trong nhóm
Chạy cho đến khi bạn dừng thủ công
Hãy hình dung như xe riêng của bạn - luôn sẵn sàng, nhưng vẫn tốn phí khi đỗ

$$

recraft: half: Một chiếc xe hơi cá nhân đỗ trong lối vào, luôn sẵn sàng nhưng vẫn tốn tiền khi không dùng, đại diện cho tài nguyên tính toán luôn bật

Jobs clusters

$$

Tạo tự động khi job bắt đầu
Chạy một tác vụ rồi kết thúc
Không cần quản lý thủ công
Tối ưu chi phí cho workload sản xuất

$$

recraft: half: Một chiếc taxi hiện đại với đồng hồ sáng trên nóc, đại diện cho tài nguyên tính toán theo nhu cầu, tự chạy và tự dừng

Dùng loại nào khi nào?

$$

so sánh: All-Purpose, Interactive dev, Notebook work, Ad-hoc SQL, Team sharing | Jobs, Nightly ETL, Scheduled reports, Auto testing, Production

Lỗi phổ biến: chạy pipeline sản xuất trên all-purpose clusters

Databricks Runtime

$$

Bộ phần mềm có phiên bản chạy trên mọi cluster
Gồm Apache Spark, Delta Lake, Python, R, Scala
Bản LTS - hỗ trợ dài hạn, khuyên dùng cho sản xuất
ML Runtime bổ sung sẵn thư viện ML

$$

các lớp: Runtime 15.4 LTS, Apache Spark 3.5.x, Delta Lake 3.2.x, Python 3.11 / Scala 2.12 / R 4.3, System Libraries

Tóm tắt

$$

All-purpose clusters - tương tác, chia sẻ, quản lý thủ công
Jobs clusters - tự động, một tác vụ, tối ưu chi phí
Databricks Runtime - bộ phần mềm có phiên bản (dùng LTS cho sản xuất)
Chọn loại cluster phù hợp workload để kiểm soát chi phí

Cùng luyện tập nào!

Giới thiệu về Databricks Lakehouse

Preparing Video For Download...