Nền tảng Dữ liệu Thông minh - Compute

Giới thiệu về Databricks

Kevin Barlow

Data Practitioner

Vì sao tổ chức quan tâm đến compute?

Bánh răng đơn

Hệ bánh răng

Giới thiệu về Databricks

Apache Spark

  • Do các đồng sáng lập Databricks tạo ra
  • Khung nguồn mở
  • Tính toán phân tán hiệu quả cao
  • API cho Python, SQL, Scala, R
  • Phù hợp mọi bài toán:
    • từ kỹ thuật dữ liệu đến máy học và BI

Xem một số khóa học Apache Spark trên DataCamp!

Logo Apache Spark

Giới thiệu về Databricks

Loại cụm

Classic

  • Tài nguyên compute (máy ảo) được tạo trong Compute Plane
  • Databricks cung cấp cấu hình cho cloud của bạn
  • _Ưu_: compute và bảo mật trong môi trường của bạn, tận dụng pool compute sẵn có, v.v.
  • Nhược: khởi động chậm

Databricks Control Plane

Giới thiệu về Databricks

Loại cụm

Serverless

  • Tài nguyên compute (máy ảo) được tạo trong Control Plane
  • Databricks cấp quyền truy cập cho người dùng của bạn
  • _Ưu_: khởi động nhanh, tính năng mới nhất, hiệu năng cao nhất, Databricks tối ưu dần theo thời gian
  • Nhược: compute không nằm trong môi trường của bạn

Kiến trúc Serverless

Giới thiệu về Databricks

Single-node vs. Multi-node

Single-node

  • Cụm chỉ có Driver Node
  • Vẫn chạy được Spark
  • Cũng chạy được framework single-node (ví dụ: pandas)
  • Phù hợp dữ liệu nhỏ

Cụm single-node

Multi-node

  • Cụm có một Driver Node và một hoặc nhiều Worker Node
  • Spark phân tán công việc qua nhiều node
  • Phù hợp dữ liệu lớn

Cụm multi-node

Giới thiệu về Databricks

Databricks Runtime

  • Cài sẵn trên mọi cụm Databricks
    • Bản Spark tối ưu hóa
    • Photon cho truy vấn SQL nhanh hơn
    • Thư viện phổ biến (ví dụ: pandas, dplyr, scikit-learn)
    • Logic kết nối với các dịch vụ Databricks

Khuyến nghị: Dùng bản Runtime Long Term Support (LTS) mới nhất

Cụm với Databricks Runtime

Giới thiệu về Databricks

Ayo berlatih!

Giới thiệu về Databricks

Preparing Video For Download...