Tính năng cốt lõi của Databricks Lakehouse Platform

Các khái niệm về Databricks

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark là khung xử lý dữ liệu mã nguồn mở và là động cơ nền tảng của Databricks.

Các khóa học DataCamp

  • Introduction to Pyspark
  • Big Data Fundamentals with Pyspark
  • Cleaning Data with Pyspark
  • Machine Learning with Pyspark
  • Introduction to Spark SQL in Python
Các khái niệm về Databricks

Lợi ích của Spark

Lợi ích chính:

  1. Khung mã nguồn mở linh hoạt, mở rộng được
  2. Cộng đồng phát triển lớn
  3. Hiệu năng cao
  4. Tối ưu hóa từ Databricks

Sơ đồ cụm Spark

1 https://spark.apache.org/docs/latest/cluster-overview.html
Các khái niệm về Databricks

Cơ bản về điện toán đám mây

Điện toán truyền thống

Điện toán đám mây

Các khái niệm về Databricks

Tài nguyên tính toán Databricks

Cụm (Clusters)

  • Tập hợp tài nguyên tính toán
  • Mọi khối lượng công việc, mọi trường hợp sử dụng
  • All-purpose vs. Jobs

Ngôn ngữ được Databricks hỗ trợ

SQL Warehouses

  • Chỉ SQL
  • Trường hợp dùng BI
  • Photon

Ngôn ngữ SQL

Các khái niệm về Databricks

Lưu trữ dữ liệu đám mây

Lưu trữ dữ liệu đám mây - DB

Lưu trữ dữ liệu đám mây - tệp

Các khái niệm về Databricks

Delta

Logo Delta Lake

Delta là định dạng tệp lưu trữ dữ liệu mã nguồn mở, cung cấp:

  • Giao dịch ACID
  • Hợp nhất batch và streaming
  • Tiến hóa lược đồ (schema evolution)
  • Lịch sử bảng
  • Du hành thời gian (time-travel)
1 delta.io
Các khái niệm về Databricks

Unity Catalog

Unity Catalog là chiến lược quản trị dữ liệu mở, kiểm soát truy cập tới mọi tài sản dữ liệu trên Databricks Lakehouse.

  • Câu lệnh SQL GRANT, REVOKE để kiểm soát truy cập
  • Giao diện quản trị đơn giản

Danh mục dữ liệu

Các khái niệm về Databricks

Giao diện Databricks

Thiết kế để truy cập tính năng theo khối lượng công việc dữ liệu của bạn dễ dàng hơn.

  • Mọi người dùng có quyền vào dữ liệu và compute
  • Người dùng SQL có giao diện quen thuộc cho truy vấn và báo cáo
  • Kỹ sư dữ liệu dùng Delta Live Tables
  • Khối lượng công việc ML dùng mô hình, feature, v.v.

Menu Databricks

Các khái niệm về Databricks

Ôn lại!

Các khái niệm về Databricks

Preparing Video For Download...