Vì sao Lakehouse?

Giới thiệu về Databricks Lakehouse

Gang Wang

Senior Data Scientist

Bạn sẽ học gì

$$

$$

logo Databricks dạng xếp chồng, full color

$$

Khám phá Databricks Lakehouse

  1. Cách tổ chức dữ liệu trong lakehouse
  2. Cách quản lý compute và notebook
  3. Cách quản trị và chia sẻ dữ liệu an toàn
  4. Cách triển khai lên production
Giới thiệu về Databricks Lakehouse

Gặp gỡ giảng viên

       

Gang Wang

  • Senior Data Scientist

  • Origin Energy, Australia (2021–nay)

  • Hơn 9 năm kinh nghiệm sau PhD

       

Giới thiệu về Databricks Lakehouse

Lời hứa của data lake

$$

recraft: half: Một nhà kho lớn mở, chứa đầy thùng và kiện đủ màu và kích cỡ, tượng trưng cho lưu trữ dữ liệu thô đa dạng

$$

  • Lưu trữ mọi dữ liệu với chi phí thấp
  • Có cấu trúc, bán cấu trúc, phi cấu trúc
  • Schema-on-read linh hoạt
Giới thiệu về Databricks Lakehouse

Mặt tối của lake

$$

  • Không có đảm bảo về chất lượng dữ liệu
  • Không có quản trị hay kiểm soát truy cập tích hợp sẵn
  • "Data swamp" – khó tìm dữ liệu đáng tin
  • Cần công cụ riêng cho analytics và AI

$$

recraft: half: Một đầm lầy tối đục với dây leo rối rắm và các tệp rơi chìm trong bùn, tượng trưng data swamp với dữ liệu thất lạc và kém tin cậy

Giới thiệu về Databricks Lakehouse

Đánh đổi của warehouse

$$

  • Tin cậy và hiệu năng tốt
  • Quản trị chặt chẽ
  • Nhưng đắt và cứng nhắc
  • Chỉ hỗ trợ dữ liệu có cấu trúc

$$

recraft: half: Một thư viện gọn gàng với sách xếp ngay ngắn trên kệ, tượng trưng cho lưu trữ dữ liệu có cấu trúc, đáng tin cậy

Giới thiệu về Databricks Lakehouse

Lakehouse xuất hiện

$$

so sánh: Data Lake, Linh hoạt, Rẻ, Phi cấu trúc | Data Warehouse, Tin cậy, Quản trị tốt, Cứng nhắc

Giới thiệu về Databricks Lakehouse

Vì sao Databricks làm được?

$$

  • Định dạng tệp mở (Delta Lake)
  • Giao dịch ACID trên lake
  • Quản trị hợp nhất (Unity Catalog)
  • Một nền tảng cho analytics, AI và ứng dụng

$$

nanobanana: half: Bốn khối xếp chồng thành tháp, từ dưới lên: Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI, phong cách infographic hiện đại, sạch

Giới thiệu về Databricks Lakehouse

Lakehouse nâng chất lượng dữ liệu

$$

lưu đồ: Raw Data, Schema Enforcement, ACID Transactions, Governed and Trusted

$$

  • Áp quy tắc schema khi ghi
  • Nhật ký giao dịch theo dõi mọi thay đổi
  • Time travel – truy vấn phiên bản lịch sử
Giới thiệu về Databricks Lakehouse

Tóm tắt

$$

  • Data lake – linh hoạt nhưng kém tin cậy
  • Data warehouse – tin cậy nhưng cứng nhắc và tốn kém
  • Lakehouse – kết hợp cả hai trên một nền tảng
  • Vận hành bởi Delta Lake, ACID và Unity Catalog
Giới thiệu về Databricks Lakehouse

Cùng luyện tập nào!

Giới thiệu về Databricks Lakehouse

Preparing Video For Download...