Nạp dữ liệu

Nhập môn Databricks SQL

Kevin Barlow

Data Manager

Động lực

Sơ đồ luồng Lakehouse

Nhập môn Databricks SQL

Tạo lakehouse

Sơ đồ luồng Lakehouse - Ingestion

Nhập môn Databricks SQL

Tùy chọn dựa trên GUI

Lakeflow Connect

  • Trình kết nối tích hợp để nạp dữ liệu
    • Cơ sở dữ liệu
    • Ứng dụng SaaS
  • Tạo pipeline để luôn cập nhật dữ liệu

Lakeflow Connect

Tải dữ liệu lên

  • Tải tệp thủ công
    • CSV, Parquet, v.v.
  • Nhanh chóng tạo bảng Delta mới
  • Phù hợp tải dữ liệu ad hoc

Tải dữ liệu thủ công

Nhập môn Databricks SQL

Đưa dữ liệu vào lakehouse

COPY INTO

  • Sao chép dữ liệu từ lưu trữ đối tượng đám mây trực tiếp vào bảng Delta
  • Phù hợp tập dữ liệu tĩnh hơn
  • Chạy trực tiếp trong SQL Editor
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

  • Tự động nạp tệp dữ liệu mới từ lưu trữ đám mây
  • Phù hợp tập dữ liệu lớn và thay đổi
  • Tận dụng Delta Live Tables trong SQL
CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")
Nhập môn Databricks SQL

Let's practice!

Nhập môn Databricks SQL

Preparing Video For Download...