匯入資料

Databricks SQL 入門

Kevin Barlow

Data Manager

動機

Lakehouse 流程圖

Databricks SQL 入門

建立 lakehouse

Lakehouse 流程圖－匯入

Databricks SQL 入門

以 GUI 操作的選項

Lakeflow Connect

  • 內建連接器可用於匯入資料
    • 資料庫
    • SaaS 應用程式
  • 建立管線以保持資料最新

Lakeflow Connect

資料上傳

  • 手動上傳你的檔案
    • CSV、Parquet 等
  • 快速建立新的 Delta 資料表
  • 適合臨時上傳

手動上傳資料

Databricks SQL 入門

將資料帶入 lakehouse

COPY INTO

  • 將雲端物件儲存中的資料直接複製到 Delta 資料表
  • 較適合較靜態的資料集
  • 可在 SQL Editor 原生執行
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

  • 自動從雲端儲存匯入新資料檔
  • 較適合大型且經常變動的資料集
  • 在 SQL 中運用 Delta Live Tables
CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")
Databricks SQL 入門

一起來練習吧！

Databricks SQL 入門

Preparing Video For Download...