数据摄取

Databricks SQL 入门

Kevin Barlow

Data Manager

动机

湖仓流程图

Databricks SQL 入门

构建湖仓

湖仓流程图 - 摄取

Databricks SQL 入门

基于 GUI 的选项

Lakeflow Connect

  • 内置数据摄取连接器
    • 数据库
    • SaaS 应用
  • 创建流水线以保持数据最新

Lakeflow Connect

数据上传

  • 手动上传文件
    • CSV、Parquet 等
  • 快速创建新的 Delta 表
  • 适合临时上传

手动数据上传

Databricks SQL 入门

将数据引入湖仓

COPY INTO

  • 直接从云对象存储复制到 Delta 表
  • 更适合较静态的数据集
  • 可在 SQL Editor 原生运行
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

  • 从云存储自动摄取新数据文件
  • 更适合更大且经常变化的数据集
  • 在 SQL 中利用 Delta Live Tables
CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")
Databricks SQL 入门

¡Vamos a practicar!

Databricks SQL 入门

Preparing Video For Download...