データの取り込み

Databricks SQL 入門

Kevin Barlow

Data Manager

モチベーション

レイクハウスフロー図

レイクハウスの構築

レイクハウスフロー図 - データ取り込み

GUI ベースの方法

Lakeflow Connect

データ取り込み用の組み込みコネクタ
- データベース
- SaaS アプリケーション
データを最新の状態に保つパイプラインを作成

Lakeflow Connect

データアップロード

ファイルを手動でアップロード
- CSV、Parquet など
新しい Delta テーブルを素早く作成
一時的なデータアップロードに最適

手動によるデータアップロード

レイクハウスへのデータ取り込み

COPY INTO

クラウドオブジェクトストレージから Delta テーブルへ直接データをコピー
静的なデータセットに適している
SQL Editor でネイティブに実行可能

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

クラウドストレージから新しいデータファイルを自動的に取り込み
より大規模で変化するデータセットに適している
SQL で Delta Live Tables を活用

CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")

練習しましょう！

Databricks SQL 入門

Preparing Video For Download...