Загрузка данных

Введение в Databricks SQL

Kevin Barlow

Data Manager

Мотивация

Диаграмма потока Lakehouse

Введение в Databricks SQL

Создание lakehouse

Диаграмма потока Lakehouse — загрузка

Введение в Databricks SQL

Инструменты с графическим интерфейсом

Lakeflow Connect

  • Встроенные коннекторы для загрузки данных
    • Базы данных
    • SaaS-приложения
  • Создаёт пайплайны для актуализации данных

Lakeflow Connect

Загрузка файлов

  • Загружайте файлы вручную
    • CSV, Parquet и др.
  • Быстрое создание новых таблиц Delta
  • Удобно для разовой загрузки данных

Загрузка данных вручную

Введение в Databricks SQL

Загрузка данных в lakehouse

COPY INTO

  • Копирует данные из облачного хранилища в таблицы Delta
  • Оптимально для статичных наборов данных
  • Работает непосредственно в SQL Editor
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

  • Автоматически загружает новые файлы из облачного хранилища
  • Оптимально для больших и часто меняющихся наборов данных
  • Использует Delta Live Tables в SQL
CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")
Введение в Databricks SQL

Давайте потренируемся!

Введение в Databricks SQL

Preparing Video For Download...