Ingestão de dados

Introduction to Databricks SQL

Kevin Barlow

Data Manager

Motivação

Diagrama do fluxo do lakehouse

Introduction to Databricks SQL

Criando o lakehouse

Diagrama do fluxo do lakehouse - Ingestão

Introduction to Databricks SQL

Opções via GUI

Lakeflow Connect

  • Conectores nativos para ingestão de dados
    • Bancos de dados
    • Aplicativos SaaS
  • Cria pipelines para manter os dados atualizados

Lakeflow Connect

Upload de dados

  • Faz upload dos teus arquivos manualmente
    • CSV, Parquet etc.
  • Cria novas tabelas Delta rápido
  • Ótimo para uploads ad hoc

Upload manual de dados

Introduction to Databricks SQL

Trazendo dados para o lakehouse

COPY INTO

  • Copia dados do storage em nuvem direto para tabelas Delta
  • Melhor para datasets mais estáticos
  • Pode rodar nativamente no SQL Editor
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

  • Ingere automaticamente novos arquivos da nuvem
  • Melhor para datasets grandes e dinâmicos
  • Usa Delta Live Tables em SQL
CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")
Introduction to Databricks SQL

Vamos praticar!

Introduction to Databricks SQL

Preparing Video For Download...