Ingesta de datos

Introducción a Databricks SQL

Kevin Barlow

Data Manager

Motivación

Diagrama de flujo del lakehouse

Diagrama de flujo del lakehouse - Ingesta

Lakeflow Connect

Carga de datos manual

Copia datos del almacenamiento de objetos en la nube directamente en tablas Delta
Mejor para datasets más estáticos
Puede ejecutarse de forma nativa en SQL Editor

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")

Introducción a Databricks SQL