Ingestia datelor

Introducere în Databricks SQL

Kevin Barlow

Data Manager

Motivație

Diagramă flux Lakehouse

Introducere în Databricks SQL

Crearea lakehouse-ului

Diagramă flux Lakehouse - Ingestie

Introducere în Databricks SQL

Opțiuni bazate pe interfață grafică

Lakeflow Connect

  • Conectori integrați pentru ingestia datelor
    • Baze de date
    • Aplicații SaaS
  • Creează pipeline-uri pentru actualizarea datelor

Lakeflow Connect

Încărcare date

  • Încărcați manual fișierele
    • CSV, Parquet etc.
  • Creați rapid tabele Delta noi
  • Ideal pentru încărcare ad hoc

Încărcare manuală date

Introducere în Databricks SQL

Importul datelor în lakehouse

COPY INTO

  • Copiază date din stocarea cloud direct în tabele Delta
  • Potrivit pentru seturi de date mai statice
  • Poate rula nativ în SQL Editor
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

  • Ingestează automat fișiere noi din stocarea cloud
  • Potrivit pentru seturi de date mari și dinamice
  • Utilizează Delta Live Tables în SQL
CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")
Introducere în Databricks SQL

Să exersăm!

Introducere în Databricks SQL

Preparing Video For Download...