Daten ingestieren

Einführung in Databricks SQL

Kevin Barlow

Data Manager

Motivation

Lakehouse-Flussdiagramm

Einführung in Databricks SQL

Das Lakehouse erstellen

Lakehouse-Flussdiagramm – Ingestion

Einführung in Databricks SQL

GUI-Optionen

Lakeflow Connect

  • Integrierte Konnektoren zum Dateningest
    • Datenbanken
    • SaaS-Anwendungen
  • Erstellt Pipelines, um Daten aktuell zu halten

Lakeflow Connect

Daten-Upload

  • Dateien manuell hochladen
    • CSV, Parquet usw.
  • Schnell neue Delta-Tabellen erstellen
  • Ideal für Ad-hoc-Uploads

Manueller Daten-Upload

Einführung in Databricks SQL

Daten ins Lakehouse bringen

COPY INTO

  • Daten aus Cloud-Objektspeicher direkt in Delta-Tabellen kopieren
  • Besser für eher statische Datasets
  • Läuft nativ im SQL Editor
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

  • Lädt neue Dateien aus Cloud-Speicher automatisch ein
  • Besser für große, sich ändernde Datasets
  • Nutzt Delta Live Tables in SQL
CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")
Einführung in Databricks SQL

Lass uns üben!

Einführung in Databricks SQL

Preparing Video For Download...