Mata in data

Introduktion till Databricks SQL

Kevin Barlow

Data Manager

Motivation

Lakehouse flödesdiagram

Introduktion till Databricks SQL

Skapa lakehouse

Lakehouse flödesdiagram – inmatning

Introduktion till Databricks SQL

GUI-baserade alternativ

Lakeflow Connect

  • Inbyggda anslutningar för datainmatning
    • Databaser
    • SaaS-applikationer
  • Skapar pipelines som håller data uppdaterad

Lakeflow Connect

Datauppladdning

  • Ladda upp filer manuellt
    • CSV, Parquet m.m.
  • Skapa nya Delta-tabeller snabbt
  • Passar bra för ad hoc-uppladdning

Manuell datauppladdning

Introduktion till Databricks SQL

Hämta data till lakehouse

COPY INTO

  • Kopiera data från molnlagring direkt till Delta-tabeller
  • Passar bäst för mer statiska datamängder
  • Kan köras direkt i SQL Editor
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

  • Läser automatiskt in nya datafiler från molnlagring
  • Passar bäst för större och föränderliga datamängder
  • Använder Delta Live Tables i SQL
CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")
Introduktion till Databricks SQL

Nu kör vi en övning!

Introduktion till Databricks SQL

Preparing Video For Download...