Příjem dat

Úvod do Databricks SQL

Kevin Barlow

Data Manager

Motivace

Diagram toku Lakehouse

Úvod do Databricks SQL

Vytvoření lakehouse

Diagram toku Lakehouse – příjem dat

Úvod do Databricks SQL

Možnosti přes GUI

Lakeflow Connect

  • Vestavěné konektory pro příjem dat
    • Databáze
    • SaaS aplikace
  • Vytváří pipeline pro průběžnou aktualizaci dat

Lakeflow Connect

Nahrání dat

  • Ruční nahrání souborů
    • CSV, Parquet apod.
  • Rychlé vytvoření nových Delta tabulek
  • Vhodné pro jednorázový příjem dat

Ruční nahrání dat

Úvod do Databricks SQL

Načítání dat do lakehouse

COPY INTO

  • Kopíruje data z cloudového úložiště přímo do Delta tabulek
  • Vhodné pro statičtější datové sady
  • Lze spustit přímo v SQL Editoru
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

  • Automaticky přijímá nové soubory z cloudového úložiště
  • Vhodné pro větší a měnící se datové sady
  • Využívá Delta Live Tables v SQL
CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")
Úvod do Databricks SQL

Pojďme procvičovat!

Úvod do Databricks SQL

Preparing Video For Download...