Pozyskiwanie danych

Wprowadzenie do Databricks SQL

Kevin Barlow

Data Manager

Motywacja

Diagram przepływu w lakehouse

Wprowadzenie do Databricks SQL

Tworzenie lakehouse

Diagram przepływu w lakehouse – pozyskiwanie

Wprowadzenie do Databricks SQL

Opcje graficzne

Lakeflow Connect

  • Wbudowane konektory do pozyskiwania danych
    • Bazy danych
    • Aplikacje SaaS
  • Tworzy potoki do bieżącej aktualizacji danych

Lakeflow Connect

Przesyłanie danych

  • Ręczne przesyłanie plików
    • CSV, Parquet itp.
  • Szybkie tworzenie nowych tabel Delta
  • Idealne do doraźnego przesyłania danych

Ręczne przesyłanie danych

Wprowadzenie do Databricks SQL

Ładowanie danych do lakehouse

COPY INTO

  • Kopiuje dane z magazynu obiektów w chmurze do tabel Delta
  • Lepsze do bardziej statycznych zbiorów danych
  • Działa natywnie w SQL Editor
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

  • Automatycznie pozyskuje nowe pliki z magazynu w chmurze
  • Lepsze dla większych i zmieniających się zbiorów danych
  • Wykorzystuje Delta Live Tables w SQL
CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")
Wprowadzenie do Databricks SQL

Ćwiczenia!

Wprowadzenie do Databricks SQL

Preparing Video For Download...