Ładowanie danych strukturalnych i częściowo strukturalnych

Architektura Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Przepływ ładowania danych

Schemat przepływu ładowania – pliki trafiają do stage'a, a następnie są ładowane do Snowflake

  • Pliki trafiają do stage'a; COPY INTO ładuje je do Snowflake
Architektura Snowflake

Czym jest stage?

Stage = tymczasowa lokalizacja przechowywania

Diagram przedstawiający stage w Snowflake

Tworzenie stage'a wewnętrznego

CREATE STAGE snowy_peak_stage;

Tworzenie stage'a zewnętrznego

CREATE STAGE my_s3_stage
  STORAGE_INTEGRATION = s3_int
  URL = 's3://snowy-peak-data/raw/';
Architektura Snowflake

Ładowanie danych do Snowflake

COPY INTO

  • Masowe ładowanie ze stage'a
  • Dane strukturalne i częściowo strukturalne
  • Skalowalność

INSERT

  • Idealne do małej liczby wierszy bez stagingu
  • Jednorazowe dodania lub drobne zmiany

Snowsight UI

  • Użytkownicy nietechniczni i jednorazowe zadania
Architektura Snowflake

Przeglądanie stage'a za pomocą LIST

snowflake_list_stage.png

Architektura Snowflake

Ładowanie danych strukturalnych za pomocą COPY INTO

Zapytanie

CREATE OR REPLACE FILE FORMAT csv_format
  TYPE = CSV
  SKIP_HEADER = 1;

COPY INTO orders
FROM @snowy_peak_stage/orders.csv
FILE_FORMAT = (FORMAT_NAME = csv_format);
Architektura Snowflake

Ładowanie i odpytywanie danych częściowo strukturalnych

Ładowanie

JSON jest ładowany do specjalnego typu kolumny Snowflake – VARIANT.

CREATE TABLE events (raw_event VARIANT);

COPY INTO events
FROM @snowy_peak_stage/events.json
FILE_FORMAT = (TYPE = JSON);

Odpytywanie

Do nawigacji po strukturze JSON używa się notacji dwukropkowej.

SELECT 
raw_event:user_id::STRING AS user_id,
raw_event:event_type::STRING 
AS event_type
FROM events;
Architektura Snowflake

Ładowanie przez interfejs użytkownika

Zrzut ekranu interfejsu Snowflake

Architektura Snowflake

Czas na ćwiczenia!

Architektura Snowflake

Preparing Video For Download...