Načítání strukturovaných a polostrukturovaných dat

Snowflake Architecture

Emily Melhuish

Technical Curriculum Developer, Snowflake

Pracovní postup načítání dat

Schéma pracovního postupu načítání – soubory putují do stage a poté jsou načteny do Snowflake

Soubory se uloží do stage, poté je načtěte příkazem COPY INTO

Co je stage?

Stage = dočasné úložiště

Diagram znázorňující, co je stage ve Snowflake

Vytvoření interního stage

CREATE STAGE snowy_peak_stage;

Vytvoření externího stage

CREATE STAGE my_s3_stage
  STORAGE_INTEGRATION = s3_int
  URL = 's3://snowy-peak-data/raw/';

Načítání dat do Snowflake

COPY INTO

Hromadné načítání ze stage
Strukturovaná a polostrukturovaná data
Škálovatelné

INSERT

Vhodné pro malý počet řádků bez stage
Jednorázová přidání nebo drobné změny

Snowsight UI

Netechničtí uživatelé a rychlé jednorázové úlohy

Prohlížení stage pomocí LIST

Načítání strukturovaných dat pomocí COPY INTO

Dotaz

CREATE OR REPLACE FILE FORMAT csv_format
  TYPE = CSV
  SKIP_HEADER = 1;

COPY INTO orders
FROM @snowy_peak_stage/orders.csv
FILE_FORMAT = (FORMAT_NAME = csv_format);

Načítání a dotazování polostrukturovaných dat

Načítání

JSON se načítá do speciálního sloupce Snowflake typu VARIANT.

CREATE TABLE events (raw_event VARIANT);

COPY INTO events
FROM @snowy_peak_stage/events.json
FILE_FORMAT = (TYPE = JSON);

Dotazování

Pro navigaci ve struktuře JSON použijte dvojtečkovou notaci.

SELECT 
raw_event:user_id::STRING AS user_id,
raw_event:event_type::STRING 
AS event_type
FROM events;

Načítání pomocí uživatelského rozhraní

Snímek obrazovky uživatelského rozhraní Snowflake

Pojďme si procvičit!

Snowflake Architecture