Ladda strukturerad och semistrukturerad data

Snowflake-arkitektur

Emily Melhuish

Technical Curriculum Developer, Snowflake

Inläsningsflödet

Inläsningsflöde som visar filer som går till stage och sedan laddas in i Snowflake

  • Filer placeras i stage, kör COPY INTO för att ladda dem
Snowflake-arkitektur

Vad är en stage?

Stage = tillfällig lagringsplats

Diagram som förklarar vad en stage är i Snowflake

Skapa intern stage

CREATE STAGE snowy_peak_stage;

Skapa extern stage

CREATE STAGE my_s3_stage
  STORAGE_INTEGRATION = s3_int
  URL = 's3://snowy-peak-data/raw/';
Snowflake-arkitektur

Ladda data i Snowflake

COPY INTO

  • Massinläsning från stage
  • Strukturerad och semistrukturerad data
  • Skalbar

INSERT

  • Passar för ett litet antal rader utan staging
  • Engångstillägg eller mindre ändringar

Snowsight-gränssnittet

  • Icke-tekniska användare och snabba engångsuppgifter
Snowflake-arkitektur

Inspektera en stage med LIST

snowflake_list_stage.png

Snowflake-arkitektur

Ladda strukturerad data med COPY INTO

Fråga

CREATE OR REPLACE FILE FORMAT csv_format
  TYPE = CSV
  SKIP_HEADER = 1;

COPY INTO orders
FROM @snowy_peak_stage/orders.csv
FILE_FORMAT = (FORMAT_NAME = csv_format);
Snowflake-arkitektur

Ladda och fråga semistrukturerad data

Inläsning

JSON läses in i en speciell Snowflake-kolumntyp kallad VARIANT.

CREATE TABLE events (raw_event VARIANT);

COPY INTO events
FROM @snowy_peak_stage/events.json
FILE_FORMAT = (TYPE = JSON);

Frågor

Använd kolonsyntax för att navigera JSON-strukturen,

SELECT 
raw_event:user_id::STRING AS user_id,
raw_event:event_type::STRING 
AS event_type
FROM events;
Snowflake-arkitektur

Ladda data via gränssnittet

Skärmbild av Snowflake-gränssnittet

Snowflake-arkitektur

Laten we oefenen!

Snowflake-arkitektur

Preparing Video For Download...