Încărcarea datelor structurate și semi-structurate

Arhitectura Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Fluxul de încărcare

Flux de încărcare care arată fișiere transferate în stage și apoi încărcate în Snowflake

  • Fișierele ajung în stage; executați COPY INTO pentru a le încărca
Arhitectura Snowflake

Ce este un Stage?

Stage = locație de stocare temporară

Diagramă Snowflake - Ce este un Stage

Creare Stage intern

CREATE STAGE snowy_peak_stage;

Creare Stage extern

CREATE STAGE my_s3_stage
  STORAGE_INTEGRATION = s3_int
  URL = 's3://snowy-peak-data/raw/';
Arhitectura Snowflake

Încărcarea datelor în Snowflake

COPY INTO

  • Încărcare în masă din Stage
  • Date structurate și semi-structurate
  • Scalabil

INSERT

  • Potrivit pentru un număr mic de rânduri fără staging
  • Adăugări punctuale sau modificări minore

Interfața Snowsight

  • Utilizatori non-tehnici și sarcini rapide, punctuale
Arhitectura Snowflake

Inspectarea unui Stage cu LIST

snowflake_list_stage.png

Arhitectura Snowflake

Încărcarea datelor structurate cu COPY INTO

Interogare

CREATE OR REPLACE FILE FORMAT csv_format
  TYPE = CSV
  SKIP_HEADER = 1;

COPY INTO orders
FROM @snowy_peak_stage/orders.csv
FILE_FORMAT = (FORMAT_NAME = csv_format);
Arhitectura Snowflake

Încărcarea și interogarea datelor semi-structurate

Încărcare

JSON se încarcă într-un tip special de coloană Snowflake numit VARIANT.

CREATE TABLE events (raw_event VARIANT);

COPY INTO events
FROM @snowy_peak_stage/events.json
FILE_FORMAT = (TYPE = JSON);

Interogare

Utilizați notația cu două puncte pentru a naviga structura JSON.

SELECT 
raw_event:user_id::STRING AS user_id,
raw_event:event_type::STRING 
AS event_type
FROM events;
Arhitectura Snowflake

Încărcare prin interfața UI

Captură de ecran din interfața Snowflake

Arhitectura Snowflake

Să exersăm!

Arhitectura Snowflake

Preparing Video For Download...