Arbeta med ostrukturerad data

Snowflake-arkitektur

Emily Melhuish

Technical Curriculum Developer, Snowflake

Bortom tabeller

Moln med filer som PDF:er, bilder och ljud

Snowflake-arkitektur

Stages: Landningszonen för filer

Representation av intern och extern stage

  • Intern: Hanteras av Snowflake
  • Extern: Filer i molnet

  • Ostrukturerad data lagras i en stage

Snowflake-arkitektur

Katalogtabeller

directory_table_top.png

Snowflake-arkitektur

Syntax för katalogtabeller

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Uppdatera katalogmetadata (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Snowflake-arkitektur

Katalogtabeller

directory_table_final.png

Snowflake-arkitektur

Fråga en katalogtabell

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Granska filer i stage
  • Identifiera inaktuella filer
  • Mata nedströmsprocesser
Snowflake-arkitektur

Försignerade URL:er

  • Externa partners och applikationer kan inte komma åt en stage
  • Snowflake kan exponera URL eller autentiseringsuppgifter för partneråtkomst: stage-URL:er, begränsade fil-URL:er, försignerade URL:er och tillhörande hjälpfunktioner

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);
  • Ange stage, filsökväg och livstid i sekunder

  • Användbart för partners utan Snowflake-inloggning

Snowflake-arkitektur

Dags att öva!

Snowflake-arkitektur

Preparing Video For Download...