Práce s nestrukturovanými daty

Snowflake Architecture

Emily Melhuish

Technical Curriculum Developer, Snowflake

Nad rámec tabulek

Cloud obsahující soubory jako PDF, obrázky a zvuk

Snowflake Architecture

Stage: místo pro ukládání souborů

Znázornění interní a externí stage

  • Interní: spravuje Snowflake

  • Externí: soubory v cloudu

  • Nestrukturovaná data jsou uložena ve stage

Snowflake Architecture

Adresářové tabulky

directory_table_top.png

Snowflake Architecture

Syntaxe adresářových tabulek

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Obnovení metadat adresáře (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Snowflake Architecture

Adresářové tabulky

directory_table_final.png

Snowflake Architecture

Dotazování na adresářovou tabulku

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Audit souborů ve stage
  • Identifikace zastaralých souborů
  • Vstup pro navazující procesy
Snowflake Architecture

Předem podepsané URL

  • Externí partneři a aplikace nemají přístup ke stage
  • Snowflake může zpřístupnit URL nebo přihlašovací údaje: URL stage, URL s omezeným rozsahem, předem podepsané URL a pomocné funkce

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);

  • Zadáte stage, cestu k souboru a dobu platnosti v sekundách

  • Vhodné pro partnery bez přístupu do Snowflake

Snowflake Architecture

Pojďme si to procvičit!

Snowflake Architecture

Preparing Video For Download...