Lucrul cu date nestructurate

Arhitectura Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Dincolo de tabele

Cloud care conține fișiere precum PDF-uri, imagini și audio

Arhitectura Snowflake

Stage-uri: zona de primire a fișierelor

Reprezentarea unui stage intern și extern

  • Intern: gestionat de Snowflake
  • Extern: fișiere în cloud

  • datele nestructurate sunt stocate într-un stage

Arhitectura Snowflake

Tabele de director

directory_table_top.png

Arhitectura Snowflake

Sintaxa tabelelor de director

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Actualizarea metadatelor directorului (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Arhitectura Snowflake

Tabele de director

directory_table_final.png

Arhitectura Snowflake

Interogarea unui tabel de director

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Auditarea fișierelor din stage
  • Identificarea fișierelor vechi
  • Alimentarea proceselor din aval
Arhitectura Snowflake

URL-uri pre-semnate

  • Partenerii externi și aplicațiile nu pot accesa un stage
  • Snowflake poate expune URL-uri sau credențiale pentru a le acorda acces: URL-uri de stage, URL-uri de fișier cu domeniu limitat, URL-uri pre-semnate și instrumente aferente

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);
  • Se transmit stage-ul, calea fișierului și durata de viață în secunde

  • Util pentru parteneri fără cont Snowflake

Arhitectura Snowflake

Să exersăm!

Arhitectura Snowflake

Preparing Video For Download...