Lavorare con dati non strutturati

Architettura di Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Oltre le tabelle

Cloud con file come pdf, immagini e audio

Architettura di Snowflake

Stage: area di atterraggio per file

Rappresentazione di stage interni + esterni

  • Interno: gestito da Snowflake

  • Esterno: file nel Cloud

  • I dati non strutturati risiedono in uno stage

Architettura di Snowflake

Tabelle directory

directory_table_top.png

Architettura di Snowflake

Sintassi delle tabelle directory

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Aggiorna i metadati della directory (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Architettura di Snowflake

Tabelle directory

directory_table_final.png

Architettura di Snowflake

Interrogare una tabella directory

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Controlla i file nello stage
  • Trova file obsoleti
  • Alimenta processi a valle
Architettura di Snowflake

URL pre-firmati

  • Partner e app esterni non possono accedere a uno stage
  • Snowflake può esporre URL o credenziali: Stage URL, scoped file URL, pre-signed URL e helper correlati

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);

  • Passi stage, percorso file e durata in secondi

  • Utile per partner senza login Snowflake

Architettura di Snowflake

Ayo berlatih!

Architettura di Snowflake

Preparing Video For Download...