Travailler avec des données non structurées

Architecture de Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Au-delà des tables

Nuage incluant des fichiers comme des PDF, images et audio

Architecture de Snowflake

Étages : zone d’atterrissage pour fichiers

Représentant un étage interne + externe

  • Interne : géré par Snowflake

  • Externe : fichiers dans le nuage

  • les données non structurées résident dans un étage

Architecture de Snowflake

Tables de répertoire

sommet de la table de répertoire

Architecture de Snowflake

Syntaxe des tables de répertoire

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Actualiser les métadonnées du répertoire (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Architecture de Snowflake

Tables de répertoire

table de répertoire finale

Architecture de Snowflake

Interroger une table de répertoire

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Auditer les fichiers dans l’étage
  • Repérer les fichiers obsolètes
  • Alimenter les processus en aval
Architecture de Snowflake

URLs présignées

  • Les partenaires et applications externes ne peuvent pas accéder à un étage
  • Snowflake peut exposer une URL ou des identifiants pour accorder l’accès : URLs d’étage, URLs de fichier à portée, URLs présignées et utilitaires connexes

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);

  • Vous passez l’étage, le chemin du fichier et la durée de vie en secondes

  • Utile pour les partenaires sans connexion Snowflake

Architecture de Snowflake

Passons à la pratique !

Architecture de Snowflake

Preparing Video For Download...