Travailler avec des données non structurées

Architecture de Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Au-delà des tables

Nuage contenant des fichiers comme des PDF, images et audio

Architecture de Snowflake

Stages : zone d’atterrissage des fichiers

Représentation d’un stage interne + externe

  • Interne : géré par Snowflake

  • Externe : fichiers dans le Cloud

  • Les données non structurées résident dans un stage

Architecture de Snowflake

Tables de répertoire

directory_table_top.png

Architecture de Snowflake

Syntaxe des tables de répertoire

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Actualiser les métadonnées du répertoire (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Architecture de Snowflake

Tables de répertoire

table de répertoire finale

Architecture de Snowflake

Interroger une table de répertoire

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Auditer les fichiers dans le stage
  • Identifier les fichiers obsolètes
  • Alimenter les processus aval
Architecture de Snowflake

URLs pré-signées

  • Les partenaires et applications externes ne peuvent pas accéder à un stage
  • Snowflake peut exposer une URL ou des identifiants pour leur donner l’accès : URLs de stage, URLs de fichier à portée, URLs pré-signées et assistants associés

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);

  • Vous passez le stage, le chemin du fichier et la durée de vie en secondes

  • Utile pour les partenaires sans compte Snowflake

Architecture de Snowflake

Passons à la pratique !

Architecture de Snowflake

Preparing Video For Download...