Travailler avec des données non structurées

Architecture Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Au-delà des tables

Nuage incluant des fichiers tels que des PDF, des images et de l’audio

Architecture Snowflake

Zones de péparation : La zone de dépôt des fichiers

Représentation des étapes internes + externes

  • Interne : Géré par Snowflake

  • Externe : Fichiers dans le cloud

  • les données non structurées résident dans une zone

Architecture Snowflake

Tables de répertoire

directory_table_top.png

Architecture Snowflake

Syntaxe des tables de répertoire

ACTIVER LE RÉPERTOIRE

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Actualiser les métadonnées du répertoire (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Architecture Snowflake

Tables de répertoire

directory_table_final.png

Architecture Snowflake

Interrogation d’une table de répertoire

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Auditer les fichiers dans la zone de préparation
  • Identifier les fichiers obsolètes
  • Alimenter les processus en aval
Architecture Snowflake

URL pré-signées

  • Environnement préproduction inaccessible aux partenaires externes et applications
  • Snowflake peut exposer une URL ou des identifiants pour accorder l’accès aux partenaires : URL de zone de préparation, URL de fichiers à portée limitée, URL pré-signées et aides associées

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);

  • Vous transmettez l’étape, le chemin du fichier et la durée de vie en secondes

  • Utile pour les partenaires qui n’ont pas accès à Snowflake

Architecture Snowflake

Passons à la pratique !

Architecture Snowflake

Preparing Video For Download...