Trabajar con datos no estructurados

Arquitectura de Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Más allá de las tablas

Nube con archivos como pdf, imágenes y audio

Arquitectura de Snowflake

Stages: zona de aterrizaje para archivos

Representación de stage interno y externo

  • Interno: Gestionado por Snowflake

  • Externo: Archivos en la nube

  • Los datos no estructurados viven en un stage

Arquitectura de Snowflake

Tablas de directorio

directory_table_top.png

Arquitectura de Snowflake

Sintaxis de tablas de directorio

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Actualizar metadatos del directorio (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Arquitectura de Snowflake

Tablas de directorio

tabla de directorio final

Arquitectura de Snowflake

Consultar una tabla de directorio

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Auditar archivos en el stage
  • Detectar archivos obsoletos
  • Alimentar procesos posteriores
Arquitectura de Snowflake

URLs prefirmadas

  • Socios y apps externas no pueden acceder a un stage
  • Snowflake puede exponer URL o credenciales para dar acceso: Stage URLs, scoped file URLs, pre-signed URLs y helpers relacionados

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);

  • Pasas stage, ruta del archivo y tiempo de vida en segundos

  • Útil para socios sin login de Snowflake

Arquitectura de Snowflake

¡Vamos a practicar!

Arquitectura de Snowflake

Preparing Video For Download...