Trabalhando com dados não estruturados

Arquitetura do Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Além de tabelas

Nuvem com arquivos como pdfs, imagens e áudio

Arquitetura do Snowflake

Stages: zona de aterrissagem para arquivos

Representando stage interno + externo

  • Interno: gerenciado pelo Snowflake

  • Externo: arquivos na nuvem

  • dados não estruturados ficam em um stage

Arquitetura do Snowflake

Tabelas de diretório

directory_table_top.png

Arquitetura do Snowflake

Sintaxe de tabelas de diretório

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Atualizar metadados do diretório (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Arquitetura do Snowflake

Tabelas de diretório

tabela_de_diretório_final.png

Arquitetura do Snowflake

Consultando uma tabela de diretório

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Auditar arquivos no stage
  • Identificar arquivos obsoletos
  • Alimentar processos downstream
Arquitetura do Snowflake

URLs pré-assinadas

  • Parceiros e apps externos não acessam um stage
  • O Snowflake expõe URL ou credenciais para dar acesso: Stage URLs, scoped file URLs, pre-signed URLs e helpers relacionados

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);

  • Passe o stage, o caminho do arquivo e a duração em segundos

  • Útil para parceiros sem login no Snowflake

Arquitetura do Snowflake

Vamos praticar!

Arquitetura do Snowflake

Preparing Video For Download...