Работа с неструктурированными данными

Архитектура Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

За пределами таблиц

Облако с файлами: PDF, изображения, аудио

Архитектура Snowflake

Стейджи: место хранения файлов

Внутренний и внешний стейджи

  • Внутренний: управляется Snowflake
  • Внешний: файлы в облаке

  • Неструктурированные данные хранятся в стейдже

Архитектура Snowflake

Каталожные таблицы

directory_table_top.png

Архитектура Snowflake

Синтаксис каталожных таблиц

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Обновление метаданных каталога (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Архитектура Snowflake

Каталожные таблицы

directory_table_final.png

Архитектура Snowflake

Запрос к каталожной таблице

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Аудит файлов в стейдже
  • Выявление устаревших файлов
  • Передача данных в последующие процессы
Архитектура Snowflake

Предподписанные URL

  • Внешние партнёры и приложения не имеют доступа к стейджу
  • Snowflake может предоставить URL или учётные данные: Stage URL, scoped URL, предподписанные URL и вспомогательные функции

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);
  • Передаётся стейдж, путь к файлу и время жизни в секундах

  • Подходит для партнёров без учётной записи Snowflake

Архитектура Snowflake

Давайте попрактикуемся!

Архитектура Snowflake

Preparing Video For Download...