Робота з неструктурованими даними

Архітектура Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Поза межами таблиць

Хмара з файлами: PDF, зображення, аудіо

Архітектура Snowflake

Сховища: зона приймання файлів

Схема внутрішнього й зовнішнього сховища

  • Внутрішнє: керується Snowflake
  • Зовнішнє: файли в хмарі

  • Неструктуровані дані зберігаються у сховищі

Архітектура Snowflake

Таблиці каталогу

directory_table_top.png

Архітектура Snowflake

Синтаксис таблиць каталогу

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Оновити метадані каталогу (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Архітектура Snowflake

Таблиці каталогу

приклад таблиці каталогу

Архітектура Snowflake

Запит до таблиці каталогу

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Аудит файлів у сховищі
  • Виявлення застарілих файлів
  • Живлення наступних процесів
Архітектура Snowflake

Попередньо підписані URL-адреси

  • Зовнішні партнери й застосунки не мають доступу до сховища
  • Snowflake може надати URL або облікові дані: URL сховища, scoped file URLs, pre-signed URLs і пов’язані хелпери

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);
  • Передаєте сховище, шлях до файлу та час життя (секунди)

  • Корисно для партнерів без облікових записів Snowflake

Архітектура Snowflake

Passons à la pratique !

Архітектура Snowflake

Preparing Video For Download...