Микроразделы и кластеризация данных
Архитектура Snowflake
Emily Melhuish
Technical Curriculum Developer, Snowflake
Микроразделы
- Внутри микроразделов столбцы хранятся и сжимаются отдельно
- Snowflake читает только те столбцы, которые нужны запросу
Метаданные
- Snowflake хранит метаданные для каждого микрораздела
- Хранятся на уровне облачных сервисов
Отсечение разделов
Отсечение разделов
- Snowflake пропускает микроразделы, которые заведомо не содержат нужных данных.
- Читаются только релевантные фрагменты = отсечение разделов
Кластеризация
Запросы по дате часто хорошо поддаются отсечению (например, временные ряды)
Отсечение неэффективно, если значения разбросаны по разделам (например, регион)
Ключ кластеризации: Snowflake организует микроразделы вокруг этого столбца
Ключ кластеризации: когда использовать
Ключ кластеризации: кардинальность и стоимость
