Продвинутые техники колоночных баз данных

Введение в NoSQL

Jake Roach

Data Engineer

Микропартиционирование данных в Snowflake

Микропартиционирование:

  • Создаёт небольшие «блоки» строк в колоночном формате
  • Хранит метаданные о каждой партиции

$$

Это позволяет:

  • Выполнять отсечение запросов и сокращать объём обрабатываемых данных
  • Эффективно выполнять операции DML (язык манипулирования данными)
1 https://docs.snowflake.com/en/user-guide/tables-clustering-micropartitions
Введение в NoSQL

Микропартиционирование данных

Несколько таблиц Snowflake с данными до и после микропартиционирования.

Введение в NoSQL

Кластеризация данных в Snowflake

Кластеризация данных:

  • Организация и группировка схожих элементов данных
  • Выполняется автоматически при загрузке данных

$$

Это позволяет:

  • Сокращать объём данных, обрабатываемых при выполнении запроса
  • Повышать производительность запросов
1 https://docs.snowflake.com/en/user-guide/tables-clustering-micropartitions
Введение в NoSQL

Кластеризация данных

Таблицы Snowflake до и после кластеризации.

Введение в NoSQL

Отсечение запросов

SELECT
    title,
    author,
    price
FROM books
WHERE
    price > 25.00;

Микропартиционирование и кластеризация данных позволяют:

  • Сокращать объём сканируемых данных
  • Ускорять получение результатов

Таблица Snowflake с микропартиционированием и кластеризацией для отсечения запросов.

Введение в NoSQL

Давайте потренируемся!

Введение в NoSQL

Preparing Video For Download...