Строковое и столбцовое хранение данных

Концепции хранилищ данных

Aaren Stubberfield

Data Scientist

Почему это важно?

  • Оптимизация запросов для повышения скорости
  • Столбцовый формат хранения лучше всего подходит для аналитических нагрузок
Концепции хранилищ данных

Основы компьютерного хранения данных

  • Компьютеры хранят данные в блоках.
  • При извлечении данных считываются нужные блоки.
  • Чем меньше блоков считывается, тем выше скорость.

Символическое изображение жёсткого диска с несколькими блоками хранения

Концепции хранилищ данных

Пример медицинской таблицы

  • CDC (Центры по контролю и профилактике заболеваний)
  • Данные о заражении гриппом по возрастным группам за несколько сезонов
SEASON AGE GROUP HOSPITALIZATION PERCENTAGE
2019 0-17 yr 13.9%
2019 18-49 yr 22.5%
2019 50+ yr 63.7%
2020 0-17 yr 3.9%
2020 18-49 yr 18.1%
2020 50+ yr 78%
2021 0-17 yr 15.6%
2021 18-49 yr 23.3%
2021 50+ yr 61.1%
Концепции хранилищ данных

Пример строкового хранилища

SEASON AGE GROUP HOSPITALIZATION PERCENTAGE
2019 0-17 yr 13.9%
2019 18-49 yr 22.5%
2019 50+ yr 63.7%
2020 0-17 yr 3.9%
2020 18-49 yr 18.1%
2020 50+ yr 78%
2021 0-17 yr 15.6%
2021 18-49 yr 23.3%
2021 50+ yr 61.1%

Символическое изображение жёсткого диска с несколькими блоками хранения, в каждом из которых хранится строка

Концепции хранилищ данных

Пример столбцового хранилища

SEASON AGE GROUP HOSPITALIZATION PERCENTAGE
2019 0-17 yr 13.9%
2019 18-49 yr 22.5%
2019 50+ yr 63.7%
2020 0-17 yr 3.9%
2020 18-49 yr 18.1%
2020 50+ yr 78%
2021 0-17 yr 15.6%
2021 18-49 yr 23.3%
2021 50+ yr 61.1%

Символическое изображение жёсткого диска с несколькими блоками хранения, в каждом из которых хранится столбец

Концепции хранилищ данных

Итоги

Строковое хранилище

  • Данные строки хранятся вместе в блоках
  • Идеально для транзакционных нагрузок

Столбцовое хранилище

  • Данные столбца хранятся вместе в блоках
  • Идеально для аналитических нагрузок
  • Лучшее сжатие данных
Концепции хранилищ данных

Давайте потренируемся!

Концепции хранилищ данных

Preparing Video For Download...