Пример проектирования хранилища данных

Концепции хранилищ данных

Aaren Stubberfield

Data Scientist

Постановка задачи

Молодой стартап
Приложение для обмена фотографиями

Человек фотографирует сцену

¹ Фото: Alex Alvarado, unsplash.com

Сверху вниз или снизу вверх?

Соображения:

Важно быстро продемонстрировать бизнес-ценность
Подход сверху вниз требует длительной подготовки

Решение:

Подход снизу вверх
Приоритет — витрина данных по продажам

Kimball — выбор бизнес-процесса (шаг 1)

Соображения:

Какие клиенты покупают фотографии в большом объёме?

Решение:

Разработать процесс покупок клиентов

Kimball — определение гранулярности (шаг 2)

Соображения:

Данные должны быть гибкими для ответа на разные вопросы
Выбор минимально возможной гранулярности

Решение:

Отслеживание покупок клиентов/фотографий

Kimball — определение измерений (шаг 3)

Соображения:

Как пользователи описывают данные, полученные в результате бизнес-процесса?
Приоритизация клиентов

Решение:

Местоположение клиента (страна и штат)
Дата регистрации клиента
Способ оплаты по умолчанию

Kimball — определение фактов (шаг 4)

Соображения:

На какие вопросы мы отвечаем?

Решение:

Время просмотра фото до покупки
Стоимость фото и налог
Дата покупки

Таблица фактов и таблицы измерений

Схема «звезда»: таблицы измерений и таблица фактов

Локальное или облачное внедрение

Соображения:

Нежелательны первоначальные затраты на аппаратную/программную инфраструктуру
Небольшая команда — фокус на задачах с высокой ценностью

Решение:

Облачное внедрение

ETL или ELT?

Соображения:

Сохранять все данные
Облако позволяет масштабировать вычислительные ресурсы по мере необходимости

Решение:

Реализация ELT

Итоги

Планирование имеет ключевое значение
Адаптируйте подход к конкретной ситуации

Давайте потренируемся!

Концепции хранилищ данных

Preparing Video For Download...