Какие уровни существуют в хранилище данных?

Концепции хранилищ данных

Aaren Stubberfield

Data Scientist

Обзор уровней — источник данных

Обзор уровней — промежуточное хранение данных

Обзор уровней — хранение данных

Обзор уровней — представление данных

Уровень источников данных

• Все источники данных для хранилища данных

• Примеры источников данных:

  • Транзакционная база данных
  • Лог-файлы
  • Электронные таблицы

Уровень промежуточного хранения данных

• Уровень извлекает, преобразует и очищает данные через ETL-процесс
• Содержит ETL-процесс и таблицы промежуточного хранения

ETL-процесс в уровне промежуточного хранения

• Извлечение данных
• Применение бизнес-правил и очистка
• Часто используется промежуточная база данных
• Необходимо уметь извлекать корректные данные
• Пакетная / полная загрузка

Уровень хранения данных

• Данные хранятся в хранилище и витринах данных
  • Data warehouse -> Data mart
  • Data mart -> Data warehouse

Уровень представления данных

• Пользователи работают с сохранёнными данными
• Пользователи:
  • Используют инструменты BI (бизнес-аналитики)
  • Используют инструменты интеллектуального анализа данных
  • Создают прямые запросы

Итоги

Давайте потренируемся!

Концепции хранилищ данных