Хранилища данных и озёра данных

Введение в дата-инжиниринг

Hadrien Lacroix

Content Developer

Хранилища с видом на озеро

Введение в дата-инжиниринг

pipeline

Введение в дата-инжиниринг

Озёра данных и хранилища данных

Озеро данных

  • Хранит все необработанные данные
  • Может достигать петабайт (1 млн ГБ)
  • Хранит данные любых структур
  • Экономически эффективно
  • Сложно анализировать
  • Требует актуального каталога данных
  • Используется специалистами по данным
  • Большие данные, аналитика в реальном времени

Хранилище данных

  • Конкретные данные для конкретных задач
  • Относительно небольшой объём
  • Хранит преимущественно структурированные данные
  • Обновление обходится дороже
  • Оптимизировано для анализа данных
  • Используется также аналитиками данных и бизнес-аналитиками
  • Нерегулярные запросы только на чтение
Введение в дата-инжиниринг

Каталог данных для озёр данных

  • Откуда поступили эти данные?
  • Где используются эти данные?
  • Кто является владельцем данных?
  • Как часто обновляются данные?
  • Хорошая практика в области управления данными
  • Обеспечивает воспроизводимость
  • Нет каталога → болото данных
  • Хорошая практика для любого решения по хранению данных
    • Надёжность
    • Автономность
    • Масштабируемость
    • Скорость
Введение в дата-инжиниринг

База данных vs. хранилище данных

  • База данных:
    • Общий термин
    • Широко определяется как организованные данные, хранящиеся на компьютере и доступные с него
  • Хранилище данных — это разновидность базы данных
Введение в дата-инжиниринг

Итоги

  • Озёра данных
  • Хранилища данных
  • Базы данных
  • Каталог данных
Введение в дата-инжиниринг

Давайте потренируемся!

Введение в дата-инжиниринг

Preparing Video For Download...