Сховища даних і озера даних

Розуміння Data Engineering

Hadrien Lacroix

Content Developer

Сховища з краєвидом на озеро

Розуміння Data Engineering

pipeline

Розуміння Data Engineering

Озера даних і сховища даних

Озеро даних

  • Зберігає всі сирі дані
  • Може мати петабайти (1 мільйон ГБ)
  • Зберігає всі типи структур даних
  • Вигідне за вартістю
  • Складно аналізувати
  • Потребує актуального каталогу даних
  • Використовують дата-науковці
  • Big data, аналітика в реальному часі

Сховище даних

  • Специфічні дані для конкретних цілей
  • Відносно невелике
  • Переважно структуровані дані
  • Дорожче в оновленні
  • Оптимізоване для аналітики
  • Також використовують дата-аналітики та бізнес-аналітики
  • Разові, лише для читання запити
Розуміння Data Engineering

Каталог даних для озер даних

  • Яке джерело цих даних?
  • Де ці дані використовують?
  • Хто власник даних?
  • Як часто ці дані оновлюють?
  • Гарна практика керування даними
  • Забезпечує відтворюваність
  • Без каталогу → болото даних
  • Гарна практика для будь-якого сховища
    • Надійність
    • Автономність
    • Масштабованість
    • Швидкість
Розуміння Data Engineering

База даних vs. сховище даних

  • База даних:
    • Загальний термін
    • Орієнтовно: організовані дані, що зберігаються й доступні на комп'ютері
  • Сховище даних — це тип бази даних
Розуміння Data Engineering

Підсумок

  • Озера даних
  • Сховища даних
  • Бази даних
  • Каталог даних
Розуміння Data Engineering

Давайте потренуємось!

Розуміння Data Engineering

Preparing Video For Download...