У чому різниця між сховищами даних і озерами даних?

Концепції Data Warehousing

Aaren Stubberfield

Data Scientist

База даних

• Структуровані дані в рядках і стовпцях
• Транзакційні бази даних зберігають транзакції

Сховище даних

• Збирає, інтегрує дані та надає їх для аналізу
• Багато джерел вхідних даних
• Зберігає структуровані дані
• Складно змінювати
  • Потрібно враховувати вплив вище та нижче за потоком
• Зазвичай >100 GB

Навіщо потрібне сховище даних?

• Як швидко виконуватиметься запит на великому обсязі даних
• Щоб не сповільнювати транзакційну базу даних

Дата-марти

• Реляційна база для аналітики
• Дані зосереджені на одній предметній області
• Небагато джерел вхідних даних
• Зазвичай <100 GB

Озеро даних

• Сховище даних усієї організації
  • Містить дані з багатьох підрозділів
  • Багато джерел вхідних даних
  • Зазвичай >100 GB
• Зберігає структуровані та неструктуровані дані
  • Приклади: відео, аудіо та документи

Озеро даних

• Вносити зміни простіше
  • Менше впливів вище та нижче за потоком
• Призначення зберігання даних може бути невідомим
  • Менше організоване

Підсумок

Характеристика	Сховище даних	Дата-март	Озеро даних
Структура даних	Структуровані	Структуровані	Структуровані й неструктуровані
Складність змін	Складно	Складно	Простіше
Призначення даних	Відоме	Відоме	Може бути невідомим
Охоплення підрозділів	Охоплює багато	Охоплює лише один	Охоплює багато
Джерела даних	Багато вихідних систем	Мало джерел	Багато вихідних систем
Звичний розмір	>100 GB	<100 GB	>100 GB

Давайте потренуємось!

Концепції Data Warehousing