Надання даних

Розуміння сучасної архітектури даних

Miller Trujillo

Senior Software Engineer

Шар надання (Serving layer)

• Де зберігати оброблені дані
• Протоколи їх споживання

Які дані ми маємо?

• Які дані ми маємо?
  • Дані структуровані?
  • Наші дані — це часові ряди?
• Як дані споживатимуться?

• Data Warehouse
  • Автоматизована звітність/дашборди
  • BI/аналітика даних
  • Прямі запити
• Blob storage
• Time series database
• NoSQL database

Як споживатимуться дані?

• Сховище даних
  • Автоматизована звітність/дашборди
  • BI/аналітика даних
  • Прямі запити
• Моделі машинного навчання
• Застосунки
  • Підсумкова інформація
  • Окремі записи
• Не існує універсального рішення!

Надавайте дані відповідно до вашого сценарію використання

Система	Який тип даних	Варіант споживання	Інструменти
Data warehouse	Структуровані; може обробляти напівструктуровані	Аналітичні запити, BI/аналітика, звітність/дашборди	BigQuery, Redshift, Snowflake
Blob storage	Усі типи даних	Моделі ML з обробкою відео/зображень, архівування	S3, Cloud Storage, Azure Storage
NoSQL database	Напівструктуровані, часові ряди	Публікація через API, високе навантаження	BigTable, DataStore, DynamoDB, CosmosDB
RDMBS	Структуровані; може обробляти напівструктуровані	Споживання окремих записів, публікація через API, менше навантаження	Postgres, MySQL, Oracle

Надання vs. споживання

Давайте потренуємось!

Розуміння сучасної архітектури даних