Подача данных

Современные архитектуры данных

Miller Trujillo

Senior Software Engineer

Слой подачи данных

• Где хранить обработанные данные
• Протоколы доступа к ним

Какие данные у нас есть?

• Какие данные у нас есть?
  • Структурированные ли данные?
  • Являются ли данные временным рядом?
• Как данные будут потребляться?

• Хранилище данных
  • Автоматическая отчётность/дашборды
  • BI/аналитика данных
  • Прямые запросы
• Хранилище объектов
• База данных временных рядов
• NoSQL база данных

Как данные будут потребляться?

• Хранилище данных
  • Автоматическая отчётность/дашборды
  • BI/аналитика данных
  • Прямые запросы
• Модели машинного обучения
• Приложения
  • Агрегированная информация
  • Отдельные записи
• Универсального решения не существует!

Выбор системы подачи данных по сценарию использования

Система	Тип данных	Сценарий потребления	Инструменты
Хранилище данных	Структурированные данные, поддержка полуструктурированных	Аналитические запросы, BI/аналитика, отчётность/дашборды	BigQuery, Redshift, Snowflake
Хранилище объектов	Данные любого типа	Модели МО с обработкой видео/изображений, архивирование	S3, Cloud Storage, Azure Storage
NoSQL база данных	Полуструктурированные данные, временные ряды	API-доступ, высокая нагрузка	BigTable, DataStore, DynamoDB, CosmosDB
RDBMS	Структурированные данные, поддержка полуструктурированных	Доступ к отдельным записям, API-доступ, низкая нагрузка	Postgres, MySQL, Oracle

Подача и потребление данных

Давайте потренируемся!

Современные архитектуры данных