Что такое современная архитектура данных?

Современные архитектуры данных

Miller Trujillo

Senior Software Engineer

Что мы изучим?

  • Современные архитектуры данных
  • Типы архитектур данных
  • Компоненты
    • От приёма до подачи данных
    • Управление данными
    • Оркестрация
  • Проектирование современного решения для работы с данными
Современные архитектуры данных

Современные архитектуры данных

Характеристика Современная архитектура данных Традиционная архитектура данных
Объём и разнообразие Большие объёмы, множество форматов Небольшие объёмы структурированных данных
Хранение Озёра данных, NO-SQL, хранилища данных Реляционные БД, хранилища данных
Подход к обработке Обработка в реальном или почти реальном времени Только пакетная обработка
Масштабируемость и гибкость Облачные решения Инвестиции в оборудование
Демократизация Инструменты самообслуживания Сильная зависимость от ИТ-отделов
Современные архитектуры данных

Требования к современным архитектурам данных

  • Гибкость и расширяемость
  • Использование облачных платформ для масштабирования
  • Обработка растущих объёмов данных
  • Критически важные бизнес-процессы
    • Выставление счетов
  • Интеграция распределённых доменов
  • Управление данными и безопасность
1 https://www.ibm.com/resources/the-data-differentiator/data-architecture
Современные архитектуры данных

Компоненты

  • Источники данных
  • Приём данных
  • Хранение данных
  • Обработка данных
  • Оркестрация данных
  • Управление данными и безопасность

Обобщённая архитектура больших данных: источники данных, хранилище, пакетная и потоковая обработка, оркестрация, аналитическое хранилище и отчётность

1 https://learn.microsoft.com/en-us/azure/architecture/guide/architecture-styles/big-data
Современные архитектуры данных

Давайте потренируемся!

Современные архитектуры данных

Preparing Video For Download...