Примеры современной архитектуры данных

Современные архитектуры данных

Miller Trujillo

Senior Software Engineer

Лямбда-архитектура

• Архитектура обработки данных
• Обработка крупномасштабных наборов данных
• Обработка данных в режиме реального времени
• Сочетает пакетную и потоковую обработку
• 3 основных слоя:
  • Пакетный слой
  • Скоростной слой
  • Сервисный слой

Слои лямбда-архитектуры: пакетный

• Основной набор данных
  • Неизменяемые данные
  • Только добавление
• Предварительно вычисленные представления
• Банковские счета
  • Основной набор данных: список транзакций
  • Представления: транзакции для вычисления баланса
• Абсолютная точность

Слои лямбда-архитектуры: скоростной

• Пакетные задания по расписанию
• Разрыв между известными данными и реальностью
• Скоростной слой устраняет этот разрыв
• Неполная точность

Слои лямбда-архитектуры: сервисный

• Объединение пакетных и потоковых представлений
• Единое представление данных

Сложность лямбда-архитектуры

• Два слоя повышают сложность
• Дублирование логики, кода и алгоритмов
• Несколько стеков: пакетная и потоковая обработка

Каппа-архитектура

Лямбда vs. Каппа

Аспект	Лямбда-архитектура	Каппа-архитектура
Пакетная обработка	Присутствует	Повторная обработка источника событий
Потоковая обработка	Присутствует	Присутствует
Сложность	Выше	Ниже
Обработка в реальном вр.	Задержка из-за пакетного слоя	Прямая и упрощённая
Сценарии использования	Сложный анализ, исторические данные	Аналитика и мониторинг в реальном времени

Давайте потренируемся!

Современные архитектуры данных