Проблемы пакетной обработки

Концепции потоковой обработки

Mike Metzger

Data Engineer

Задержки

Время до готовности данных к обработке
- Все ли данные доступны?
Время до начала процесса
- Когда начинается следующий интервал?
Время обработки данных
- Сколько времени до завершения?
Время до доступности обработанных данных
- Когда пользователи смогут использовать данные?

Пример №1

Ожидание исходных данных

Машины отправляют лог-файлы при низкой нагрузке
Работает нормально при штатной нагрузке
Высокая нагрузка ограничивает отправку логов, скрывая возможные проблемы.

Пример №2

Ожидание завершения процесса

100 ГБ лог-файлов в день
Обработка занимает 23 ч
Примерно 4,4 ГБ/ч
Ежемесячный рост — 5%
В следующем месяце: 105 ГБ, обработка — ~24 ч
Ещё через месяц: ~110 ГБ, обработка — ~25 ч
Обработка одного дня данных занимает больше суток!

Пример №3

Ожидание доступности данных

Когда аналитика станет доступна?
Отчёт по продажам ждёт поступления всей информации
Сумма задержек — минимальное время формирования отчёта
- Сбор и подготовка данных: 1 день
- Обработка данных: 7 ч
- Обновление систем: 5 ч
- Формирование отчёта: 2 мин
Итоговое время на один отчёт: 1,5 суток

Давайте потренируемся!

Концепции потоковой обработки

Preparing Video For Download...