Проблемы потоковой обработки
Концепции потоковой обработки
Mike Metzger
Data Engineer
Обзор масштабирования
Вертикальное масштабирование — вычислительные ресурсы
- CPU
- RAM
- Диск (объём и скорость I/O)
- Сеть
Горизонтальное масштабирование — больше узлов
- Добавление машин в качестве узлов / воркеров
Основные проблемы
- Вычислительные ресурсы
- Нехватка или недостаточная скорость ресурсов
- Дополнительные узлы
- Требуют более высокой связности
- Необходимы общие ресурсы
- Повышенная сложность
- Как правило, требуется управление кластером
Проблемы коммуникации
Виды проблем с сообщениями:
- Потерянные сообщения
- Задержанные сообщения
- Неупорядоченные сообщения
- Дублирующиеся сообщения
Потерянные сообщения
- Представляют события, которые так и не поступили
- Их сложно обнаружить
- Иногда решается с помощью идентификатора последовательности
- Запрос пропущенных сообщений может задержать дальнейшие ответы
Задержанные сообщения
- Схожи с потерянными сообщениями
- Могут нарушить работу конвейера обработки из-за задержек
- Часто связаны с проблемами системных ресурсов
Неупорядоченные сообщения
- Сочетание потерянных и задержанных сообщений
- Возникает, когда старое сообщение приходит позже новых
- Для обнаружения требуется отслеживание последовательности или состояния
- Способ обработки зависит от типа выполняемой обработки данных
Дублирующиеся сообщения
- Возникает, когда одно и то же сообщение отправляется несколько раз или повторно — из-за сбоев
- Полностью устраняется только обработкой последовательности, но иногда можно игнорировать
- Иногда не является проблемой (например, при измерении температуры)
Давайте потренируемся!
Концепции потоковой обработки
