Перешкоди для стримінгу
Концепції стримінгу
Mike Metzger
Data Engineer
Огляд масштабування
Вертикальне масштабування — обчислювальні ресурси
- CPU
- RAM
- Диск (обсяг і IO)
- Мережа
Горизонтальне масштабування — більше вузлів
- Додайте машини як вузли / воркери
Початкові застереження
- Обчислювальні ресурси
- Брак або повільні ресурси
- Більше вузлів
- Потребує кращої зв'язності
- Певна форма спільних ресурсів
- Додана складність
- Зазвичай потрібне керування кластером
Проблеми комунікації
Типи проблем із повідомленнями:
- Втрачені повідомлення
- Затримані повідомлення
- Неправильний порядок повідомлень
- Повторні повідомлення
Втрачені повідомлення
- Події, що ніколи не надходять
- Може бути важко виявити
- Інколи обробляється через ідентифікатор послідовності
- Запит відсутніх повідомлень може затримати подальші відповіді
Затримані повідомлення
- Подібні до втрачених повідомлень
- Можуть порушувати конвеєр обробки через затримки
- Часто пов'язані з нестачею ресурсів системи
Неправильний порядок повідомлень
- Комбінація втрачених і затриманих повідомлень
- Виникає, коли старіше повідомлення з'являється після новіших
- Потрібен певний порядок або стан для виявлення
- Обробка залежить від типу процесу обробки даних
Повторні повідомлення
- Виникає, коли те саме повідомлення надсилають кілька разів або пересилають через збої системи
- Потрібна обробка послідовностей, щоб повністю уникнути, але інколи можна ігнорувати
- Іноді це не проблема (наприклад, вимір температури)
Давайте потренуємось!
Концепції стримінгу
