Пакетні проблеми
Концепції стримінгу
Mike Metzger
Data Engineer
Затримки
- Час до готовності даних для обробки
- Чи всі дані доступні?
- Час до початку процесу
- Коли стартує наступний інтервал?
- Час на обробку даних
- Скільки триватиме до завершення?
- Час до доступності опрацьованих даних
- Коли користувачі зможуть ними скористатися?
Приклад №1
Очікування на джерельні дані
- Машини надсилають журнали у періоди низького навантаження
- Працює нормально за звичайного навантаження
- Високе навантаження може обмежити надсилання журналів і приховати проблеми.
Приклад №2
Очікування на процес
- 100GB файлів журналів на день
- Нині обробка триває 23 год
- Приблизно 4,4GB/год
- Зростає на 5% щомісяця
- Наступного місяця буде 105GB і ~24 год обробки
- Далі буде ~110GB і ~25 год
- Обробка одного дня даних триває довше за добу!
Приклад №3
Очікування на доступність даних
- Коли аналітика буде доступна?
- Звіт з продажів має чекати на повну інформацію
- Сума затримок — це мінімальний час на новий звіт
- Час на збір / підготовку даних: 1 день
- Час на обробку даних: 7 год
- Час на оновлення систем: 5 год
- Час на генерацію звіту: 2 хв
- Загальний час на кожен звіт: 1,5 дня
Давайте потренуємось!
Концепції стримінгу
