Сповіщення та повідомлення CloudWatch

Моніторинг і усунення несправностей в AWS

John Q. Martin

Principal Consultant

Що таке CloudWatch Alarms

Ключові поняття

Стежить за одним метриком упродовж періоду
Виконує дії, коли метрик перетинає поріг

Шість основних компонентів тривоги CloudWatch: metric, threshold, period, evaluation periods, datapoints to alarm і actions

Стани тривоги

Три стани тривоги CloudWatch: OK, ALARM і INSUFFICIENT_DATA

Схема переходів станів тривоги CloudWatch у міру надходження даних метрик

Оцінювання тривоги

Збирає точки даних із заданим інтервалом
Застосовує статистику (Average, Sum, Max, Min) за період
Порівнює результат із порогом
Рахує періоди оцінки з порушенням
Змінює стан, якщо досягнуто datapoints-to-alarm

Metric: CPUUtilization > 80%
Period: 5 min | 
Eval Periods: 3 | 
Datapoints to Alarm: 2 of 3

Period 1: 85% (breach) | 
Period 2: 75% (ok) | 
Period 3: 90% (breach)
Result: ALARM — 2 of 3 breached

Стратегії оцінювання

Три стратегії оцінювання тривог: послідовна, часткова та одиничне порушення з компромісами чутливості

Типи дій тривог і тригери

Тригери дій

OK
ALARM
INSUFFICIENT_DATA

Типи дій

SNS Notification
Auto Scaling
EC2 Action (stop/terminate/reboot/recover)
Systems Manager

Поведение за відсутності даних

Поведінка за відсутності даних: notBreaching, breaching, ignore і missing

Створення стандартної тривоги: AWS CLI

aws cloudwatch put-metric-alarm \
  --alarm-name HighCPUUtilization \
  --alarm-description "Alert when CPU exceeds 80%" \
  --metric-name CPUUtilization \
  --namespace AWS/EC2 \
  --statistic Average \
  --period 300 \
  --evaluation-periods 2 \
  --threshold 80 \
  --comparison-operator GreaterThanThreshold \
  --dimensions Name=InstanceId,Value=i-1234567890abcdef0 \
  --alarm-actions arn:aws:sns:us-east-1:123456789012:my-topic

Складені тривоги: що і навіщо

Проблема

Кілька пов'язаних тривог спрацьовують окремо = вигорання від сповіщень

Розв'язання

Об'єднайте тривоги логічними операторами

Логіка складеної тривоги: поєднання дочірніх тривог операторами AND, OR і NOT

Створення складеної тривоги: AWS CLI

aws cloudwatch put-composite-alarm \
  --alarm-name CriticalSystemHealth \
  --alarm-description "Critical when CPU and Memory both high" \
  --actions-enabled \
  --alarm-actions arn:aws:sns:us-east-1:123456789012:critical-alerts \
  --alarm-rule "ALARM(HighCPUAlarm) AND ALARM(HighMemoryAlarm)"

Приклад складного правила

--alarm-rule "(ALARM(HighErrorRate) OR ALARM(HighLatency)) \
  AND NOT ALARM(MaintenanceMode)"

Стратегія вибору порога

Чотири стратегії вибору порога: базове відхилення, межі потужності, цілі SLA та швидкість змін

Багаторівнева стратегія тривог

Багаторівнева реакція на тривоги: рівні warning, critical та emergency з маршрутизацією до окремих тем SNS

Приклад: попередження CPU на 75%, критично на 90%, кожне до своєї теми SNS

Тривоги виявлення аномалій

aws cloudwatch put-metric-alarm \
  --alarm-name AnomalousTraffic \
  --comparison-operator LessThanLowerOrGreaterThanUpperThreshold \
  --metrics '[
    {"Id":"m1","MetricStat":{"Metric":{"Namespace":"AWS/ApplicationELB",
      "MetricName":"RequestCount"},"Period":300,"Stat":"Average"}},
    {"Id":"e1","Expression":"ANOMALY_DETECTION_BAND(m1, 2)"}
  ]'

Модель ML навчається нормальній поведінці метрика
Створює динамічний діапазон порога (налаштовується)
Адаптується до добових/тижневих патернів
Зменшує ручне підлаштування порогів

Тривоги для ресурсів: Lambda та ALB

Тривоги для Lambda

Рекомендовані тривоги Lambda: помилки, throttles і тривалість поблизу ліміту часу

Тривоги для ALB

Рекомендовані тривоги ALB: час відповіді цілей, непрацездатні вузли та кількість помилок 5xx

Підсумок відео

Три стани тривоги: OK, ALARM, INSUFFICIENT_DATA
Стратегії оцінювання: послідовна, часткова, одиничне порушення
Складені тривоги поєднують кілька тривог через AND, OR, NOT
Чотири стратегії порогів: статистична, потужності, SLA, швидкості змін
Багаторівневе сповіщення: warning → critical → emergency
Тривоги для ресурсів: Lambda (errors, throttles, duration) і ALB (5xx, latency)

Давайте потренуємось!