CloudWatch Logs

Моніторинг і усунення несправностей в AWS

John Q. Martin

Principal Consultant

Основи: події, потоки та групи журналів

Подія журналу як один запис із міткою часу, повідомленням і часом приймання

Потік журналу як послідовність подій журналу з одного джерела

Група журналів як набір пов'язаних потоків журналів із спільними налаштуваннями зберігання та доступу

/aws/lambda/function-name
/ecs/cluster-name/service-name
/var/log/application-name

Архітектура CloudWatch Logs

Архітектура CloudWatch Logs: від агента застосунку до груп і потоків журналів, далі запити, експорт і підписки

CloudWatch Logs vs традиційне логування

Централізовані журнали CloudWatch порівняно з традиційним підходом: окремі сервери з SSH і grep

Уніфікований агент: EC2

Чотири кроки налаштування уніфікованого агента CloudWatch на EC2: роль IAM, встановлення, конфігурація, запуск

{
  "logs": {
    "logs_collected": {
      "files": {
        "collect_list": [
          {
            "file_path": "/var/log/application.log",
            "log_group_name": "/aws/ec2/application",
            "log_stream_name": "{instance_id}",
            "timezone": "UTC"
          }
        ]
      }
    }}}

Логування в Lambda та ECS

Lambda: агент не потрібен

Автоматично пише в /aws/lambda/function-name
Фіксує виклики, тривалість, stdout/stderr, помилки
Використовуйте структурований JSON для простіших запитів

{
  "logDriver": "awslogs",
  "options": {
    "awslogs-group": "/ecs/my-application",
    "awslogs-region": "us-east-1",
    "awslogs-stream-prefix": "ecs",
    "awslogs-create-group": "true"
  }
}

Вступ до фільтрів метрик

Що таке фільтри метрик?

Сканують події журналу за шаблонами → публікують метрики CloudWatch
Міст між журналами та метриками
Створюються на групі журналів

Приклади використання

Підрахунок помилок
Відстеження часу відгуку з журналів
Моніторинг бізнес-подій (замовлення, реєстрації)
Тригери тривог за шаблонами журналів

Синтаксис шаблонів фільтрів

Три формати шаблонів фільтрів метрик: простий текст, поля через пробіл, JSON із нотацією dollar-dot

Вступ до CloudWatch Logs Insights

Що таке Logs Insights?

Інтерактивний сервіс запитів у CloudWatch Logs
Запити до однієї чи кількох груп журналів одночасно
Результати за секунди, інфраструктуру керувати не треба

Три мови запитів

CloudWatch Logs Insights QL
OpenSearch PPL (Piped Processing Language)
OpenSearch SQL

Підсумок відео

CloudWatch Logs: централізоване логування — події → потоки → групи
EC2: Unified Agent з конфігом JSON
Lambda: автоматично, агент не потрібен; використовуйте структурований JSON
ECS: драйвер журналів awslogs у визначенні задачі
Фільтри метрик: отримуйте метрики CloudWatch із шаблонів журналів
Logs Insights: інтерактивні запити — опanuємо їх у відео 4

Давайте потренуємось!