CloudWatch Logs

AWS 모니터링 및 문제 해결

John Q. Martin

Principal Consultant

핵심 개념: 로그 이벤트, 스트림, 그룹

타임스탬프, 메시지, 수집 시간이 포함된 단일 레코드로 표시된 로그 이벤트

단일 소스의 로그 이벤트 시퀀스로 표시된 로그 스트림

보존 및 액세스 설정을 공유하는 관련 로그 스트림 모음으로 표시된 로그 그룹

/aws/lambda/function-name
/ecs/cluster-name/service-name
/var/log/application-name

CloudWatch Logs 아키텍처

애플리케이션 에이전트에서 로그 그룹과 스트림을 거쳐 쿼리, 내보내기, 구독으로 이어지는 CloudWatch Logs 아키텍처

CloudWatch 로그와 기존 로깅 방식 비교

CloudWatch 중앙 집중식 로깅과 서버별 SSH 및 grep을 이용한 기존 로깅 방식 비교

통합 에이전트 설정: EC2

IAM 역할부터 설치, 설정, 시작까지 EC2에서의 CloudWatch 통합 에이전트 설정 4단계 흐름

{
  "logs": {
    "logs_collected": {
      "files": {
        "collect_list": [
          {
            "file_path": "/var/log/application.log",
            "log_group_name": "/aws/ec2/application",
            "log_stream_name": "{instance_id}",
            "timezone": "UTC"
          }
        ]
      }
    }}}

Lambda와 ECS 로깅

Lambda: 에이전트 불필요

/aws/lambda/function-name에 자동 로깅
호출, 지속 시간, stdout/stderr, 오류 캡처
쿼리를 쉽게 하려면 구조화된 JSON 사용

{
  "logDriver": "awslogs",
  "options": {
    "awslogs-group": "/ecs/my-application",
    "awslogs-region": "us-east-1",
    "awslogs-stream-prefix": "ecs",
    "awslogs-create-group": "true"
  }
}

메트릭 필터 소개

메트릭 필터란?

로그 이벤트에서 패턴 스캔 → CloudWatch 메트릭 게시
로그와 메트릭을 연결
로그 그룹에서 생성

Use cases

Count error occurrences
Track response times from logs
Monitor business events (orders, signups)
Feed alarms from log patterns

필터 패턴 구문

단순 텍스트, 공백으로 구분된 필드, JSON 달러점 표기법의 세 가지 메트릭 필터 패턴 형식

Metric filter recommended practices

패턴 테스트, 기본값 0 설정, 네임스페이스 그룹화, 패턴 단순 유지 등 메트릭 필터 권장 사례

Introduction to CloudWatch Logs Insights

What is log insights?

Interactive query service inside CloudWatch Logs
Query one or more log groups at once
Results in seconds, no infrastructure to manage

Three supported query languages

CloudWatch Logs Insights QL
OpenSearch PPL (Piped processing Language)
OpenSearch SQL

Video summary

CloudWatch Logs: centralized logging with log events → streams → groups
EC2: Unified Agent with JSON config
Lambda: automatic, no agent needed, use structured JSON logging
ECS: awslogs log driver in task definition
Metric filters: extract CloudWatch metrics from log patterns
Log Insights: interactive query service - we'll master the queries in video 4

Let's practice!

AWS 모니터링 및 문제 해결