CloudWatch Logs

Giám sát và Khắc phục sự cố trên AWS

John Q. Martin

Principal Consultant

Khái niệm cốt lõi: sự kiện, luồng và nhóm log

Một sự kiện log hiển thị như một bản ghi đơn với timestamp, message và thời gian nạp

Một luồng log là chuỗi các sự kiện log từ một nguồn duy nhất

Một nhóm log là tập hợp các luồng log liên quan, dùng chung cài đặt lưu giữ và truy cập

/aws/lambda/function-name
/ecs/cluster-name/service-name
/var/log/application-name

Kiến trúc CloudWatch Logs

Kiến trúc CloudWatch Logs: từ agent ứng dụng đến nhóm và luồng log, rồi truy vấn, xuất và đăng ký

CloudWatch Logs vs. ghi log truyền thống

Ghi log tập trung bằng CloudWatch so với ghi log truyền thống mỗi máy với SSH và grep

Thiết lập unified agent: EC2

Quy trình 4 bước thiết lập CloudWatch unified agent trên EC2: từ IAM role đến cài đặt, cấu hình và khởi động

{
  "logs": {
    "logs_collected": {
      "files": {
        "collect_list": [
          {
            "file_path": "/var/log/application.log",
            "log_group_name": "/aws/ec2/application",
            "log_stream_name": "{instance_id}",
            "timezone": "UTC"
          }
        ]
      }
    }}}

Ghi log với Lambda và ECS

Lambda: không cần agent

Tự ghi vào /aws/lambda/function-name
Thu nhận lượt gọi, thời lượng, stdout/stderr, lỗi
Dùng JSON có cấu trúc để truy vấn dễ hơn

{
  "logDriver": "awslogs",
  "options": {
    "awslogs-group": "/ecs/my-application",
    "awslogs-region": "us-east-1",
    "awslogs-stream-prefix": "ecs",
    "awslogs-create-group": "true"
  }
}

Giới thiệu metric filter

Metric filter là gì?

Quét sự kiện log theo mẫu → xuất bản metric CloudWatch
Cầu nối giữa logs và metrics
Tạo trên một nhóm log

Tình huống sử dụng

Đếm số lần lỗi xuất hiện
Theo dõi thời gian phản hồi từ log
Giám sát sự kiện kinh doanh (đơn hàng, đăng ký)
Kích hoạt cảnh báo từ mẫu log

Cú pháp mẫu lọc

Ba dạng cú pháp mẫu metric filter: văn bản đơn giản, trường phân tách khoảng trắng và JSON với ký hiệu dollar-dot

Thực hành khuyến nghị cho metric filter

Thực hành khuyến nghị cho metric filter: kiểm thử mẫu, đặt giá trị mặc định 0, nhóm namespace và giữ mẫu đơn giản

Giới thiệu CloudWatch Logs Insights

Log Insights là gì?

Dịch vụ truy vấn tương tác trong CloudWatch Logs
Truy vấn một hoặc nhiều nhóm log cùng lúc
Kết quả trong vài giây, không cần quản lý hạ tầng

Ba ngôn ngữ truy vấn hỗ trợ

CloudWatch Logs Insights QL
OpenSearch PPL (Piped processing Language)
OpenSearch SQL

Tóm tắt video

CloudWatch Logs: ghi log tập trung với sự kiện → luồng → nhóm
EC2: Unified Agent với cấu hình JSON
Lambda: tự động, không cần agent, dùng log JSON có cấu trúc
ECS: trình điều khiển log awslogs trong định nghĩa task
Metric filter: trích xuất metric CloudWatch từ mẫu log
Log Insights: dịch vụ truy vấn tương tác - bạn sẽ thành thạo truy vấn ở video 4

Cùng luyện tập nào!

Giám sát và Khắc phục sự cố trên AWS