Khắc phục sự cố thường gặp

Giải pháp Compute trên Azure

Florin Angelescu

Azure Cloud Architect

Vì sao khắc phục sự cố quan trọng

 

 

 

• Pod có thể không khởi động

 

• Service có thể không định tuyến lưu lượng

 

• Node có thể hết tài nguyên

Vì sao khắc phục sự cố quan trọng

 

• Cách tiếp cận có cấu trúc:
  • Quan sát
  • Xác định
  • Kiểm thử
  • Khắc phục
• Giúp bạn không lãng phí thời gian đuổi theo triệu chứng thay vì nguyên nhân gốc.

Lỗi Pod

 

 

 

 

• Pod không khởi động.
• Nguyên nhân:
  • Image container sai
  • Thiếu secrets
  • Thiếu tài nguyên

Lỗi Pod

• kubectl describe pod - events
• kubectl logs - output

• Kiểm tra chính sách kéo image
• Kiểm tra thông tin xác thực registry

• Điều tra log ứng dụng
• Kiểm tra yêu cầu tài nguyên

• Readiness và liveness probe
• Phát hiện pod không khỏe và khởi động lại

Vấn đề mạng

 

 

• Sự cố mạng:

  • Ngăn service truy cập pod
  • Hoặc client bên ngoài

• Cần xác minh:

  • Service được khai báo đúng
  • Selector khớp nhãn của pod

Vấn đề mạng

• kubectl get svc
• kubectl get endpoints

• Ingress controller - cấu hình bổ sung
• Chứng chỉ TLS hoặc luật đường dẫn

• Kiểm tra khả năng kết nối
• kubectl exec, curl

• Công cụ bắt gói tin
• Azure Network Watcher

Thách thức khi scale

 

 

 

 

• Cấu hình auto-scaler sai.
• Node thiếu dung lượng.

Thách thức khi scale

 

• Kiểm tra chỉ số Horizontal Pod Autoscaler:
  • kubectl get hpa
• Đảm bảo Cluster Autoscaler đã bật.
• Rà soát requests và limits tài nguyên:
  • Giá trị quá chặt có thể khiến pod không được schedule
• Kiểm tra quota của node pool và điều chỉnh ngưỡng.
• Mô phỏng tải khi thử nghiệm.
• Theo dõi sự kiện scale trong Azure Monitor.

Giới hạn tài nguyên

 

 

• Node có thể cạn:
  • CPU
  • Bộ nhớ
  • Dung lượng đĩa
• Khiến pod bị đuổi (evicted).
• Theo dõi sử dụng tài nguyên:
  • Azure Monitor
  • kubectl top

Giới hạn tài nguyên

• Over-commit tài nguyên gây mất ổn định
• Đặt requests và limits thực tế

• Taints và tolerations -> vị trí đặt pod
• Đảm bảo workload quan trọng có độ ưu tiên

• Kiểm toán phân bổ tài nguyên và quota
• Ngăn điểm nghẽn

• Nhiều node pool với kích thước VM khác nhau
• Cân bằng workload hiệu quả

Tóm tắt

 

 

 

• Khắc phục sự cố trong AKS bao gồm chẩn đoán:
  • Lỗi pod
  • Sự cố mạng
  • Thách thức khi scale
  • Giới hạn tài nguyên

Tóm tắt

 

 

 

• Kết hợp công cụ Kubernetes với tích hợp Azure:

  • Bạn có thể xử lý sự cố nhanh và duy trì độ tin cậy

• Sổ tay khắc phục sự cố cho đội:

  • Ứng phó nhất quán và rút ngắn thời gian xử lý

Cùng luyện tập nào!

Giải pháp Compute trên Azure