एप्लिकेशन हेल्थ डैशबोर्ड्स

Monitoring और Troubleshooting AWS

John Q. Martin

Principal Consultant

डैशबोर्ड डिज़ाइन: जानकारी की पदानुक्रम

तीन-स्तरीय पिरामिड: ऊपर संकरा गहरा हिस्सा, बीच में चौड़ा टील हिस्सा, और सबसे नीचे सबसे चौड़ा हरा हिस्सा

हॉस्पिटल जैसा: रिसेप्शन → वार्ड → कंसल्टेंट

टॉप - Executive Summary

ओवरऑल सिस्टम हेल्थ
मुख्य बिज़नेस मेट्रिक्स, SLA, मौजूदा incidents

मिडिल - सर्विस हेल्थ

एरर रेट्स, लेटेंसी परसेंटाइल्स, थ्रूपुट

बॉटम - डीटेल्ड डायग्नोस्टिक्स

ट्रेसेज़, लॉग्स, रिसोर्स उपयोग, डिपेंडेंसी हेल्थ

चार गोल्डन सिग्नल

मॉनिटरिंग के चार गोल्डन सिग्नल: लेटेंसी, ट्रैफिक, एरर्स और सैचुरेशन

ये चार कवर करें तो ज़्यादातर समस्याएँ कवर हो जाती हैं जिनसे आप मिलेंगे।

RED मेथड

रिक्वेस्ट-ड्रिवन सर्विसेज के लिए RED:

रिक्वेस्ट-ड्रिवन सर्विसेज के लिए रेट, एरर्स और ड्यूरेशन दिखाता RED मेथड पैटर्न

गोल्डन सिग्नल्स से संबंध:

RED चार गोल्डन सिग्नल्स का फोकस्ड सबसेट है
यूज़र रिक्वेस्ट संभालने वाली सर्विसेज के लिए डिज़ाइन किया गया
इन्फ्रास्ट्रक्चर मॉनिटरिंग के लिए सैचुरेशन (4th गोल्डन सिग्नल) जोड़ें

RED से शुरू करें, डीपर डायग्नोस्टिक्स के लिए सैचुरेशन जोड़ें।

तीन डेटा सोर्स

तीन डैशबोर्ड डेटा सोर्स: CloudWatch मेट्रिक्स, X-Ray ट्रेसेज़, और CloudWatch Logs का डायग्राम

CloudWatch मेट्रिक्स विजेट्स

रिक्वेस्ट वॉल्यूम:

["AWS/ApplicationELB",
 "RequestCount",
 {"stat": "Sum"}]

एरर रेट (metric math):

"metrics": [
  ["AWS/Lambda", "Errors",
   {"stat":"Sum","id":"errors"}],
  [".", "Invocations",
   {"stat":"Sum","id":"invocations"}],
  [{"expression":
    "(errors/invocations)*100",
    "label":"Error Rate %"}]
]

रेस्पॉन्स टाइम परसेंटाइल्स:

["AWS/ApplicationELB",
 "TargetResponseTime",
 {"stat": "p50"}],
["AWS/ApplicationELB",
 "TargetResponseTime",
 {"stat": "p95"}],
["AWS/ApplicationELB",
 "TargetResponseTime",
 {"stat": "p99"}]

ALB RequestCount से रिक्वेस्ट वॉल्यूम
एरर रेट में metric math - errors / invocations × 100
रेस्पॉन्स टाइम p50, p95, p99 परसेंटाइल्स में

X-Ray और लॉग्स विजेट्स

X-Ray विजेट्स:

Service map - एप्लिकेशन टोपोलॉजी विद हेल्थ इंडिकेटर्स
Trace statistics - औसत रेस्पॉन्स टाइम, एरर रेट, फॉल्ट रेट
Service latency - प्रति-सर्विस रेस्पॉन्स टाइम तुलना

CloudWatch Logs विजेट्स:

Recent errors क्वेरी:

fields @timestamp, @message
| filter @message like /ERROR/
| sort @timestamp desc
| limit 20

Error count by type:

filter @message like /ERROR/
| stats count(*) as errors
    by errorType
| sort errors desc

कंप्लीट डैशबोर्ड लेआउट

हेल्थ डैशबोर्ड लेआउट: ऊपर समरी विजेट्स, बीच में सर्विस मैप, नीचे एरर लॉग्स

इंसिडेंट ट्रबलशूटिंग वर्कफ़्लो

इमरजेंसी-रूम ट्रायाज क्लिपबोर्ड: रंगीन प्रायोरिटी बैंड्स और स्टेथोस्कोप

ER ट्रायाज जैसा: stabilize → diagnose → treat → verify

Identify - रेड/येलो इंडिकेटर्स, एरर स्पाइक्स
Scope - कौन-सी सर्विसेज? कब? बिगड़ रहा है?
Correlate - एरर्स + लेटेंसी, ट्रैफिक + रिसोर्सेज
Drill down - सर्विस मैप → ट्रेसेज़ → लॉग्स
Root cause - डिपेंडेंसी, DB, मेमोरी, कॉन्फ़िग
Fix - सर्किट ब्रेकर, स्केल, रोलबैक, फेलओवर
Verify - एरर रेट नॉर्मल, मैप ग्रीन, अलार्म्स क्लियर

परिदृश्य 1: अचानक ट्रैफिक स्पाइक

ट्रैफिक स्पाइक के दौरान मॉनिटरिंग डैशबोर्ड: लाइन चार्ट तेज़ ऊपर, गेज लाल ज़ोन में, लाल अलर्ट बैनर

डैशबोर्ड पर आप देखते हैं:

रिक्वेस्ट वॉल्यूम सामान्य से 10×
एरर रेट 25%
लेटेंसी 3000ms
CPU 95%

विश्लेषण: ट्रैफिक surge से रिसोर्स ओवरवेल्म्ड

एक्शन:

तुरन्त स्केल आउट करें
ऑटो-स्केलिंग सक्षम करें
रेट लिमिटिंग लागू करें
बैकएंड प्रेशर घटाने को कैशिंग जोड़ें

परिदृश्य 2: डेटाबेस बॉटलनेक

डेटाबेस बॉटलनेक दिखाता मॉनिटरिंग डैशबोर्ड: टूटा लाल DB आइकन, CPU और कनेक्शंस लाल में, क्वेरी-लेटेंसी तेज़ चढ़ती, कनेक्शन-पूल बार लगभग फुल

डैशबोर्ड पर आप देखते हैं:

DB CPU 95%
DB connections 95/100
क्वेरी लेटेंसी 5000ms
ऐप लेटेंसी 5500ms

विश्लेषण: डेटाबेस बॉटलनेक है, स्लो क्वेरीज़ कनेक्शन पूल खपा रही हैं

एक्शन:

लॉग्स में स्लो क्वेरीज़ पहचानें
इंडेक्स जोड़ें, क्वेरी ऑप्टिमाइज़ करें
कनेक्शन पूल साइज बढ़ाएँ
डेटाबेस स्केल करें

परिदृश्य 3: कैस्केडिंग फेल्योर

सर्विस मैप पर आप देखते हैं:

सर्विस मैप कैस्केड: नोड A एंबर क्लाइंट एरर्स के साथ, B और C रेड सर्वर फॉल्ट्स के साथ, D डार्क और पूरी तरह डाउन, तीर चेन में नीचे बहते हुए

विश्लेषण:

Service A की छोटी समस्या डिपेंडेंसी चेन में कैस्केड हो गई

एक्शन:

कैस्केड रोकने को सर्किट ब्रेकर्स
हर सर्विस लेवल पर टाइमआउट्स
फेल्ड डिपेंडेंसी के लिए फॉलबैक मैकेनिज़्म
Service A में रूट कॉज़ ठीक करें

डैशबोर्ड बेस्ट प्रैक्टिसेज

एप्लिकेशन हेल्थ मॉनिटरिंग के लिए छह अनुशंसित डैशबोर्ड श्रेष्ठ अभ्यास

वीडियो समरी और कोर्स कंप्लीशन

जानकारी की पदानुक्रम और चार गोल्डन सिग्नल्स के साथ डिज़ाइन करें
CloudWatch मेट्रिक्स, X-Ray ट्रेसेज़ और लॉग्स को एक व्यू में जोड़ें
सात-स्टेप इंसिडेंट वर्कफ़्लो: identify → scope → correlate → drill down → root cause → fix → verify

अब आप कर सकते हैं:

CloudWatch मेट्रिक्स, लॉग्स और डैशबोर्ड्स से मॉनिटर करें
SNS और SQS से अलार्म्स और नोटिफिकेशंस कॉन्फ़िगर करें
X-Ray से डिस्ट्रीब्यूटेड ट्रेसिंग लागू करें
ऑपरेशनल एक्सीलेंस के लिए एप्लिकेशन हेल्थ डैशबोर्ड्स बनाएं

एप्लिकेशन हेल्थ डैशबोर्ड्स

Monitoring और Troubleshooting AWS