परफॉर्मेंस मॉनिटरिंग

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Maksim Pecherskiy

Data Engineer

पिछला पाठ

Lambda ट्रांसफॉर्म

def lambda_handler(event, context):

    comprehend = boto3.client('comprehend', 
                              region_name='us-east-1', 
                              aws_access_key_id = AWS_KEY, 
                              aws_secret_access_key=AWS_SECRET)

    output = []

    for record in event['records']:
        ...

Lambda ट्रांसफॉर्म

def lambda_handler(event, context):
    ...
    for record in event['records']:

        dict_data = base64.b64decode(record['data']).decode('utf-8').strip()
        dict_data = json.loads(dict_data)

        sentiment_all = comprehend.detect_sentiment(
          Text=dict_data['text'], 
          LanguageCode=dict_data['lang'])
        dict_data['sentiment'] = sentiment_all['Sentiment']
        ...

Lambda ट्रांसफॉर्म

def lambda_handler(event, context):
    ...
    for record in event['records']:
        ...

        output_record = {
            'recordId': record['recordId'],
            'result': 'Ok',
            'data': base64.b64encode(json.dumps(dict_data).encode('utf-8'))
        }

        output.append(output_record)
    return {'records': output}

सबको जोड़ना

firehoseDeliveryRole अपडेट करें

डिलीवरी स्ट्रीम बनाएँ

CloudWatch

स्ट्रीम को डाउनटाइम के कारण डेटा लॉस को कम करना चाहिए।

Logs (कच्चा डेटा)
Metrics (सेवा की गतिविधियों के माप)
Alarms (जब कोई मेट्रिक तय सीमा से बाहर हो तो नोटिफिकेशन)
Dashboards (मेट्रिक का विज़ुअलाइज़ेशन)

फेल्योर पॉइंट्स

अभ्यास करते हैं!

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा