Giám sát hiệu năng

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Maksim Pecherskiy

Data Engineer

Bài trước

Biến đổi bằng Lambda

def lambda_handler(event, context):

    comprehend = boto3.client('comprehend', 
                              region_name='us-east-1', 
                              aws_access_key_id = AWS_KEY, 
                              aws_secret_access_key=AWS_SECRET)

    output = []

    for record in event['records']:
        ...

Biến đổi bằng Lambda

def lambda_handler(event, context):
    ...
    for record in event['records']:

        dict_data = base64.b64decode(record['data']).decode('utf-8').strip()
        dict_data = json.loads(dict_data)

        sentiment_all = comprehend.detect_sentiment(
          Text=dict_data['text'], 
          LanguageCode=dict_data['lang'])
        dict_data['sentiment'] = sentiment_all['Sentiment']
        ...

Biến đổi bằng Lambda

def lambda_handler(event, context):
    ...
    for record in event['records']:
        ...

        output_record = {
            'recordId': record['recordId'],
            'result': 'Ok',
            'data': base64.b64encode(json.dumps(dict_data).encode('utf-8'))
        }

        output.append(output_record)
    return {'records': output}

Kết nối các phần

Cập nhật firehoseDeliveryRole

Tạo delivery stream

CloudWatch

Dòng phải giảm thiểu mất dữ liệu khi ngừng dịch vụ.

Logs (dữ liệu thô)
Metrics (chỉ số về các hoạt động dịch vụ)
Alarms (cảnh báo khi chỉ số ngoài phạm vi đặt trước)
Dashboards (trực quan hóa chỉ số)

Điểm lỗi tiềm ẩn

Ayo berlatih!

Xử lý dữ liệu streaming với AWS Kinesis và Lambda