性能监控

使用 AWS Kinesis 与 Lambda 处理流数据

Maksim Pecherskiy

Data Engineer

上一课回顾

2020-08-02_11-35.png

使用 AWS Kinesis 与 Lambda 处理流数据

Lambda 转换

2020-08-02_12-04.png

使用 AWS Kinesis 与 Lambda 处理流数据

Lambda 转换

def lambda_handler(event, context):

    comprehend = boto3.client('comprehend', 
                              region_name='us-east-1', 
                              aws_access_key_id = AWS_KEY, 
                              aws_secret_access_key=AWS_SECRET)

    output = []

    for record in event['records']:
        ...
使用 AWS Kinesis 与 Lambda 处理流数据

Lambda 转换

def lambda_handler(event, context):
    ...
    for record in event['records']:

        dict_data = base64.b64decode(record['data']).decode('utf-8').strip()
        dict_data = json.loads(dict_data)

        sentiment_all = comprehend.detect_sentiment(
          Text=dict_data['text'], 
          LanguageCode=dict_data['lang'])
        dict_data['sentiment'] = sentiment_all['Sentiment']
        ...
使用 AWS Kinesis 与 Lambda 处理流数据

Lambda 转换

def lambda_handler(event, context):
    ...
    for record in event['records']:
        ...

        output_record = {
            'recordId': record['recordId'],
            'result': 'Ok',
            'data': base64.b64encode(json.dumps(dict_data).encode('utf-8'))
        }

        output.append(output_record)
    return {'records': output}
使用 AWS Kinesis 与 Lambda 处理流数据

连线集成

2020-08-02_12-19.png

使用 AWS Kinesis 与 Lambda 处理流数据

更新 firehoseDeliveryRole

2020-08-03_08-05.png

使用 AWS Kinesis 与 Lambda 处理流数据

创建投递流

2020-08-03_08-10.png

使用 AWS Kinesis 与 Lambda 处理流数据

创建投递流

2020-08-03_08-13.png

使用 AWS Kinesis 与 Lambda 处理流数据

CloudWatch

流应尽量减少因停机导致的数据丢失。

  • 日志（原始数据）
  • 指标（服务各项活动的度量）
  • 警报（当指标超出范围时的通知）
  • 仪表板（指标可视化）
使用 AWS Kinesis 与 Lambda 处理流数据

故障点

2020-08-02_12-39.png

使用 AWS Kinesis 与 Lambda 处理流数据

¡Vamos a practicar!

使用 AWS Kinesis 与 Lambda 处理流数据

Preparing Video For Download...