성능 모니터링

AWS Kinesis와 Lambda로 배우는 스트리밍 데이터

Maksim Pecherskiy

Data Engineer

지난 강의

Lambda 변환

def lambda_handler(event, context):

    comprehend = boto3.client('comprehend', 
                              region_name='us-east-1', 
                              aws_access_key_id = AWS_KEY, 
                              aws_secret_access_key=AWS_SECRET)

    output = []

    for record in event['records']:
        ...

Lambda 변환

def lambda_handler(event, context):
    ...
    for record in event['records']:

        dict_data = base64.b64decode(record['data']).decode('utf-8').strip()
        dict_data = json.loads(dict_data)

        sentiment_all = comprehend.detect_sentiment(
          Text=dict_data['text'], 
          LanguageCode=dict_data['lang'])
        dict_data['sentiment'] = sentiment_all['Sentiment']
        ...

Lambda 변환

def lambda_handler(event, context):
    ...
    for record in event['records']:
        ...

        output_record = {
            'recordId': record['recordId'],
            'result': 'Ok',
            'data': base64.b64encode(json.dumps(dict_data).encode('utf-8'))
        }

        output.append(output_record)
    return {'records': output}

연결 구성

firehoseDeliveryRole 업데이트

전송 스트림 생성

CloudWatch

장애 시 데이터 손실을 최소화해야 합니다.

로그(원시 데이터)
지표(서비스 활동 측정값)
경보(지표가 범위를 벗어날 때 알림)
대시보드(지표 시각화)

장애 지점

연습해 봅시다!

AWS Kinesis와 Lambda로 배우는 스트리밍 데이터