Surveiller les performances

Streaming de données avec AWS Kinesis et Lambda

Maksim Pecherskiy

Data Engineer

Leçon précédente

Transformation Lambda

def lambda_handler(event, context):

    comprehend = boto3.client('comprehend', 
                              region_name='us-east-1', 
                              aws_access_key_id = AWS_KEY, 
                              aws_secret_access_key=AWS_SECRET)

    output = []

    for record in event['records']:
        ...

Transformation Lambda

def lambda_handler(event, context):
    ...
    for record in event['records']:

        dict_data = base64.b64decode(record['data']).decode('utf-8').strip()
        dict_data = json.loads(dict_data)

        sentiment_all = comprehend.detect_sentiment(
          Text=dict_data['text'], 
          LanguageCode=dict_data['lang'])
        dict_data['sentiment'] = sentiment_all['Sentiment']
        ...

Transformation Lambda

def lambda_handler(event, context):
    ...
    for record in event['records']:
        ...

        output_record = {
            'recordId': record['recordId'],
            'result': 'Ok',
            'data': base64.b64encode(json.dumps(dict_data).encode('utf-8'))
        }

        output.append(output_record)
    return {'records': output}

Tout raccorder

Mettre à jour firehoseDeliveryRole

Créer un flux de diffusion

CloudWatch

Le flux doit réduire au minimum la perte de données due aux pannes.

Journaux (données brutes)
Mesures (indicateurs d'activité du service)
Alarmes (alertes quand une mesure sort d'un intervalle)
Tableaux de bord (visualisation des mesures)

Points de défaillance

Passons à la pratique !

Streaming de données avec AWS Kinesis et Lambda