Suivi de la performance

Données en continu avec AWS Kinesis et Lambda

Maksim Pecherskiy

Data Engineer

Leçon précédente

Transformation Lambda

def lambda_handler(event, context):

    comprehend = boto3.client('comprehend', 
                              region_name='us-east-1', 
                              aws_access_key_id = AWS_KEY, 
                              aws_secret_access_key=AWS_SECRET)

    output = []

    for record in event['records']:
        ...

Transformation Lambda

def lambda_handler(event, context):
    ...
    for record in event['records']:

        dict_data = base64.b64decode(record['data']).decode('utf-8').strip()
        dict_data = json.loads(dict_data)

        sentiment_all = comprehend.detect_sentiment(
          Text=dict_data['text'], 
          LanguageCode=dict_data['lang'])
        dict_data['sentiment'] = sentiment_all['Sentiment']
        ...

Transformation Lambda

def lambda_handler(event, context):
    ...
    for record in event['records']:
        ...

        output_record = {
            'recordId': record['recordId'],
            'result': 'Ok',
            'data': base64.b64encode(json.dumps(dict_data).encode('utf-8'))
        }

        output.append(output_record)
    return {'records': output}

Relier les éléments

Mettre à jour firehoseDeliveryRole

Créer un flux de diffusion

CloudWatch

Le flux doit minimiser la perte de données due aux arrêts de service.

Journaux (données brutes)
Mesures (indicateurs d'activités du service)
Alarmes (avis quand une mesure sort d'une plage donnée)
Tableaux de bord (visualisation des mesures)

Points de défaillance

Passons à la pratique !

Données en continu avec AWS Kinesis et Lambda