Monitorare le prestazioni

Dati in streaming con AWS Kinesis e Lambda

Maksim Pecherskiy

Data Engineer

Lezione precedente

Trasformazione Lambda

def lambda_handler(event, context):

    comprehend = boto3.client('comprehend', 
                              region_name='us-east-1', 
                              aws_access_key_id = AWS_KEY, 
                              aws_secret_access_key=AWS_SECRET)

    output = []

    for record in event['records']:
        ...

Trasformazione Lambda

def lambda_handler(event, context):
    ...
    for record in event['records']:

        dict_data = base64.b64decode(record['data']).decode('utf-8').strip()
        dict_data = json.loads(dict_data)

        sentiment_all = comprehend.detect_sentiment(
          Text=dict_data['text'], 
          LanguageCode=dict_data['lang'])
        dict_data['sentiment'] = sentiment_all['Sentiment']
        ...

Trasformazione Lambda

def lambda_handler(event, context):
    ...
    for record in event['records']:
        ...

        output_record = {
            'recordId': record['recordId'],
            'result': 'Ok',
            'data': base64.b64encode(json.dumps(dict_data).encode('utf-8'))
        }

        output.append(output_record)
    return {'records': output}

Collegare il tutto

Aggiorna firehoseDeliveryRole

Crea delivery stream

CloudWatch

Lo stream deve ridurre al minimo la perdita di dati dovuta ai downtime.

Log (dati grezzi)
Metriche (misure di varie attività del servizio)
Allarmi (notifiche quando una metrica è fuori dall’intervallo)
Dashboard (visualizzazione delle metriche)

Punti di failure

Passiamo alla pratica !

Dati in streaming con AWS Kinesis e Lambda