Indo para serverless

Streaming de dados com AWS Kinesis e Lambda

Maksim Pecherskiy

Data Engineer

Capítulo anterior

Lambda

Serverless

• Servidores gerenciados pelo provedor
• Paga por execução
• Escala automática
• Limites menores de memória e tempo
• Ótimo para funções rápidas e focadas
• Responder a um evento com callback

Servidores (tradicionais)

• Servidores gerenciados pelo usuário
• Paga por hora de máquina
• Escala manual
• Limites maiores de memória e tempo
• Ótimo para execuções longas
• Treinar um modelo de ML

1. Gatilho

2. Handler

3. Camada

4. Destino

Combinação poderosa

Transformação de dados

API

Alertas

Alexa

Handler de exemplo

import json

def lambda_handler(event, context):

    return {
        'statusCode': 200,
        'body': json.dumps('Hello from Lambda!')
    }

Revisão

Revisão

Transformação de dados

API

Alertas

Alexa

Revisão

Serverless

• Responder a um evento

Tradicional

• Treinar um modelo de ML

Revisão

Vamos praticar!

Streaming de dados com AWS Kinesis e Lambda