Preparando o primeiro stream

Streaming de dados com AWS Kinesis e Lambda

Maksim Pecherskiy

Data Engineer

Objetivo final

Objetivo final

Objetivo final

Objetivo final

dcUser

Um bucket S3 de destino

s3 = boto3.client('s3', 
                  aws_access_key_id=AWS_KEY_ID, 
                  aws_secret_access_key=AWS_SECRET, 
                  region_name='us-east-1')

s3.create_bucket(Bucket='sd-vehicle-data')

Adicionar permissões ao usuário

Adicionar permissões ao usuário

Adicionar permissões ao usuário

Adicionar permissões ao usuário

Adicionar permissões ao usuário

Adicionar permissões ao usuário

Novos poderes

Uma nota sobre segurança

Uma nota sobre segurança

Novos poderes

Permissões do stream Firehose

Roles vs. usuários

• Vivem no IAM
• Têm policies de permissão
• Só anexam a outros serviços
• Não têm chaves nem login

• Vivem no IAM
• Têm policies de permissão
• Agem por conta própria
• Podem ter chaves ou login

Revisão - objetivo final

Revisão

Revisão

Revisão

Vamos praticar!

Streaming de dados com AWS Kinesis e Lambda