Подготовка к первому потоку

Потоковая обработка данных с AWS Kinesis и Lambda

Maksim Pecherskiy

Data Engineer

Конечная цель

Конечная цель

Конечная цель

Конечная цель

dcUser

Целевой бакет S3

s3 = boto3.client('s3', 
                  aws_access_key_id=AWS_KEY_ID, 
                  aws_secret_access_key=AWS_SECRET, 
                  region_name='us-east-1')

s3.create_bucket(Bucket='sd-vehicle-data')

Назначение прав пользователю

Назначение прав пользователю

Назначение прав пользователю

Назначение прав пользователю

Назначение прав пользователю

Назначение прав пользователю

Новые возможности

О безопасности

О безопасности

Новые возможности

Права потока Firehose

Роли и пользователи

• Хранятся в IAM
• Имеют политики разрешений
• Подключаются только к другим сервисам
• Не имеют ключей и логина

• Хранятся в IAM
• Имеют политики разрешений
• Могут действовать самостоятельно
• Могут иметь ключи или логин

Итог — конечная цель

Итог

Итог

Итог

Давайте потренируемся!

Потоковая обработка данных с AWS Kinesis и Lambda