Getting ready for the first stream

Streaming de données avec AWS Kinesis et Lambda

Maksim Pecherskiy

Data Engineer

End goal

chapter1_take_ms_liQuR.png

Streaming de données avec AWS Kinesis et Lambda

End goal

gGuLC.png

Streaming de données avec AWS Kinesis et Lambda

End goal

IIFUE.png

Streaming de données avec AWS Kinesis et Lambda

End goal

XpcGO.png

Streaming de données avec AWS Kinesis et Lambda

p5yig.png

Streaming de données avec AWS Kinesis et Lambda

dcUser

Drh4F.png

Streaming de données avec AWS Kinesis et Lambda

A destination S3 bucket

s3 = boto3.client('s3', 
                  aws_access_key_id=AWS_KEY_ID, 
                  aws_secret_access_key=AWS_SECRET, 
                  region_name='us-east-1')

s3.create_bucket(Bucket='sd-vehicle-data')
Streaming de données avec AWS Kinesis et Lambda

LDGmc.png

Streaming de données avec AWS Kinesis et Lambda

bFQoE.png

Streaming de données avec AWS Kinesis et Lambda

Add permissions to user

SSdiv.png

Streaming de données avec AWS Kinesis et Lambda

Add permissions to user

Yqb6Y.png

Streaming de données avec AWS Kinesis et Lambda

Add permissions to user

M4HOZ.png

Streaming de données avec AWS Kinesis et Lambda

Add permissions to user

NBLCR.png

Streaming de données avec AWS Kinesis et Lambda

Add permissions to user

ncOZ7.png

Streaming de données avec AWS Kinesis et Lambda

Add permissions to user

1xvfb.png

Streaming de données avec AWS Kinesis et Lambda

New powers

bEbSB.png

Streaming de données avec AWS Kinesis et Lambda

A note on security

MBXWT.png

Streaming de données avec AWS Kinesis et Lambda

A note on security

OsJnK.png

Streaming de données avec AWS Kinesis et Lambda

vroeW.png

Streaming de données avec AWS Kinesis et Lambda

New powers

bEbSB.png

Streaming de données avec AWS Kinesis et Lambda

Streaming de données avec AWS Kinesis et Lambda

Firehose stream permissions

m1sn3.png

Streaming de données avec AWS Kinesis et Lambda

BLo0S.png

Streaming de données avec AWS Kinesis et Lambda

RAFOr.png

Streaming de données avec AWS Kinesis et Lambda

vx0iX.png

Streaming de données avec AWS Kinesis et Lambda

xVkJU.png

Streaming de données avec AWS Kinesis et Lambda

Roles vs users

rGbOt.png

  • Live in IAM
  • Have permissions policies
  • Only attach to other services
  • Do not have keys nor login

qQ1pa.png

  • Live in IAM
  • Have permissions policies
  • Can act on their own
  • Can have keys or login
Streaming de données avec AWS Kinesis et Lambda

Review - end goal

WlEwO.png

Streaming de données avec AWS Kinesis et Lambda

Review

m0gxE.png

Streaming de données avec AWS Kinesis et Lambda

Review

Drh4F.png

Streaming de données avec AWS Kinesis et Lambda

Review

BLo0S.png

Streaming de données avec AWS Kinesis et Lambda

Let's do it!

Streaming de données avec AWS Kinesis et Lambda

Preparing Video For Download...