Przygotowanie do pierwszego strumienia

Strumieniowanie danych z AWS Kinesis i Lambda

Maksim Pecherskiy

Data Engineer

Cel końcowy

Cel końcowy

Cel końcowy

Cel końcowy

dcUser

Docelowy bucket S3

s3 = boto3.client('s3', 
                  aws_access_key_id=AWS_KEY_ID, 
                  aws_secret_access_key=AWS_SECRET, 
                  region_name='us-east-1')

s3.create_bucket(Bucket='sd-vehicle-data')

Dodawanie uprawnień użytkownikowi

Dodawanie uprawnień użytkownikowi

Dodawanie uprawnień użytkownikowi

Dodawanie uprawnień użytkownikowi

Dodawanie uprawnień użytkownikowi

Dodawanie uprawnień użytkownikowi

Nowe uprawnienia

Uwaga dotycząca bezpieczeństwa

Uwaga dotycząca bezpieczeństwa

Nowe uprawnienia

Uprawnienia strumienia Firehose

Role a użytkownicy

• Przechowywane w IAM
• Posiadają zasady uprawnień
• Przypisywane tylko do innych usług
• Nie mają kluczy ani logowania

• Przechowywani w IAM
• Posiadają zasady uprawnień
• Mogą działać samodzielnie
• Mogą mieć klucze lub logowanie

Podsumowanie – cel końcowy

Podsumowanie

Podsumowanie

Podsumowanie

Do dzieła!

Strumieniowanie danych z AWS Kinesis i Lambda