Co je streaming a proč je důležitý?

Streamování dat s AWS Kinesis a Lambda

Maksim Pecherskiy

Data Engineer

Batch vs. stream

chapter1_take_ms_dahkX.png

Streamování dat s AWS Kinesis a Lambda

Batch vs. stream

Batch

  • „Lepší"
  • Větší datové sady
  • Složitější analýzy
  • Pomalu se měnící data
  • Příklad: denní výkaz tržeb
  • Příklad: předpověď tržeb na příští měsíc
  • Příklad: predikce odchodu zákazníků

Stream

  • „Modernější"
  • Jednodušší analýzy: agregace / filtrování
  • Jednotlivé záznamy / mikro-dávky
  • Data se pohybují RYCHLE
  • Příklad: detekce podvodů
  • Příklad: monitorování větrných turbín
  • Příklad: upozornění v reálném čase
Streamování dat s AWS Kinesis a Lambda

Cody a flotila

Cody

Cody vedle svého kola

Flotila

koláž vozidel

Streamování dat s AWS Kinesis a Lambda

Telematický streaming

chapter1_take_ms_IfvAm.png

chapter1_take_ms_tNX4d.png

chapter1_take_ms_frlCB.png

Streamování dat s AWS Kinesis a Lambda

AWS Kinesis

Streamování dat s AWS Kinesis a Lambda

Data Firehose

chapter1_take_ms_UPYak.png

Streamování dat s AWS Kinesis a Lambda

Doručovací streamy

chapter1_take_ms_MDHnC.png

Streamování dat s AWS Kinesis a Lambda

Doručovací streamy

chapter1_take_ms_ytekB.png

Streamování dat s AWS Kinesis a Lambda

Doručovací streamy

chapter1_take_ms_gx6D1.png

Streamování dat s AWS Kinesis a Lambda

Vytvoření klienta Firehose

import boto3

firehose = boto3.client('firehose',

                        aws_access_key_id=AWS_KEY_ID, 
                        aws_secret_access_key=AWS_SECRET,

                        region_name='us-east-1')
Streamování dat s AWS Kinesis a Lambda

Práce s doručovacími streamy

# Show created delivery streams
response = firehose.list_delivery_streams()

print(response['DeliveryStreamNames'])

['old-delivery-stream1', 'a-test-stream']
Streamování dat s AWS Kinesis a Lambda

Odstranění streamů

# Show created delivery streams
response = firehose.list_delivery_streams()

# Delete them all!
for stream_name in response['DeliveryStreamNames']:

      firehose.delete_delivery_stream(DeliveryStreamName=stream_name)
Streamování dat s AWS Kinesis a Lambda

Shrnutí

  • Batch vs. stream
  • Cody a telematický sběr dat
  • AWS Kinesis
  • Kinesis Firehose doručovací streamy
  • AWS Kinesis Data Firehose
  • Výpis a mazání doručovacích streamů Firehose
  • Producent -> generátor dat
  • Cíl -> kam data směřují
Streamování dat s AWS Kinesis a Lambda

Pojďme si procvičit!

Streamování dat s AWS Kinesis a Lambda

Preparing Video For Download...