Vad är strömning och varför spelar det roll?

Strömdata med AWS Kinesis och Lambda

Maksim Pecherskiy

Data Engineer

Batch vs. ström

chapter1_take_ms_dahkX.png

Strömdata med AWS Kinesis och Lambda

Batch vs. ström

Batch

  • "Bättre"
  • Större datamängder
  • Mer komplex analys
  • Långsammare data
  • Ex. Daglig försäljningsrapport
  • Ex. Prognos för nästa månads försäljning
  • Ex. Churn-prediktion

Ström

  • "Häftigare"
  • Enklare analys: aggregering / filtrering
  • Enstaka poster / mikrobatchar
  • Data rör sig SNABBT
  • Ex. Bedrägeridetektering
  • Ex. Övervakning av vindturbiner
  • Ex. Realtidsavisering
Strömdata med AWS Kinesis och Lambda

Cody och flottan

Cody

Cody bredvid sin cykel

Flottan

ett kollage av fordon

Strömdata med AWS Kinesis och Lambda

Telematikströmning

chapter1_take_ms_IfvAm.png

chapter1_take_ms_tNX4d.png

chapter1_take_ms_frlCB.png

Strömdata med AWS Kinesis och Lambda

AWS Kinesis

Strömdata med AWS Kinesis och Lambda

Data Firehose

chapter1_take_ms_UPYak.png

Strömdata med AWS Kinesis och Lambda

Leveransströmmar

chapter1_take_ms_MDHnC.png

Strömdata med AWS Kinesis och Lambda

Leveransströmmar

chapter1_take_ms_ytekB.png

Strömdata med AWS Kinesis och Lambda

Leveransströmmar

chapter1_take_ms_gx6D1.png

Strömdata med AWS Kinesis och Lambda

Skapa en Firehose-klient

import boto3

firehose = boto3.client('firehose',

                        aws_access_key_id=AWS_KEY_ID, 
                        aws_secret_access_key=AWS_SECRET,

                        region_name='us-east-1')
Strömdata med AWS Kinesis och Lambda

Arbeta med leveransströmmar

# Show created delivery streams
response = firehose.list_delivery_streams()

print(response['DeliveryStreamNames'])

['old-delivery-stream1', 'a-test-stream']
Strömdata med AWS Kinesis och Lambda

Ta bort strömmar

# Show created delivery streams
response = firehose.list_delivery_streams()

# Delete them all!
for stream_name in response['DeliveryStreamNames']:

      firehose.delete_delivery_stream(DeliveryStreamName=stream_name)
Strömdata med AWS Kinesis och Lambda

Sammanfattning

  • Batch vs. ström
  • Cody och telematiksinsamling
  • AWS Kinesis
  • Kinesis Firehose-leveransströmmar
  • AWS Kinesis Data Firehose
  • Lista och ta bort Firehose-leveransströmmar
  • Producent -> datagenerator
  • Destination -> dit data skickas
Strömdata med AWS Kinesis och Lambda

Nu kör vi en övning!

Strömdata med AWS Kinesis och Lambda

Preparing Video For Download...