Wat is streaming en waarom is het belangrijk?

Streaming data met AWS Kinesis en Lambda

Maksim Pecherskiy

Data Engineer

Batch vs. stream

Batch

~~"Beter"~~
Grotere datasets
Complexere analyses
Langzamer bewegende data
Voorb. Dagelijks verkooprapport
Voorb. Verkoop volgende maand voorspellen
Voorb. Churnvoorspelling

Stream

~~"Gaver"~~
Eenvoudiger analyses: aggregatie/filteren
Individuele records/microbatches
Data gaat SNEL
Voorb. Fraudedetectie
Voorb. Windturbines monitoren
Voorb. Realtime meldingen

Cody en de vloot

Cody

Cody naast haar fiets

De vloot

een collage van voertuigen

Telematica-streaming

AWS Kinesis

Data Firehose

Delivery streams

Een Firehose-client maken

import boto3

firehose = boto3.client('firehose',

                        aws_access_key_id=AWS_KEY_ID, 
                        aws_secret_access_key=AWS_SECRET,

                        region_name='us-east-1')

Werken met delivery streams

# Show created delivery streams
response = firehose.list_delivery_streams()

print(response['DeliveryStreamNames'])

['old-delivery-stream1', 'a-test-stream']

Streams verwijderen

# Show created delivery streams
response = firehose.list_delivery_streams()

# Delete them all!
for stream_name in response['DeliveryStreamNames']:

      firehose.delete_delivery_stream(DeliveryStreamName=stream_name)

Herhaling

Batch vs. stream
Cody en telematicaverzameling
AWS Kinesis
Kinesis Firehose Delivery Streams
AWS Kinesis Data Firehose
Firehose-delivery streams lijst en verwijderen
Producer -> datagenerator
Destination -> waar de data heen gaat

Laten we oefenen!

Streaming data met AWS Kinesis en Lambda