Cos’è lo streaming e perché conta?

Dati in streaming con AWS Kinesis e Lambda

Maksim Pecherskiy

Data Engineer

Batch vs stream

Batch

~~"Meglio"~~
Dataset più grandi
Analisi più complesse
Dati più lenti
Es. Report vendite giornaliero
Es. Previsione vendite del prossimo mese
Es. Churn prediction

Stream

~~"Più figo"~~
Analisi semplice: aggregazione/filtri
Record singoli / micro-batch
Dati velocissimi
Es. Rilevamento frodi
Es. Monitoraggio turbine eoliche
Es. Alert in tempo reale

Cody e la flotta

Cody

Cody accanto alla sua bici

La flotta

un collage di veicoli

Streaming telematico

AWS Kinesis

Data Firehose

Delivery streams

Creare un client Firehose

import boto3

firehose = boto3.client('firehose',

                        aws_access_key_id=AWS_KEY_ID, 
                        aws_secret_access_key=AWS_SECRET,

                        region_name='us-east-1')

Lavorare con i delivery stream

# Show created delivery streams
response = firehose.list_delivery_streams()

print(response['DeliveryStreamNames'])

['old-delivery-stream1', 'a-test-stream']

Eliminare stream

# Show created delivery streams
response = firehose.list_delivery_streams()

# Delete them all!
for stream_name in response['DeliveryStreamNames']:

      firehose.delete_delivery_stream(DeliveryStreamName=stream_name)

Riepilogo

Batch vs stream
Cody e raccolta telematica
AWS Kinesis
Kinesis Firehose Delivery Streams
AWS Kinesis Data Firehose
Elenca ed elimina i delivery stream Firehose
Producer -> generatore di dati
Destination -> destinazione dei dati

Ayo berlatih!

Dati in streaming con AWS Kinesis e Lambda