Ce este streaming-ul și de ce contează?

Date în flux cu AWS Kinesis și Lambda

Maksim Pecherskiy

Data Engineer

Batch vs. stream

chapter1_take_ms_dahkX.png

Date în flux cu AWS Kinesis și Lambda

Batch vs. stream

Batch

  • „Mai bun"
  • Seturi de date mari
  • Analiză mai complexă
  • Date cu mișcare lentă
  • Ex. Raport zilnic de vânzări
  • Ex. Prognoza vânzărilor lunii viitoare
  • Ex. Predicția abandonului

Stream

  • „Mai cool"
  • Analiză simplă: agregare / filtrare
  • Înregistrări individuale / micro-loturi
  • Date în mișcare RAPIDĂ
  • Ex. Detectarea fraudelor
  • Ex. Monitorizarea turbinelor eoliene
  • Ex. Alerte în timp real
Date în flux cu AWS Kinesis și Lambda

Cody și flota

Cody

Cody lângă bicicleta sa

Flota

un colaj de vehicule

Date în flux cu AWS Kinesis și Lambda

Streaming telematic

chapter1_take_ms_IfvAm.png

chapter1_take_ms_tNX4d.png

chapter1_take_ms_frlCB.png

Date în flux cu AWS Kinesis și Lambda

AWS Kinesis

Date în flux cu AWS Kinesis și Lambda

Data Firehose

chapter1_take_ms_UPYak.png

Date în flux cu AWS Kinesis și Lambda

Fluxuri de livrare

chapter1_take_ms_MDHnC.png

Date în flux cu AWS Kinesis și Lambda

Fluxuri de livrare

chapter1_take_ms_ytekB.png

Date în flux cu AWS Kinesis și Lambda

Fluxuri de livrare

chapter1_take_ms_gx6D1.png

Date în flux cu AWS Kinesis și Lambda

Crearea unui client Firehose

import boto3

firehose = boto3.client('firehose',

                        aws_access_key_id=AWS_KEY_ID, 
                        aws_secret_access_key=AWS_SECRET,

                        region_name='us-east-1')
Date în flux cu AWS Kinesis și Lambda

Lucrul cu fluxuri de livrare

# Show created delivery streams
response = firehose.list_delivery_streams()

print(response['DeliveryStreamNames'])

['old-delivery-stream1', 'a-test-stream']
Date în flux cu AWS Kinesis și Lambda

Ștergerea fluxurilor

# Show created delivery streams
response = firehose.list_delivery_streams()

# Delete them all!
for stream_name in response['DeliveryStreamNames']:

      firehose.delete_delivery_stream(DeliveryStreamName=stream_name)
Date în flux cu AWS Kinesis și Lambda

Recapitulare

  • Batch vs. stream
  • Cody și colectarea datelor telematice
  • AWS Kinesis
  • Kinesis Firehose Delivery Streams
  • AWS Kinesis Data Firehose
  • Listarea și ștergerea fluxurilor de livrare Firehose
  • Producer -> generator de date
  • Destination -> destinația datelor
Date în flux cu AWS Kinesis și Lambda

Să exersăm!

Date în flux cu AWS Kinesis și Lambda

Preparing Video For Download...