Czym jest streaming i dlaczego ma znaczenie?

Strumieniowanie danych z AWS Kinesis i Lambda

Maksim Pecherskiy

Data Engineer

Przetwarzanie wsadowe a strumieniowe

Wsadowe

~~„Lepsze"~~
Większe zbiory danych
Bardziej złożona analiza
Wolniej zmieniające się dane
Np. Dzienny raport sprzedaży
Np. Prognozowanie sprzedaży na kolejny miesiąc
Np. Przewidywanie odejścia klientów

Strumieniowe

~~„Modniejsze"~~
Prostsza analiza: agregacja / filtrowanie
Pojedyncze rekordy / mikro-porcje
Dane płyną SZYBKO
Np. Wykrywanie oszustw
Np. Monitorowanie turbin wiatrowych
Np. Alerty w czasie rzeczywistym

Cody i flota

Cody

Cody obok swojego roweru

Flota

kolaż pojazdów

Strumieniowanie telematyczne

AWS Kinesis

Data Firehose

Strumienie dostarczania

Tworzenie klienta Firehose

import boto3

firehose = boto3.client('firehose',

                        aws_access_key_id=AWS_KEY_ID, 
                        aws_secret_access_key=AWS_SECRET,

                        region_name='us-east-1')

Praca ze strumieniami dostarczania

# Show created delivery streams
response = firehose.list_delivery_streams()

print(response['DeliveryStreamNames'])

['old-delivery-stream1', 'a-test-stream']

Usuwanie strumieni

# Show created delivery streams
response = firehose.list_delivery_streams()

# Delete them all!
for stream_name in response['DeliveryStreamNames']:

      firehose.delete_delivery_stream(DeliveryStreamName=stream_name)

Podsumowanie

Przetwarzanie wsadowe a strumieniowe
Cody i zbieranie danych telematycznych
AWS Kinesis
Strumienie dostarczania Kinesis Firehose
AWS Kinesis Data Firehose
Listowanie i usuwanie strumieni dostarczania Firehose
Producent -> generator danych
Miejsce docelowe -> cel przesyłania danych

Czas na ćwiczenia!

Strumieniowanie danych z AWS Kinesis i Lambda