Akış nedir ve neden önemlidir?

AWS Kinesis ve Lambda ile Akış Verileri

Maksim Pecherskiy

Data Engineer

Toplu vs. akış

Toplu

~~"Daha iyi"~~
Daha büyük veri kümeleri
Daha karmaşık analiz
Daha yavaş hareket eden veri
Örn. Günlük satış raporu
Örn. Gelecek ayın satış tahmini
Örn. Terk (churn) tahmini

Akış

~~"Daha havalı"~~
Daha basit analiz: toplama/filtreleme
Tekil kayıtlar/mikro partiler
Veri ÇOK HIZLI akar
Örn. Dolandırıcılık tespiti
Örn. Rüzgar türbini izleme
Örn. Gerçek zamanlı uyarı

Cody ve filo

Cody

Cody bisikletinin yanında

Filo

araç kolajı

Telematik akışı

AWS Kinesis

Data Firehose

Teslim akışları

Firehose istemcisi oluşturma

import boto3

firehose = boto3.client('firehose',

                        aws_access_key_id=AWS_KEY_ID, 
                        aws_secret_access_key=AWS_SECRET,

                        region_name='us-east-1')

Teslim akışlarıyla çalışma

# Show created delivery streams
response = firehose.list_delivery_streams()

print(response['DeliveryStreamNames'])

['old-delivery-stream1', 'a-test-stream']

Akışları silme

# Show created delivery streams
response = firehose.list_delivery_streams()

# Delete them all!
for stream_name in response['DeliveryStreamNames']:

      firehose.delete_delivery_stream(DeliveryStreamName=stream_name)

Gözden geçirme

Toplu vs. akış
Cody ve telematik toplama
AWS Kinesis
Kinesis Firehose Teslim Akışları
AWS Kinesis Data Firehose
Firehose teslim akışlarını listeleme ve silme
Üretici -> veri üretici
Hedef -> verinin gittiği yer

Hadi pratik yapalım!

AWS Kinesis ve Lambda ile Akış Verileri