Apa itu streaming dan mengapa penting?

Streaming Data dengan AWS Kinesis dan Lambda

Maksim Pecherskiy

Data Engineer

Batch vs stream

chapter1_take_ms_dahkX.png

Streaming Data dengan AWS Kinesis dan Lambda

Batch vs stream

Batch

  • "Lebih baik"
  • Dataset lebih besar
  • Analisis lebih kompleks
  • Data bergerak lebih lambat
  • Contoh: laporan penjualan harian
  • Contoh: prakiraan penjualan bulan depan
  • Contoh: prediksi churn

Stream

  • "Lebih keren"
  • Analisis lebih sederhana: agregasi/penyaringan
  • Rekaman individual/mikro-batch
  • Data bergerak CEPAT
  • Contoh: deteksi penipuan
  • Contoh: memantau turbin angin
  • Contoh: peringatan real-time
Streaming Data dengan AWS Kinesis dan Lambda

Cody dan armada

Cody

Cody di sebelah sepedanya

Armada

kolase kendaraan

Streaming Data dengan AWS Kinesis dan Lambda

Streaming telematika

chapter1_take_ms_IfvAm.png

chapter1_take_ms_tNX4d.png

chapter1_take_ms_frlCB.png

Streaming Data dengan AWS Kinesis dan Lambda

AWS Kinesis

Streaming Data dengan AWS Kinesis dan Lambda

Data Firehose

chapter1_take_ms_UPYak.png

Streaming Data dengan AWS Kinesis dan Lambda

Delivery stream

chapter1_take_ms_MDHnC.png

Streaming Data dengan AWS Kinesis dan Lambda

Delivery stream

chapter1_take_ms_ytekB.png

Streaming Data dengan AWS Kinesis dan Lambda

Delivery stream

chapter1_take_ms_gx6D1.png

Streaming Data dengan AWS Kinesis dan Lambda

Membuat klien Firehose

import boto3

firehose = boto3.client('firehose',

                        aws_access_key_id=AWS_KEY_ID, 
                        aws_secret_access_key=AWS_SECRET,

                        region_name='us-east-1')
Streaming Data dengan AWS Kinesis dan Lambda

Bekerja dengan delivery stream

# Show created delivery streams
response = firehose.list_delivery_streams()

print(response['DeliveryStreamNames'])

['old-delivery-stream1', 'a-test-stream']
Streaming Data dengan AWS Kinesis dan Lambda

Hapus stream

# Show created delivery streams
response = firehose.list_delivery_streams()

# Delete them all!
for stream_name in response['DeliveryStreamNames']:

      firehose.delete_delivery_stream(DeliveryStreamName=stream_name)
Streaming Data dengan AWS Kinesis dan Lambda

Ulasan

  • Batch vs stream
  • Cody dan pengumpulan telematika
  • AWS Kinesis
  • Kinesis Firehose Delivery Streams
  • AWS Kinesis Data Firehose
  • Daftar dan hapus delivery stream Firehose
  • Producer -> generator data
  • Destination -> tujuan data
Streaming Data dengan AWS Kinesis dan Lambda

Ayo berlatih!

Streaming Data dengan AWS Kinesis dan Lambda

Preparing Video For Download...