Studi kasus data streaming

Streaming Data dengan AWS Kinesis dan Lambda

Maksim Pecherskiy

Data Engineer

Bab ini

  • Kirim data masuk ke Firehose
  • Simpan data
  • Visualisasikan data
  • Setel peringatan real-time
  • Pantau stream
  • Penuhi serangkaian kebutuhan
Streaming Data dengan AWS Kinesis dan Lambda

2020-08-11_18-31.png

Streaming Data dengan AWS Kinesis dan Lambda

Kebutuhan

  • Tweet harus menyertakan tagar #sandiego
  • Tweet harus real-time
  • Tweet harus diperkaya dengan sentimen
  • Visualisasikan 15 menit terakhir
  • Beri tahu manajer jika >3 tweet negatif dalam 5 menit
  • Stream harus meminimalkan kehilangan data saat downtime
  • Data harus dipertahankan untuk analisis nanti
Streaming Data dengan AWS Kinesis dan Lambda

Tweet masuk secara real-time

2020-08-02_08-38.png

Streaming Data dengan AWS Kinesis dan Lambda

Diperkaya dengan sentimen

Streaming Data dengan AWS Kinesis dan Lambda

Data harus dipertahankan untuk analisis nanti

2020-08-02_08-42.png

Streaming Data dengan AWS Kinesis dan Lambda

Visualisasikan 15 menit terakhir

2020-08-11_18-44.png

Streaming Data dengan AWS Kinesis dan Lambda

Redshift vs Elasticsearch

Redshift

  • Dirancang untuk menyimpan tabel data bersih
  • Skema didefinisikan di database
  • SQL untuk kueri
  • Sangat cocok dengan alat BI seperti Tableau

Elasticsearch

  • Tanpa skema - cocok untuk log dan teks
  • Skema dibuat saat kueri
  • Menggunakan bahasa kuerinya sendiri
  • Memiliki UI sendiri - Kibana
Streaming Data dengan AWS Kinesis dan Lambda

Ayo berlatih!

Streaming Data dengan AWS Kinesis dan Lambda

Preparing Video For Download...