Akış verisi vaka çalışması

AWS Kinesis ve Lambda ile Akış Verileri

Maksim Pecherskiy

Data Engineer

Bu bölüm

  • Gelen veriyi Firehose'a gönderin
  • Veriyi depolayın
  • Veriyi görselleştirin
  • Gerçek zamanlı uyarılar ayarlayın
  • Akışı izleyin
  • Bir gereksinim setini karşılayın
AWS Kinesis ve Lambda ile Akış Verileri

2020-08-11_18-31.png

AWS Kinesis ve Lambda ile Akış Verileri

Gereksinimler

  • Tweet'lerde #sandiego etiketi olmalı
  • Tweet'ler gerçek zamanlı gelmeli
  • Tweet'ler duygu analizi ile zenginleştirilmeli
  • Son 15 dakikalık veriyi görselleştir
  • 5 dakikada >3 olumsuz tweet olursa yöneticiye bildir
  • Akış, kesintilerden kaynaklı veri kaybını en aza indirmeli
  • Veri, sonra analiz için kalıcı olmalı
AWS Kinesis ve Lambda ile Akış Verileri

Tweet'ler gerçek zamanlı gelir

2020-08-02_08-38.png

AWS Kinesis ve Lambda ile Akış Verileri

Duygu analiziyle zenginleştirilmiş

AWS Kinesis ve Lambda ile Akış Verileri

Veri daha sonra analiz için kalıcı olmalı

2020-08-02_08-42.png

AWS Kinesis ve Lambda ile Akış Verileri

Son 15 dakikayı görselleştir

2020-08-11_18-44.png

AWS Kinesis ve Lambda ile Akış Verileri

Redshift ve Elasticsearch

Redshift

  • Temiz veri tablolarını depolamak için tasarlanmıştır
  • Şema veritabanında tanımlıdır
  • Sorgular için SQL
  • Tableau gibi BI araçlarıyla çok iyi çalışır

Elasticsearch

  • Şemasız - günlükler ve metin için iyi
  • Şema sorgu sırasında oluşturulur
  • Sorgular için kendi dilini kullanır
  • Kendi arayüzü vardır - Kibana
AWS Kinesis ve Lambda ile Akış Verileri

Hadi pratik yapalım!

AWS Kinesis ve Lambda ile Akış Verileri

Preparing Video For Download...