Casus: streamingdata

Streaming data met AWS Kinesis en Lambda

Maksim Pecherskiy

Data Engineer

Deze chapter

  • Stuur inkomende data naar Firehose
  • Sla data op
  • Visualiseer data
  • Stel realtime alerts in
  • Monitor de stream
  • Voldoe aan de eisen
Streaming data met AWS Kinesis en Lambda

2020-08-11_18-31.png

Streaming data met AWS Kinesis en Lambda

Eisen

  • Tweets moeten de hashtag #sandiego bevatten
  • Tweets moeten realtime binnenkomen
  • Tweets moeten verrijkt zijn met sentiment
  • Visualiseer de laatste 15 minuten
  • Meld manager bij >3 negatieve tweets in 5 minuten
  • Minimaliseer dataverlies door downtime
  • Data moet blijven bestaan voor latere analyse
Streaming data met AWS Kinesis en Lambda

Tweets komen realtime binnen

2020-08-02_08-38.png

Streaming data met AWS Kinesis en Lambda

Verrijkt met sentiment

Streaming data met AWS Kinesis en Lambda

Data moet bewaard blijven voor latere analyse

2020-08-02_08-42.png

Streaming data met AWS Kinesis en Lambda

Visualiseer laatste 15 minuten

2020-08-11_18-44.png

Streaming data met AWS Kinesis en Lambda

Redshift vs Elasticsearch

Redshift

  • Gemaakt voor het opslaan van schone datatabellen
  • Schema staat vast in de database
  • SQL voor queries
  • Werkt goed met BI-tools zoals Tableau

Elasticsearch

  • Schemaless – goed voor logs en tekst
  • Schema ontstaat tijdens de query
  • Eigen querytaal
  • Eigen UI: Kibana
Streaming data met AWS Kinesis en Lambda

Laten we oefenen!

Streaming data met AWS Kinesis en Lambda

Preparing Video For Download...