Fallstudie: strömmande data

Strömdata med AWS Kinesis och Lambda

Maksim Pecherskiy

Data Engineer

Det här kapitlet

  • Skicka inkommande data till Firehose
  • Lagra data
  • Visualisera data
  • Ställ in realtidsaviseringar
  • Övervaka strömmen
  • Uppfyll en uppsättning krav
Strömdata med AWS Kinesis och Lambda

2020-08-11_18-31.png

Strömdata med AWS Kinesis och Lambda

Krav

  • Tweets måste innehålla hashtagen #sandiego
  • Tweets måste komma in i realtid
  • Tweets måste vara berikade med sentimentanalys
  • Visualisera de senaste 15 minuternas data
  • Avisera chefen om >3 negativa tweets under ett 5-minutersintervall
  • Strömmen bör minimera dataförlust vid driftstopp
  • Data måste bevaras för senare analys
Strömdata med AWS Kinesis och Lambda

Tweets kommer in i realtid

2020-08-02_08-38.png

Strömdata med AWS Kinesis och Lambda

Berikad med sentiment

Strömdata med AWS Kinesis och Lambda

Data måste bevaras för senare analys

2020-08-02_08-42.png

Strömdata med AWS Kinesis och Lambda

Visualisera de senaste 15 minuterna

2020-08-11_18-44.png

Strömdata med AWS Kinesis och Lambda

Redshift vs Elasticsearch

Redshift

  • Utformat för att lagra strukturerade datatabeller
  • Schema definieras i databasen
  • SQL för frågor
  • Fungerar utmärkt med BI-verktyg som Tableau

Elasticsearch

  • Schemafritt – lämpligt för loggar och text
  • Schema skapas vid frågetillfället
  • Använder ett eget frågespråk
  • Har ett eget gränssnitt – Kibana
Strömdata med AWS Kinesis och Lambda

Nu kör vi en övning!

Strömdata med AWS Kinesis och Lambda

Preparing Video For Download...