Fallstudie zu Streaming-Daten

Datenstreaming mit AWS Kinesis und Lambda

Maksim Pecherskiy

Data Engineer

Dieses Kapitel

  • Eingehende Daten an Firehose senden
  • Daten speichern
  • Daten visualisieren
  • Echtzeit-Alarme einrichten
  • Den Stream überwachen
  • Anforderungen erfüllen
Datenstreaming mit AWS Kinesis und Lambda

2020-08-11_18-31.png

Datenstreaming mit AWS Kinesis und Lambda

Anforderungen

  • Tweets müssen den Hashtag #sandiego haben
  • Tweets müssen in Echtzeit kommen
  • Tweets müssen mit Sentiment angereichert sein
  • Letzte 15 Minuten visualisieren
  • Manager benachrichtigen, wenn >3 negative Tweets in 5 Minuten
  • Stream soll Datenverlust durch Ausfälle minimieren
  • Daten müssen für spätere Analyse bestehen bleiben
Datenstreaming mit AWS Kinesis und Lambda

Tweets kommen in Echtzeit

2020-08-02_08-38.png

Datenstreaming mit AWS Kinesis und Lambda

Mit Sentiment angereichert

Datenstreaming mit AWS Kinesis und Lambda

Daten müssen für spätere Analysen bleiben

2020-08-02_08-42.png

Datenstreaming mit AWS Kinesis und Lambda

Letzte 15 Minuten visualisieren

2020-08-11_18-44.png

Datenstreaming mit AWS Kinesis und Lambda

Redshift vs. Elasticsearch

Redshift

  • Für saubere Datentabellen entwickelt
  • Schema in der Datenbank definiert
  • SQL für Abfragen
  • Passt gut zu BI-Tools wie Tableau

Elasticsearch

  • Schemalos – gut für Logs und Text
  • Schema entsteht bei der Abfrage
  • Eigene Abfragesprache
  • Eigene UI: Kibana
Datenstreaming mit AWS Kinesis und Lambda

Lass uns üben!

Datenstreaming mit AWS Kinesis und Lambda

Preparing Video For Download...