Případová studie: streamovaná data

Streamování dat s AWS Kinesis a Lambda

Maksim Pecherskiy

Data Engineer

Tato kapitola

  • Odesílání příchozích dat do Firehose
  • Ukládání dat
  • Vizualizace dat
  • Nastavení výstrah v reálném čase
  • Monitorování streamu
  • Splnění sady požadavků
Streamování dat s AWS Kinesis a Lambda

2020-08-11_18-31.png

Streamování dat s AWS Kinesis a Lambda

Požadavky

  • Tweety musí obsahovat hashtag #sandiego
  • Tweety musí přicházet v reálném čase
  • Tweety musí být obohaceny o sentiment
  • Vizualizace posledních 15 minut dat
  • Upozornit manažera při >3 negativních tweetech za 5 minut
  • Stream musí minimalizovat ztrátu dat při výpadku
  • Data musí být uložena pro pozdější analýzu
Streamování dat s AWS Kinesis a Lambda

Tweety přicházejí v reálném čase

2020-08-02_08-38.png

Streamování dat s AWS Kinesis a Lambda

Obohaceno o sentiment

Streamování dat s AWS Kinesis a Lambda

Data musí být uložena pro pozdější analýzu

2020-08-02_08-42.png

Streamování dat s AWS Kinesis a Lambda

Vizualizace posledních 15 minut

2020-08-11_18-44.png

Streamování dat s AWS Kinesis a Lambda

Redshift vs. Elasticsearch

Redshift

  • Navržen pro ukládání čistých tabulek dat
  • Schéma je definováno v databázi
  • Dotazy pomocí SQL
  • Skvěle funguje s BI nástroji, např. Tableau

Elasticsearch

  • Bez schématu – vhodný pro logy a text
  • Schéma se vytváří při dotazu
  • Používá vlastní dotazovací jazyk
  • Má vlastní UI – Kibana
Streamování dat s AWS Kinesis a Lambda

Pojďme procvičovat!

Streamování dat s AWS Kinesis a Lambda

Preparing Video For Download...