Caso di studio: dati in streaming

Dati in streaming con AWS Kinesis e Lambda

Maksim Pecherskiy

Data Engineer

Questo capitolo

  • Invia i dati in arrivo a Firehose
  • Archivia i dati
  • Visualizza i dati
  • Imposta avvisi in tempo reale
  • Monitora lo stream
  • Rispetta i requisiti
Dati in streaming con AWS Kinesis e Lambda

2020-08-11_18-31.png

Dati in streaming con AWS Kinesis e Lambda

Requisiti

  • I tweet devono includere l'hashtag #sandiego
  • I tweet devono arrivare in tempo reale
  • I tweet devono essere arricchiti con il sentiment
  • Visualizza gli ultimi 15 minuti di dati
  • Avvisa il manager se >3 tweet negativi in 5 minuti
  • Lo stream deve ridurre al minimo le perdite per downtime
  • I dati devono persistere per analisi successive
Dati in streaming con AWS Kinesis e Lambda

Tweet in tempo reale

2020-08-02_08-38.png

Dati in streaming con AWS Kinesis e Lambda

Arricchiti con sentiment

Dati in streaming con AWS Kinesis e Lambda

I dati devono persistere per analisi future

2020-08-02_08-42.png

Dati in streaming con AWS Kinesis e Lambda

Visualizza gli ultimi 15 minuti

2020-08-11_18-44.png

Dati in streaming con AWS Kinesis e Lambda

Redshift vs Elasticsearch

Redshift

  • Pensato per tabelle pulite di dati
  • Schema definito nel database
  • Query in SQL
  • Ottimo con BI come Tableau

Elasticsearch

  • Senza schema: ideale per log e testo
  • Schema creato in fase di query
  • Linguaggio query proprietario
  • UI propria: Kibana
Dati in streaming con AWS Kinesis e Lambda

Passons à la pratique !

Dati in streaming con AWS Kinesis e Lambda

Preparing Video For Download...