Datapipelines

Förstå datavetenskap

Sara Billen

Curriculum Manager

$$ Datainsamling och inmatning med en källa

Förstå datavetenskap

$$ Datainsamling och inmatning med tre källor

$$

Hur skalar vi upp?

Fler än en datakälla:

  • Offentliga register
  • API:er
  • Databaser

Olika datatyper:

  • Ostrukturerad data
  • Tabelldata
  • Realtidsströmmad data t.ex. tweets
Förstå datavetenskap

Vad är en datapipeline?

  • Flyttar data genom definierade steg
  • Automatiserad insamling och lagring
    • Schemalagd varje timme, dag, vecka osv.
    • Utlöses av en händelse
  • Övervakas med automatiska larm
  • Nödvändig för stordataprojekt
  • Dataingenjörer anpassar lösningarna
  • Extrahera Transformera Ladda (ETL)

Datapipeline

Förstå datavetenskap

Fallstudie: smarthemmet

Data Källa Frekvens
Väderförhållanden National Weather Service API Var 30:e minut
Tweets i ditt område Twitter API Realtidsström
Inomhustemperatur Smart termostat Var 5:e minut
Lampstatus Smarta glödlampor Varje minut
Låsstatus Smarta dörrlås Var 15:e sekund
Energiförbrukning Smart elmätare Veckovis
Förstå datavetenskap

Extrahera

Extraheringsfas

Källa Frekvens
National Weather API Var 30:e minut
Twitter API Realtidsström
Smart termostat Var 5:e minut
Smarta glödlampor Varje minut
Smarta dörrlås Var 15:e sekund
Smart elmätare Veckovis
Förstå datavetenskap

Transformera

Laddningsfas

Förstå datavetenskap

Transformera

Med all inkommande data – hur håller vi den organiserad och lättanvänd?

$$ Exempel på transformationer:

  • Sammanfoga datakällor till en datamängd
  • Konvertera datastrukturer för att passa databasschemat
  • Ta bort irrelevant data

Dataförberedelse och utforskning sker inte i detta steg

Förstå datavetenskap

Ladda

Laddningsfas

Förstå datavetenskap

Automatisering

Automatisering

Förstå datavetenskap

Nu kör vi en övning!

Förstå datavetenskap

Preparing Video For Download...