Datapijplijnen

Data Science begrijpen

Sara Billen

Curriculum Manager

$$ Data collection and ingestion with one source

Data Science begrijpen

$$ Data collection and ingestion with three source

$$

Hoe schalen we?

Meer dan één gegevensbron:

  • Openbare gegevens
  • API's
  • Databases

Verschillende gegevenssoorten:

  • Ongestructureerde data
  • Data in tabelvorm
  • Realtime streamingdata bijv. tweets
Data Science begrijpen

Wat is een datapijplijn?

  • Verplaatst data naar gedefinieerde fasen
  • Geautomatiseerde verzameling en opslag
    • Per uur, dagelijks, wekelijks, enz. gepland
    • Geactiveerd door een gebeurtenis
  • Bewaakt met gegenereerde meldingen
  • Noodzakelijk voor big data-projecten
  • Data engineers werken aan het aanpassen van oplossingen
  • Extract Transform Load (ETL)

Data pipeline

Data Science begrijpen

Casestudy: slim huis

Data Bron Frequentie
Weersomstandigheden API van de Nationale Weerdienst Elke 30 minuten
Tweets in jouw omgeving Twitter API Realtime stream
Binnentemperatuur Slimme thermostaat voor thuis Elke 5 minuten
Status van de lampen Slimme lampen Elke minuut
Status van sloten Slimme deursloten Elke 15 seconden
Energieverbruik Slimme meter Wekelijks
Data Science begrijpen

Extract

Extract phase

Bron Frequentie
API van de Nationale Weerdienst Elke 30 minuten
Twitter API Realtime stream
Slimme thermostaat voor thuis Elke 5 minuten
Slimme lampen Elke minuut
Slimme deursloten Elke 15 seconden
Slimme meter Wekelijks
Data Science begrijpen

Transform

Load phase

Data Science begrijpen

Transform

Hoe houden we zoveel binnenkomende data georganiseerd en gemakkelijk te gebruiken?

$$ Voorbeeldtransformaties:

  • Gegevensbronnen samenvoegen tot één dataset
  • Gegevensstructuren omzetten zodat ze passen bij databaseschema’s
  • Onbelangrijke gegevens verwijderen

Datavoorbereiding en -verkenning vinden in deze fase niet plaats

Data Science begrijpen

Load

Load phase

Data Science begrijpen

Automatisering

Automating

Data Science begrijpen

We gaan oefenen!

Data Science begrijpen

Preparing Video For Download...