Datapijplijnen

Data Science begrijpen

Sara Billen

Curriculum Manager

$$ Gegevens verzamelen en invoeren met één bron

Data Science begrijpen

$$ Gegevens verzamelen en invoeren met drie bronnen

$$

Hoe schalen we op?

Meer dan één gegevensbron:

  • Openbare registers
  • API's
  • Databases

Verschillende soorten gegevens:

  • Ongestructureerde data
  • Tabelgegevens
  • Realtime streamingdata, bijv. tweets
Data Science begrijpen

Wat is een datapijplijn?

  • Verplaatst gegevens naar bepaalde fasen
  • Automatisch verzamelen en opslaan
    • Elk uur, per dag, per week, enz.
    • Getriggerd door een gebeurtenis
  • Gemonitord met gegenereerde waarschuwingen
  • Noodzakelijk voor big data-projecten
  • Data-engineers werken aan aangepaste oplossingen
  • Extract Transform Load (ETL)

Datapijplijn

Data Science begrijpen

Casestudy: slim huis

Data Bron Frequentie
Weersomstandigheden API van de nationale weerdienst Elke 30 minuten
Tweets in jouw buurt Twitter-API Realtime stroom
Binnentemperatuur Slimme thermostaat voor thuis Elke 5 minuten
Verlichting Slimme lampen Elke minuut
Status van sloten Slimme deursloten Elke 15 seconden
Energieverbruik Slimme meter Wekelijks
Data Science begrijpen

Extraheren

Extractiefase

Bron Frequentie
API van nationale weerdienst Elke 30 minuten
Twitter-API Realtime stroom
Slimme thermostaat voor thuis Elke 5 minuten
Slimme lampen Elke minuut
Slimme deursloten Elke 15 seconden
Slimme meter Wekelijks
Data Science begrijpen

Transformeren

Laadfase

Data Science begrijpen

Transformeren

Hoe houden we alle binnenkomende gegevens overzichtelijk en makkelijk te gebruiken?

$$ Voorbeelden van transformaties:

  • Databronnen samenvoegen tot één dataset
  • Datastructuren aanpassen aan databaseschema's
  • Irrelevante gegevens verwijderen

In deze fase vindt er nog geen datavoorbereiding en -onderzoek plaats.

Data Science begrijpen

Laden

Laadfase

Data Science begrijpen

Automatiseren

Automatiseren

Data Science begrijpen

Laten we oefenen!

Data Science begrijpen

Preparing Video For Download...