Data engineering en big data

Data Engineering begrijpen

Hadrien Lacroix

Content Developer at DataCamp

Over de cursus

  • Conceptuele cursus
  • Geen code nodig
  • Doelen
    • Kunnen samenwerken met data-engineers
    • Stevige basis om verder te leren
Data Engineering begrijpen

Hoofdstuk 1

Wat is data engineering?

  1. Data engineering en big data
  2. Data-engineers vs. data scientists
  3. Datapijplijnen
Data Engineering begrijpen

Hoofdstuk 2

Hoe dataopslag werkt

  1. Gestructureerde vs. ongestructureerde data
  2. SQL
  3. Datawarehouse en datalakes
Data Engineering begrijpen

Hoofdstuk 3

Data verplaatsen en verwerken

  1. Data verwerken
  2. Data plannen
  3. Parallelle computing
  4. Cloud computing
Data Engineering begrijpen

$$

$$

$$

spotflix-logo

Data Engineering begrijpen

Dataworkflow

eerste stap - data verzamelen en opslaan

Data Engineering begrijpen

Dataworkflow

tweede stap - data voorbereiden

Data Engineering begrijpen

Dataworkflow

derde stap - exploratie en visualisatie

Data Engineering begrijpen

Dataworkflow

experimenteren en voorspellen

Data Engineering begrijpen

Data-engineers

data verzamelen en opslaan is omcirkeld

Data Engineering begrijpen

Data-engineers

Data-engineers leveren:

  • de juiste data
  • in de juiste vorm
  • aan de juiste mensen
  • zo efficiënt mogelijk
Data Engineering begrijpen

Taken van een data-engineer

  • Data uit verschillende bronnen inladen
  • Databases optimaliseren voor analyse
  • Corrupte data verwijderen
  • Data-architecturen ontwikkelen, bouwen, testen en onderhouden
Data Engineering begrijpen

Data-engineers en big data

  • Big data wordt de norm =>
Data Engineering begrijpen

Data-engineers en big data

  • Big data wordt de norm => data-engineers zijn steeds harder nodig
  • Big data:
    • Denk na over hoe je met de omvang omgaat
    • Zo groot dat traditionele methoden niet meer werken
Data Engineering begrijpen

Groei van big data

  • Sensoren en apparaten
  • Social media
  • Enterprise-data
  • VoIP (spraak, multimediaverbindingen)

grafiek met groei van big data

1 Data Age 2025, Seagate, november 2018
Data Engineering begrijpen

De vijf V’s

  • Volume (hoeveel?)
  • Variëteit (welk type?)
  • Snelheid (hoe vaak?)
  • Waarheidsgetrouwheid (hoe nauwkeurig?)
  • Waarde (hoe nuttig?)
Data Engineering begrijpen

Samenvatting

  • Wat je te wachten staat
  • Hoe data door een organisatie stroomt
  • Wanneer een data-engineer ingrijpt
  • Wat de verantwoordelijkheden zijn
  • Hoe data engineering zich verhoudt tot big data
Data Engineering begrijpen

Laten we oefenen!

Data Engineering begrijpen

Preparing Video For Download...