Data engineering en big data

Data Engineering begrijpen

Hadrien Lacroix

Content Developer at DataCamp

Over de cursus

• Conceptuele cursus
• Geen code nodig
• Doelen
  • Kunnen samenwerken met data-engineers
  • Stevige basis om verder te leren

Hoofdstuk 1

Wat is data engineering?

1. Data engineering en big data
2. Data-engineers vs. data scientists
3. Datapijplijnen

Hoofdstuk 2

Hoe dataopslag werkt

1. Gestructureerde vs. ongestructureerde data
2. SQL
3. Datawarehouse en datalakes

Hoofdstuk 3

Data verplaatsen en verwerken

1. Data verwerken
2. Data plannen
3. Parallelle computing
4. Cloud computing

$$

$$

$$

Dataworkflow

Dataworkflow

Dataworkflow

Dataworkflow

Data-engineers

Data-engineers

Data-engineers leveren:

• de juiste data
• in de juiste vorm
• aan de juiste mensen
• zo efficiënt mogelijk

Taken van een data-engineer

• Data uit verschillende bronnen inladen
• Databases optimaliseren voor analyse
• Corrupte data verwijderen
• Data-architecturen ontwikkelen, bouwen, testen en onderhouden

Data-engineers en big data

• Big data wordt de norm =>

Data-engineers en big data

• Big data wordt de norm => data-engineers zijn steeds harder nodig
• Big data:
  • Denk na over hoe je met de omvang omgaat
  • Zo groot dat traditionele methoden niet meer werken

Groei van big data

• Sensoren en apparaten
• Social media
• Enterprise-data
• VoIP (spraak, multimediaverbindingen)

¹ Data Age 2025, Seagate, november 2018

De vijf V’s

• Volume (hoeveel?)
• Variëteit (welk type?)
• Snelheid (hoe vaak?)
• Waarheidsgetrouwheid (hoe nauwkeurig?)
• Waarde (hoe nuttig?)

Samenvatting

• Wat je te wachten staat
• Hoe data door een organisatie stroomt
• Wanneer een data-engineer ingrijpt
• Wat de verantwoordelijkheden zijn
• Hoe data engineering zich verhoudt tot big data

Laten we oefenen!

Data Engineering begrijpen