Data engineering en big data

Inzicht in data engineering

Hadrien Lacroix

Content Developer at DataCamp

Over de cursus

• Conceptuele cursus
• Geen code nodig
• Leerdoelen
  • Kunnen overleggen met data engineers
  • Een stevige basis om verder te leren

Hoofdstuk 1

Wat is data engineering?

1. Data engineering en big data
2. Data engineers vs. data scientists
3. Data pipelines

Hoofdstuk 2

Hoe dataopslag werkt

1. Gestructureerde vs. ongestructureerde data
2. SQL
3. Data warehouse en data lakes

Hoofdstuk 3

Data verplaatsen en verwerken

1. Data verwerken
2. Data plannen
3. Parallel computing
4. Cloud computing

$$

$$

$$

Dataworkflow

Dataworkflow

Dataworkflow

Dataworkflow

Data engineers

Data engineers

Data engineers leveren:

• de juiste data
• in de juiste vorm
• aan de juiste mensen
• zo efficiënt mogelijk

Verantwoordelijkheden van een data engineer

• Data binnenhalen uit verschillende bronnen
• Databases optimaliseren voor analyse
• Beschadigde data verwijderen
• Data-architecturen ontwikkelen, bouwen, testen en onderhouden

Data engineers en big data

• Big data wordt de norm =>

Data engineers en big data

• Big data wordt de norm => data engineers zijn steeds meer nodig
• Big data:
  • Je moet nadenken over hoe je met de grootte omgaat
  • Zo groot dat traditionele methoden niet meer werken

Groe i van big data

• Sensoren en apparaten
• Social media
• Enterprise-data
• VoIP (spraakcommunicatie, multimediagesprekken)

¹ Data Age 2025, Seagate, November 2018

De vijf V's

• Volume (hoeveel?)
• Variety (welk type?)
• Velocity (hoe vaak?)
• Veracity (hoe betrouwbaar?)
• Value (hoe nuttig?)

Samenvatting

• Wat je te wachten staat
• Hoe data door een organisatie stroomt
• Wanneer een data engineer ingrijpt
• Welke verantwoordelijkheden ze hebben
• Hoe data engineering zich verhoudt tot big data

Laten we oefenen!

Inzicht in data engineering