Wat is data engineering?

Introductie tot Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Wat kun je verwachten

  • Hoofdstuk 1
    • Wat is data engineering?
  • Hoofdstuk 2
    • Tools voor data engineers
  • Hoofdstuk 3
    • Extract
    • Transform
    • Load
  • Hoofdstuk 4
    • Data engineering bij DataCamp!
Introductie tot Data Engineering

Daar komt de data engineer

 

  • Data is verspreid
  • Niet geoptimaliseerd voor analyses
  • Legacycode veroorzaakt corrupte data

 

Data engineer to the rescue!

Vrouwelijke engineer

Afbeelding van databaseschema als voorbeeld van verspreide data

Afbeelding die een computerfout weergeeft

Introductie tot Data Engineering

Data engineers: maken je leven makkelijker

 

  • Verzamelt data uit verschillende bronnen
  • Database geoptimaliseerd voor analyses
  • Corrupte data verwijderd

 

Het leven van de data scientist is veel makkelijker!

 

Diagram van het data-ingestieproces

Introductie tot Data Engineering

Functieomschrijving

Een engineer die architecturen zoals databases en grootschalige verwerkingssystemen ontwikkelt, bouwt, test en onderhoudt

  • Verwerken van grote hoeveelheden data
  • Gebruik van clusters van machines
Introductie tot Data Engineering

Data Engineer vs Data Scientist

Data Engineer

  • Bouwt schaalbare data-architectuur
  • Stroomlijnt data-acquisitie
  • Richt processen in om data te combineren
  • Schoont corrupte data op
  • Bedreven in cloudtechnologie

Data Scientist

  • Zoekt patronen in data
  • Statistische modellering
  • Voorspellende modellen met machine learning
  • Monitort bedrijfsprocessen
  • Verwijdert uitschieters in data
Introductie tot Data Engineering

Laten we oefenen!

Introductie tot Data Engineering

Preparing Video For Download...