De datapijplijn

Inzicht in data engineering

Hadrien Lacroix

Content Developer at DataCamp

Als data het nieuwe olie is...

¹ The Economist, 2017-05-06, door David Parkins

Terug naar data engineering

• Innemen
• Verwerken
• Opslaan
• Pijplijnen nodig
• Stroom automatiseren tussen stations
• Actuele, nauwkeurige, relevante data leveren

$$

Datapijplijnen zorgen voor een efficiënte datastroom

Automatiseer

• Extractie
• Transformatie
• Combineren
• Valideren
• Laden

Verminder

• Menselijke tussenkomst
• Fouten
• Tijd tot datastroom

ETL en datapijplijnen

ETL

• Populair raamwerk om datapijplijnen te ontwerpen
• 1) Extract data
• 2) Transform geëxtraheerde data
• 3) Load getransformeerde data naar een andere database

Datapijplijnen

• Verplaatsen data tussen systemen
• Kunnen ETL volgen
• Data wordt soms niet getransformeerd
• Data kan direct in apps worden geladen

Samenvatting

• Wat een datapijplijn is
• Wat die doet
• Waarom die belangrijk is
• Hoe Spotflix pijplijnen inzet
• Wat ETL is en de nuances

Laten we oefenen!

Inzicht in data engineering