Datapipelinen

Introduktion till datatekniker

Hadrien Lacroix

Content Developer at DataCamp

Om data är det nya oljet...

¹ The Economist, 2017-05-06, av David Parkins

Tillbaka till dataingenjörsarbete

• Mata in
• Bearbeta
• Lagra
• Behöver pipelines
• Automatisera flödet från ett steg till nästa
• Tillhandahålla aktuell, korrekt och relevant data

$$

Datapipelines ger ett effektivt dataflöde

Automatisera

• Extrahering
• Transformering
• Sammanslagning
• Validering
• Inläsning

Minska

• Manuell hantering
• Fel
• Tid för dataflöde

ETL och datapipelines

ETL

• Vanligt ramverk för att designa datapipelines
• 1) Extrahera data
• 2) Transformera extraherad data
• 3) Läsa in transformerad data till en annan databas

Datapipelines

• Flyttar data från ett system till ett annat
• Kan följa ETL
• Data behöver inte transformeras
• Data kan läsas in direkt i applikationer

Sammanfattning

• Vad en datapipeline är
• Vad den gör
• Varför den är viktig
• Hur datapipelines används på Spotflix
• Vad ETL är och dess nyanser

Nu kör vi en övning!

Introduktion till datatekniker