Data verwerken

Data Engineering begrijpen

Hadrien Lacroix

Content Developer at DataCamp

datapijplijn

data naar het datameer verplaatsen

data naar het datameer verplaatsen

controleren op corrupte data

Een algemene definitie

Dataverwerking: ruwe data omzetten in betekenisvolle info

Waarde van dataverwerking

Conceptueel

Ongewenste data verwijderen
Geheugen-, verwerkings- en netwerkkosten optimaliseren
Data omzetten naar een ander type

Bij Spotflix

Testfeature-data niet lang nodig
Bestanden zo groot opslaan/streamen is te duur

datapijplijn

datapijplijn

datapijplijn

Waarde van dataverwerking

Conceptueel

Ongewenste data verwijderen
Om geheugen te besparen
Data omzetten naar een ander type
Data organiseren
In een schema/structuur passen
Productiviteit verhogen

Bij Spotflix

Verliesvrij formaat niet nodig
Bestanden zo groot opslaan is te duur
Nummers converteren van .flac naar .ogg
Data van het datameer naar datawarehouses herindelen
Voorbeeld: employee-tabel
Data scientists in staat stellen

Hoe data engineers data verwerken

Data manipuleren, opschonen en opruimen
- dat je kunt automatiseren
- dat altijd nodig blijft
Data opslaan in een logisch gestructureerde database
Views maken boven op tabellen
Databaseprestaties optimaliseren

Corrupte songbestanden afwijzen
Beslissen wat te doen met ontbrekende metadata
Gescheiden artiesten- en albumtabellen...
...maar ook een view die ze combineert
Indexeren

¹ Het verschil tussen batch en stream wordt in de volgende les uitgelegd!

Apache Spark-logo

Samenvatting

Wat dataverwerking is
Waarom het nodig is
Waaruit het bestaat
Hoe we data verwerken bij Spotflix

Laten we oefenen!

Data Engineering begrijpen

Preparing Video For Download...