Gegevens verwerken

Inzicht in data engineering

Hadrien Lacroix

Content Developer at DataCamp

datapijplijn

data naar de data lake verplaatsen

data naar de data lake verplaatsen

controleren op corrupte data

Een algemene definitie

Dataverwerking: ruwe data omzetten in betekenisvolle informatie

Waarde van dataverwerking

Conceptueel

Ongewenste data verwijderen
Geheugen-, verwerkings- en netwerkkosten optimaliseren
Data van het ene type naar het andere omzetten

Bij Spotflix

Test-featuredata niet lang nodig
We kunnen zulke grote bestanden niet opslaan en streamen

datapijplijn

datapijplijn

datapijplijn

Waarde van dataverwerking

Conceptueel

Ongewenste data verwijderen
Om geheugen te besparen
Data van het ene type naar het andere omzetten
Data organiseren
Laten passen in een schema/structuur
Productiviteit verhogen

Bij Spotflix

Verliesloos formaat niet nodig
We kunnen zulke grote bestanden niet opslaan
Liedjes converteren van .flac naar .ogg
Data herindelen van de data lake naar datawarehouses
Voorbeeld van een werknemerstabel
Data scientists in staat stellen

Hoe data-engineers data verwerken

Taken voor manipuleren, opschonen en ordenen van data
- die je kunt automatiseren
- die altijd nodig blijven
Data opslaan in een logisch gestructureerde database
Views maken boven op de databasetabellen
De performance van de database optimaliseren

Corrupte songbestanden afkeuren
Bepalen wat te doen met ontbrekende metadata
Aparte tabellen voor artiesten en albums...
...maar een view aanbieden die ze combineert
Indexeren

¹ Het verschil tussen batch en stream wordt in de volgende les uitgelegd!

Apache Spark-logo

Samenvatting

Wat dataverwerking is
Waarom het nodig is
Waaruit het bestaat
Hoe we data verwerken bij Spotflix

Laten we oefenen!

Inzicht in data engineering

Preparing Video For Download...