Procesarea datelor

Înțelegerea ingineriei datelor

Hadrien Lacroix

Content Developer at DataCamp

pipeline de date

mutarea datelor în data lake

mutarea datelor în data lake

verificarea datelor corupte

O definiție generală

Procesarea datelor: conversia datelor brute în informații utile

Valoarea procesării datelor

Conceptual

Eliminarea datelor nedorite
Optimizarea costurilor de memorie, procesare și rețea
Conversia datelor dintr-un tip în altul

La Spotflix

Nu este nevoie pe termen lung de date din funcționalitățile de test
Nu ne putem permite să stocăm și să transmitem fișiere atât de mari

pipeline de date

pipeline de date

pipeline de date

Valoarea procesării datelor

Conceptual

Eliminarea datelor nedorite
Pentru a economisi memorie
Conversia datelor dintr-un tip în altul
Organizarea datelor
Pentru a se conforma unei scheme/structuri
Creșterea productivității

La Spotflix

Nu este nevoie de format fără pierderi
Nu ne putem permite să stocăm fișiere atât de mari
Conversia melodiilor din .flac în .ogg
Reorganizarea datelor din data lake în depozitele de date
Exemplu cu tabelul angajaților
Facilitarea muncii data scientists

Cum procesează datele inginerii de date

Sarcini de manipulare, curățare și ordonare a datelor
- care pot fi automatizate
- care trebuie întotdeauna realizate
Stocarea datelor într-o bază de date bine structurată
Crearea de view-uri peste tabelele bazei de date
Optimizarea performanței bazei de date

Respingerea fișierelor de melodii corupte
Stabilirea modului de tratare a metadatelor lipsă
Tabele separate pentru artiști și albume...
...dar cu un view care le combină
Indexare

¹ Diferența dintre procesarea în loturi și cea în flux va fi explicată în lecția următoare!

Logo Apache Spark

Rezumat

Ce este procesarea datelor
De ce este necesară
În ce constă
Cum procesăm datele la Spotflix

Să exersăm!

Înțelegerea ingineriei datelor

Preparing Video For Download...