Fluxul de date

Înțelegerea ingineriei datelor

Hadrien Lacroix

Content Developer at DataCamp

Dacă datele sunt noul petrol...

datele sunt noul petrol - copertă The Economist

¹ The Economist, 2017-05-06, by David Parkins

sondă petrolieră

conductă de la sonda petrolieră

distilare

reziduu

petrol greu

motorină

kerosen

nafta

benzină

kerosenul este livrat direct la aeroport

benzina este livrată la depozitul de carburant

benzina este livrată de la depozit la stațiile de alimentare

nafta suferă transformări chimice

plasticul este trimis la fabrică

Înapoi la ingineria datelor

Ingestie
Procesare
Stocare
Necesită fluxuri
Automatizează fluxul dintr-o etapă în alta
Furnizează date actualizate, precise și relevante

inginer de date

mobil

calculator

site web

conducte din aplicația mobilă, aplicația desktop și site web

rack de date

artiști

albume

piese

liste de redare

clienți

angajați

Baza de date artiști

angajați vânzări

angajați inginerie

angajați suport

angajați vânzări Statele Unite

angajați vânzări Belgia

angajați vânzări Franța

verificare și curățare piese

scriere piese curate în baza de date

Oprah distribuind fluxuri

Fluxurile de date asigură un flux eficient al datelor

Automatizare

Extragere
Transformare
Combinare
Validare
Încărcare

Reducere

Intervenție umană
Erori
Timpul de circulație a datelor

ETL și fluxurile de date

ETL

Framework popular pentru proiectarea fluxurilor de date
1) Extragere date
2) Transformare date extrase
3) Încărcare date transformate într-o altă bază de date

Fluxuri de date

Transferă date dintr-un sistem în altul
Pot urma modelul ETL
Datele pot să nu fie transformate
Datele pot fi încărcate direct în aplicații

Rezumat

Ce este un flux de date
Ce face acesta
De ce este important
Cum sunt implementate fluxurile de date la Spotflix
Ce este ETL și nuanțele sale

Lass uns üben!

Înțelegerea ingineriei datelor