Fluxuri de date

Înțelegerea științei datelor

Sara Billen

Curriculum Manager

$$ Colectarea și ingestia datelor dintr-o singură sursă

$$ Colectarea și ingestia datelor din trei surse

$$

Cum scalăm?

Mai multe surse de date:

Registre publice
API-uri
Baze de date

Tipuri diferite de date:

Date nestructurate
Date tabulare
Date în flux în timp real ex.: tweet-uri

Ce este un flux de date?

Mută datele prin etape definite
Colectare și stocare automatizate
- Programate orar, zilnic, săptămânal etc.
- Declanșate de un eveniment
Monitorizate cu alerte generate automat
Necesare pentru proiecte cu date mari
Inginerii de date personalizează soluțiile
Extract Transform Load (ETL)

Flux de date

Studiu de caz: casă inteligentă

Date	Sursă	Frecvență
Condiții meteo	API Serviciu Meteorologic	La fiecare 30 min
Tweet-uri din zona dvs.	API Twitter	Flux în timp real
Temperatura interioară	Termostat inteligent	La fiecare 5 min
Starea luminilor	Becuri inteligente	La fiecare minut
Starea încuietorilor	Încuietori inteligente	La fiecare 15 sec
Consum de energie	Contor inteligent	Săptămânal

Extragere

Faza de extragere

Sursă	Frecvență
API Meteorologie Națională	La fiecare 30 min
API Twitter	Flux în timp real
Termostat inteligent	La fiecare 5 min
Becuri inteligente	La fiecare minut
Încuietori inteligente	La fiecare 15 sec
Contor inteligent	Săptămânal

Transformare

Faza de încărcare

Transformare

Cu atât de multe date primite, cum le organizăm eficient?

$$ Exemple de transformări:

Combinarea surselor de date într-un singur set
Conversia structurilor de date pentru schemele bazei de date
Eliminarea datelor irelevante

Pregătirea și explorarea datelor nu au loc în această etapă

Încărcare

Faza de încărcare

Automatizare

Automatizare

Să exersăm!

Înțelegerea științei datelor

Preparing Video For Download...