Ingestia datelor

Înțelegerea arhitecturii moderne a datelor

Miller Trujillo

Senior Software Engineer

Ce este ingestia datelor?

Cerințe funcționale
Analitica poate influența cerințele funcționale

Arhitectură generică pentru Big Data, incluzând surse de date, ingestie, stocare, procesare, orchestrare, guvernanță, servire, stocare analitică și raportare

Ingestia în lot

Programată pentru ingestia periodică a datelor
Copiere în platformă pentru analiză
Citirea tuturor datelor vs. doar a datelor noi
Seturi mari de date necesită citire parțială
Seturi mici de date pot fi suprascrise

Ingestia în lot: Aduceți doar modificările

Resursele infinite sunt imposibile
Ingestați doar ceea ce s-a modificat
Actualizat prin marcaj de timp sau indicator
Starea cea mai recentă a datelor
Ștergerea necesită un indicator sau consolidare

Ingestia în flux continuu

Model push
Cozi de evenimente
Calcul 24/7
Zonă de aterizare

Flux de lucru pentru ingestia în flux continuu

Să exersăm!

Înțelegerea arhitecturii moderne a datelor