Proiectarea unei arhitecturi moderne de date

Înțelegerea arhitecturii moderne a datelor

Miller Trujillo

Senior Software Engineer

Studiul de caz

Laborator medical

  • Robot organizator
  • Generare CSV
    • Până la 4 fișiere CSV pe oră
  • Baze de date în fișiere simple

Flux studiu de caz

  • Platformă pentru pacienți să urmărească rezultatele
  • Îmbogățirea rezultatelor cu datele investigației
Înțelegerea arhitecturii moderne a datelor

De unde începem?

Întrebări!

Rafinarea cerințelor!

  • Cât de mari sunt fișierele?
  • Câți roboți există?
  • Cât de frecvent sunt generate fișierele?
  • Câte fișiere există?
  • Cum vor fi procesate datele? Machine learning? Interogări?
  • Cum vor fi expuse datele?
  • Ce reglementări/constrângeri există?
Înțelegerea arhitecturii moderne a datelor

Ipotezele

  • 100 de mașini
  • Fiecare fișier CSV are aproximativ 100 MB
  • Fișiere simple ca baze de date
  • Zeci de gigaocteți per fișier simplu
  • Model expus prin API
    • Necesită toate rezultatele anterioare sau un rezumat
    • Rezumatul trebuie actualizat constant
  • Aplicație mobilă
  • Reglementările sunt ignorate
Înțelegerea arhitecturii moderne a datelor

Soluția

Soluție propusă

Înțelegerea arhitecturii moderne a datelor

Să exersăm!

Înțelegerea arhitecturii moderne a datelor

Preparing Video For Download...