Att designa en modern dataarkitektur

Förstå modern dataarkitektur

Miller Trujillo

Senior Software Engineer

Affärsfallet

Medicinskt laboratorium

  • Organiseringsrobot
  • Genererar CSV
    • Upp till 4 CSV i timmen
  • Databaser i vanliga filer

Dataflödesdiagram

  • Plattform för patienter att följa sina resultat
  • Berika patientresultat med deras undersökningsdata
Förstå modern dataarkitektur

Var börjar man?

Frågor!

Precisera kraven!

  • Hur stora är filerna?
  • Hur många robotar finns det?
  • Hur ofta genereras filerna?
  • Hur många filer finns det?
  • Hur ska data bearbetas? Maskininlärning? Frågor?
  • Hur ska data exponeras?
  • Vilka regler och begränsningar gäller?
Förstå modern dataarkitektur

Antagandena

  • 100 maskiner
  • Varje CSV-fil är cirka 100 MB
  • Vanliga filer används som databas
  • Tiotals gigabyte per vanlig fil
  • Modell exponeras via API
    • Kräver alla tidigare resultat eller en sammanfattning
    • Sammanfattningen behöver uppdateras kontinuerligt
  • Mobilapp
  • Regler ignoreras
Förstå modern dataarkitektur

Lösningen

Föreslagen lösning

Förstå modern dataarkitektur

Nu kör vi en övning!

Förstå modern dataarkitektur

Preparing Video For Download...