Een moderne data-architectuur ontwerpen

Moderne data-architectuur begrijpen

Miller Trujillo

Senior Software Engineer

De businesscase

Medisch laboratorium

  • Organizer-robot
  • Genereert CSV
    • Tot 4 CSV per uur
  • Databases als platte bestanden

Processtroom bedrijfscase

  • Platform voor patiënten om resultaten te volgen
  • Verrijk resultaten met hun onderzoeken
Moderne data-architectuur begrijpen

Waar begin je?

Vragen!

Scherp de requirements aan!

  • Hoe groot zijn de bestanden?
  • Hoeveel robots?
  • Hoe vaak worden die bestanden gemaakt?
  • Hoeveel bestanden hebben ze?
  • Hoe wordt data verwerkt? Machine learning? Queries?
  • Hoe wordt data ontsloten?
  • Welke regels/beperkingen gelden?
Moderne data-architectuur begrijpen

De aannames

  • 100 machines
  • Elk CSV-bestand is ~100 MB
  • Platte bestanden als database
  • Tientallen GB per plat bestand
  • Model via API beschikbaar
    • Vereist alle eerdere resultaten of een samenvatting
    • Samenvatting moet continu up-to-date zijn
  • Mobiele app
  • Regelgeving negeren
Moderne data-architectuur begrijpen

De oplossing

Voorgestelde oplossing

Moderne data-architectuur begrijpen

Laten we oefenen!

Moderne data-architectuur begrijpen

Preparing Video For Download...