Progettare una data architecture moderna

Comprendere la data architecture moderna

Miller Trujillo

Senior Software Engineer

Il business case

Laboratorio medico

  • Robot organizzatore
  • Genera CSV
    • Fino a 4 CSV all’ora
  • Database in file flat

Flusso del caso d’uso

  • Piattaforma per i pazienti per tracciare i risultati
  • Arricchire i risultati con le loro indagini
Comprendere la data architecture moderna

Da dove iniziare?

Domande!

Affina i requisiti!

  • Quanto sono grandi i file?
  • Quanti robot?
  • Con che frequenza vengono generati i file?
  • Quanti file hanno?
  • Come verranno processati i dati? Machine learning? Query?
  • Come verranno esposti i dati?
  • Quali vincoli/norme abbiamo?
Comprendere la data architecture moderna

Le assunzioni

  • 100 macchine
  • Ogni file CSV è circa 100 MB
  • File flat come database
  • Decine di GB per ciascun file flat
  • Modello esposto via API
    • Richiede tutti i risultati precedenti o un riepilogo
    • Il riepilogo va aggiornato continuamente
  • App mobile
  • Ignorare le normative
Comprendere la data architecture moderna

La soluzione

Soluzione proposta

Comprendere la data architecture moderna

Passiamo alla pratica !

Comprendere la data architecture moderna

Preparing Video For Download...