Concevoir une architecture data moderne

Comprendre les architectures de données modernes

Miller Trujillo

Senior Software Engineer

Le cas métier

Laboratoire médical

  • Robot d’organisation
  • Génère des CSV
    • Jusqu’à 4 CSV par heure
  • Bases de données en fichiers plats

Flux du cas métier

  • Plateforme pour que les patients suivent leurs résultats
  • Enrichir les résultats avec leurs examens
Comprendre les architectures de données modernes

Par où commencer ?

Questions !

Affiner les besoins !

  • Quelle est la taille des fichiers ?
  • Combien de robots ?
  • À quelle fréquence ces fichiers sont-ils générés ?
  • Combien de fichiers ont-ils ?
  • Comment les données seront-elles traitées ? Machine learning ? Requêtes ?
  • Comment les données seront-elles exposées ?
  • Quelles réglementations/contraintes avons-nous ?
Comprendre les architectures de données modernes

Hypothèses

  • 100 machines
  • Chaque fichier CSV ≈ 100 Mo
  • Fichiers plats comme base de données
  • Dizaines de gigaoctets par fichier plat
  • Modèle exposé via API
    • Nécessite tous les résultats précédents ou un résumé
    • Résumé mis à jour en continu
  • Application mobile
  • Ignorer les réglementations
Comprendre les architectures de données modernes

La solution

Solution proposée

Comprendre les architectures de données modernes

Passons à la pratique !

Comprendre les architectures de données modernes

Preparing Video For Download...