Concevoir une architecture de données moderne

Comprendre l'architecture de données moderne

Miller Trujillo

Senior Software Engineer

Le cas d'affaires

Laboratoire médical

  • Robot d'organisation
  • Générer des CSV
    • Jusqu'à 4 CSV par heure
  • Bases de données en fichiers plats

Flux du cas d'affaires

  • Plateforme pour que les patients suivent leurs résultats
  • Enrichir les résultats avec leur investigation
Comprendre l'architecture de données moderne

Par où commencer ?

Questions !

Précisez les exigences !

  • Quelle est la taille des fichiers ?
  • Combien de robots ?
  • À quelle fréquence ces fichiers sont-ils générés ?
  • Combien de fichiers ont-ils ?
  • Comment les données seront-elles traitées ? Machine Learning ? Requêtes ?
  • Comment les données seront-elles exposées ?
  • Quelles règles/contraintes avons-nous ?
Comprendre l'architecture de données moderne

Les hypothèses

  • 100 machines
  • Chaque fichier CSV fait environ 100 Mo
  • Fichiers plats comme base de données
  • Dizaines de gigaoctets par fichier plat
  • Modèle exposé via une API
    • Nécessite tous les résultats précédents ou un sommaire
    • Le sommaire doit être mis à jour en continu
  • Appli mobile
  • Ignorer la réglementation
Comprendre l'architecture de données moderne

La solution

Solution proposée

Comprendre l'architecture de données moderne

Passons à la pratique !

Comprendre l'architecture de données moderne

Preparing Video For Download...