Diseñar una arquitectura de datos moderna

Comprender la arquitectura de datos moderna

Miller Trujillo

Senior Software Engineer

El caso de negocio

Laboratorio médico

  • Robot organizador
  • Genera CSV
    • Hasta 4 CSV por hora
  • Bases de datos en archivos planos

Flujo del caso de negocio

  • Plataforma para que pacientes consulten resultados
  • Enriquecer resultados con su investigación
Comprender la arquitectura de datos moderna

¿Por dónde empezar?

¡Preguntas!

¡Refina los requisitos!

  • ¿Qué tamaño tienen los archivos?
  • ¿Cuántos robots hay?
  • ¿Con qué frecuencia se generan?
  • ¿Cuántos archivos tienen?
  • ¿Cómo se procesarán los datos? ¿ML? ¿Consultas?
  • ¿Cómo se expondrán los datos?
  • ¿Qué normativas/restricciones hay?
Comprender la arquitectura de datos moderna

Suposiciones

  • 100 máquinas
  • Cada CSV ~100 MB
  • Archivos planos como base de datos
  • Decenas de GB por archivo plano
  • Modelo expuesto vía API
    • Requiere todos los resultados previos o un resumen
    • El resumen debe actualizarse constantemente
  • App móvil
  • Ignorar normativas
Comprender la arquitectura de datos moderna

La solución

Solución propuesta

Comprender la arquitectura de datos moderna

¡Vamos a practicar!

Comprender la arquitectura de datos moderna

Preparing Video For Download...