设计现代数据架构

深入理解现代数据架构

Miller Trujillo

Senior Software Engineer

业务案例

医疗实验室

  • 组织机器人
  • 生成 CSV
    • 每小时最多 4 个 CSV
  • 纯文件充当数据库

业务案例流程

  • 为患者提供结果跟踪平台
  • 用其检查信息丰富患者结果
深入理解现代数据架构

从哪里开始？

问题！

细化需求！

  • 文件有多大？
  • 有多少机器人？
  • 这些文件生成频率如何？
  • 他们有多少文件？
  • 数据如何处理？机器学习？查询？
  • 数据如何对外提供？
  • 有哪些法规/约束？
深入理解现代数据架构

假设条件

  • 100 台机器
  • 每个 CSV 约 100MB
  • 以纯文件作数据库
  • 每个纯文件数十 GB
  • 模型通过 API 暴露
    • 需全部历史结果或汇总
    • 汇总需持续更新
  • 移动应用
  • 忽略法规
深入理解现代数据架构

解决方案

建议方案

深入理解现代数据架构

让我们来练习！

深入理解现代数据架构

Preparing Video For Download...