現代資料架構設計

理解現代資料架構

Miller Trujillo

Senior Software Engineer

商業案例

醫檢實驗室

  • 整理機器人
  • 產生 CSV
    • 每小時最多 4 個 CSV
  • 以純檔案當資料庫

商業案例流程

  • 病患查詢結果的平台
  • 以病患檢查資訊豐富其結果
理解現代資料架構

從哪裡開始？

發問！

細化需求！

  • 檔案有多大？
  • 有幾台機器人？
  • 這些檔案產生頻率？
  • 他們共有多少檔案？
  • 資料如何處理？機器學習？查詢？
  • 資料如何對外提供？
  • 有哪些法規／限制？
理解現代資料架構

假設條件

  • 100 台機器
  • 每個 CSV 約 100MB
  • 以純檔案作為資料庫
  • 每個純檔案數十 GB
  • 透過 API 提供模型
    • 需要所有先前結果或摘要
    • 摘要需持續更新
  • 行動應用程式
  • 法規忽略不考慮
理解現代資料架構

解法

建議解法

理解現代資料架構

一起來練習吧！

理解現代資料架構

Preparing Video For Download...