Návrh moderní datové architektury

Porozumění moderní datové architektuře

Miller Trujillo

Senior Software Engineer

Případ použití

Lékařská laboratoř

  • Robot-organizátor
  • Generování CSV
    • Až 4 CSV za hodinu
  • Databáze v plain souborech

Diagram datového toku

  • Platforma pro sledování výsledků pacienty
  • Obohacení výsledků o jejich vyšetření
Porozumění moderní datové architektuře

Kde začít?

Otázky!

Upřesnění požadavků!

  • Jak velké jsou soubory?
  • Kolik robotů?
  • Jak často jsou soubory generovány?
  • Kolik souborů existuje?
  • Jak budou data zpracována? Strojové učení? Dotazy?
  • Jak budou data zpřístupněna?
  • Jaké platí předpisy a omezení?
Porozumění moderní datové architektuře

Předpoklady

  • 100 strojů
  • Každý CSV soubor má přibližně 100 MB
  • Plain soubory jako databáze
  • Desítky gigabajtů na jeden plain soubor
  • Model zpřístupněn přes API
    • Vyžaduje všechny předchozí výsledky nebo souhrn
    • Souhrn je třeba průběžně aktualizovat
  • Mobilní aplikace
  • Předpisy jsou ignorovány
Porozumění moderní datové architektuře

Řešení

Navrhované řešení

Porozumění moderní datové architektuře

Pojďme si procvičit!

Porozumění moderní datové architektuře

Preparing Video For Download...