Projektowanie nowoczesnej architektury danych

Nowoczesna architektura danych

Miller Trujillo

Senior Software Engineer

Przypadek biznesowy

Laboratorium medyczne

  • Robot organizujący
  • Generowanie plików CSV
    • Do 4 plików CSV na godzinę
  • Bazy danych w zwykłych plikach

Schemat przepływu danych

  • Platforma dla pacjentów do śledzenia wyników
  • Wzbogacanie wyników pacjentów o dane z badań
Nowoczesna architektura danych

Od czego zacząć?

Pytania!

Doprecyzowanie wymagań!

  • Jak duże są pliki?
  • Ile robotów?
  • Jak często generowane są pliki?
  • Ile plików posiadają?
  • Jak dane będą przetwarzane? Uczenie maszynowe? Zapytania?
  • Jak dane będą udostępniane?
  • Jakie regulacje/ograniczenia obowiązują?
Nowoczesna architektura danych

Przyjęte założenia

  • 100 maszyn
  • Każdy plik CSV ma około 100 MB
  • Zwykłe pliki jako baza danych
  • Dziesiątki gigabajtów na plik
  • Model udostępniany przez API
    • Wymaga wszystkich poprzednich wyników lub podsumowania
    • Podsumowanie musi być stale aktualizowane
  • Aplikacja mobilna
  • Pominięcie regulacji
Nowoczesna architektura danych

Rozwiązanie

Proponowane rozwiązanie

Nowoczesna architektura danych

Czas na ćwiczenia!

Nowoczesna architektura danych

Preparing Video For Download...