Проєктування сучасної архітектури даних

Розуміння сучасної архітектури даних

Miller Trujillo

Senior Software Engineer

Бізнес-кейс

Медична лабораторія

  • Робот-органайзер
  • Генерує CSV
    • До 4 CSV щогодини
  • Бази даних у звичайних файлах

Схема бізнес-процесу

  • Платформа для пацієнтів, щоб відстежувати результати
  • Збагачення результатів пацієнтів їхніми обстеженнями
Розуміння сучасної архітектури даних

З чого почати?

Запитання!

Уточніть вимоги!

  • Якого розміру файли?
  • Скільки роботів?
  • Як часто генеруються ці файли?
  • Скільки файлів уже є?
  • Як оброблятимуться дані? Машинне навчання? Запити?
  • Як відкриватимуть дані?
  • Які є регуляції/обмеження?
Розуміння сучасної архітектури даних

Припущення

  • 100 машин
  • Кожен файл CSV близько 100 MB
  • Звичайні файли як база даних
  • Десятки гігабайтів на кожен такий файл
  • Модель опублікована через API
    • Потребує всіх попередніх результатів або зведення
    • Зведення має постійно оновлюватися
  • Мобільний застосунок
  • Регуляції ігноруємо
Розуміння сучасної архітектури даних

Рішення

Запропоноване рішення

Розуміння сучасної архітектури даних

Давайте потренуємось!

Розуміння сучасної архітектури даних

Preparing Video For Download...