Проектирование современной архитектуры данных

Современные архитектуры данных

Miller Trujillo

Senior Software Engineer

Бизнес-кейс

Медицинская лаборатория

  • Робот-организатор
  • Генерация CSV
    • До 4 CSV в час
  • Базы данных в виде обычных файлов

Схема потока данных бизнес-кейса

  • Платформа для отслеживания результатов пациентами
  • Обогащение результатов данными исследований
Современные архитектуры данных

С чего начать?

Вопросы!

Уточните требования!

  • Каков размер файлов?
  • Сколько роботов?
  • С какой частотой генерируются файлы?
  • Сколько файлов у них имеется?
  • Как будут обрабатываться данные? Машинное обучение? Запросы?
  • Как будут предоставляться данные?
  • Какие регуляторные ограничения действуют?
Современные архитектуры данных

Допущения

  • 100 машин
  • Размер каждого CSV-файла — около 100 МБ
  • Обычные файлы в роли баз данных
  • Десятки гигабайт на каждый такой файл
  • Модель доступна через API
    • Требует все предыдущие результаты или сводку
    • Сводка должна обновляться постоянно
  • Мобильное приложение
  • Регуляторные требования не учитываются
Современные архитектуры данных

Решение

Предлагаемое решение

Современные архитектуры данных

Давайте потренируемся!

Современные архитектуры данных

Preparing Video For Download...