Оценка решений для современной архитектуры данных

Современные архитектуры данных

Miller Trujillo

Senior Software Engineer

Приём данных

Предложенное решение с выделенным блоком приёма данных

  • Непредсказуемые паттерны
  • Что если вытягивать данные самостоятельно?
    • Открыть доступ к файлам
    • Сетевая файловая система
Современные архитектуры данных

Хранение данных

Предложенное решение с выделенным блоком хранения

  • Облачное хранилище:

    • дешевле хранилищ данных и баз данных
    • гибкое, предоставляет нужные API

  • BigQuery — ещё один вариант?

    • Достаточно дёшево
    • Ограничения при загрузке делают его неприменимым

  • Политики жизненного цикла для дальнейшего снижения затрат

Современные архитектуры данных

Обработка данных

Предложенное решение с выделенным блоком потоковой обработки

  • Dataflow, Dataproc (Spark) или Data Fusion
  • Непредсказуемые паттерны поступления данных
  • Обработка данных сразу по мере поступления
  • Простота
  • Временны́е данные
  • Автоматическая очистка с помощью политик жизненного цикла
  • Обслуживание схемы не требуется
Современные архитектуры данных

Обработка: оценки модели

Предложенное решение с выделенным блоком пакетной обработки

  • Сложно отслеживать всё сразу
  • Проще в сопровождении
  • Предыдущее задание может записывать в NoSQL БД, а это — дополнять данные
Современные архитектуры данных

Подача данных

Предложенное решение с выделенным блоком подачи данных

  • BigQuery для аналитических задач
  • NoSQL БД — более простое масштабирование и гибкость
Современные архитектуры данных

Дополнительные аспекты

  • Управление данными, оркестрация, безопасность и другое
  • Дальнейшая доработка платформы и требований
  • Улучшение управляемости системы
  • Универсального решения не существует!

Всё сводится к компромиссам

Современные архитектуры данных

Давайте потренируемся!

Современные архитектуры данных

Preparing Video For Download...