Оцінювання сучасних рішень для архітектури даних

Розуміння сучасної архітектури даних

Miller Trujillo

Senior Software Engineer

Надходження (ingestion)

Запропоноване рішення з виділеним етапом надходження

  • Непередбачувані патерни
  • А якщо ми забиратимемо дані самі?
    • Надати доступ до файлів
    • Мережева файлова система
Розуміння сучасної архітектури даних

Сховище

Запропоноване рішення з виділеним сховищем

  • Хмарне сховище:

    • дешевше за сховище даних чи БД
    • Гнучке та має потрібні API

  • BigQuery все ще варіант?

    • Достатньо дешевий
    • Непридатний через обмеження під час завантаження

  • Політики життєвого циклу ще більше зменшують витрати

Розуміння сучасної архітектури даних

Обробка

Запропоноване рішення з виділеною потоковою обробкою

  • Dataflow, Dataproc (Spark) або навіть Data Fusion
  • Непередбачувані часи надходження
  • Обробляйте дані одразу по надходженні
  • Простота
  • Тимчасові дані
  • Автоматизуйте очищення політиками життєвого циклу
  • Підтримка схем не потрібна
Розуміння сучасної архітектури даних

Обробка: оцінки моделі

Запропоноване рішення з виділеною пакетною обробкою

  • Складно відстежувати все
  • Легше підтримувати
  • Попередня задача може писати в NoSQL БД, а ця доповнює дані
Розуміння сучасної архітектури даних

Надання даних (serving)

Запропоноване рішення з виділеною пакетною обробкою

  • BigQuery для аналітики
  • NoSQL БД => легше масштабувати й гнучкіше
Розуміння сучасної архітектури даних

Інші деталі

  • Керування, оркестрація, безпека тощо
  • Далі уточнюйте платформу та вимоги
  • Увімкніть краще керування
  • Немає універсального рішення!

Усе — про компроміси

Розуміння сучасної архітектури даних

Давайте потренуємось!

Розуміння сучасної архітектури даних

Preparing Video For Download...