Приклади сучасної архітектури даних

Розуміння сучасної архітектури даних

Miller Trujillo

Senior Software Engineer

Архітектура Lambda

• Архітектура обробки даних
• Дає змогу обробляти великі набори даних
• Підтримує обробку в реальному часі
• Поєднує пакетну й потокову обробку
• 3 основні шари:
  • Batch-шар
  • Speed-шар
  • Serving-шар

Шари архітектури Lambda: Batch

• Master-набір даних
  • Незмінні дані
  • Лише додавання
• Попередньо обчислені подання
• Банківські рахунки
  • Master-набір: список транзакцій
  • Подання: застосовані транзакції для отримання балансу
• Ідеальна точність

Lambda architecture layers: Speed

• Пакетні джоби за розкладом
• Розрив між відомими даними та реальністю
• Speed-шар закриває цей розрив
• Не ідеальна точність

Шари архітектури Lambda: Serving

• Об'єднання пакетних і потокових подань
• Уніфіковане подання даних

Складність архітектури Lambda

• Два шари підвищують складність
• Дублювання логіки, коду, алгоритмів
• Кілька стеків: пакетний і потоковий

Архітектура Kappa

Lambda проти Kappa

Аспект	Архітектура Lambda	Архітектура Kappa
Пакетна обробка	Є	Повторна обробка джерела подій
Потокова обробка	Є	Є
Складність	Вища	Нижча
Обробка в реальному часі	Затримка через batch-шар	Пряма й спрощена
Варіанти використання	Складний аналіз, історичні дані	Аналітика в реальному часі, моніторинг

Давайте потренуємось!

Розуміння сучасної архітектури даних