Архітектура Kafka

Вступ до Apache Kafka

Mike Metzger

Data Engineering Consultant

Компоненти Kafka

• Сервер Kafka
  • Кластер з одного або більше комп'ютерів
  • Зберігає дані
  • Керує обміном даними
  • Також інтегрується з іншими системами (бази даних, логи тощо)

• Клієнти Kafka
  • Читають через Kafka consumer
  • Пишуть через Kafka producer
  • Обробляють дані за потреби

Сервер Kafka

• Сховище, також відоме як Kafka Broker
  • Дані від продюсерів зберігаються й організуються за топіками
  • Топіки розбито на партиції, тобто окремі частини
  • Повідомлення/події в партицію потрапляють за ідентифікатором події
  • Повідомлення зчитуються в тій самій послідовності, що й записані

¹ Image sourced from https://kafka.apache.org/intro

Партиції та реплікація

• Kafka відмовостійка
• Якщо одна система вимкнеться, інші нададуть потрібні дані
• Макс. кількість збоїв — 1 == коефіцієнт реплікації
• Макс. коефіцієнт реплікації == кількість серверів
• Реплікацію забезпечує копіювання партицій

Приклад

• Кластер Kafka з 3 брокерами
• Визначено 3 топіки
• Реплікація 2× == можна втратити 1 систему
• Broker 1 має копії Topic 1 і Topic 2
• Broker 2 має копії Topic 2 і Topic 3
• Broker 3 має копії Topic 1 і Topic 3
• Кожен топік розміщено на 2 брокерах у кластері

Приклад з 1 збоєм

• Вийшов з ладу Broker 2
• Коефіцієнт реплікації 2×
  • 2 - 1 == витримує 1 збій системи
• Кожен топік і далі має щонайменше одну копію в кластері

Приклад із 2 збоями

• 2 брокери вийшли з ладу
• Коефіцієнт реплікації 2×
• Збоїв більше, ніж підтримується (1 система)
• Topic 2 недоступний у кластері
  • Topic 1 і Topic 3 доступні, тож це не повний збій

Давайте потренуємось!

Вступ до Apache Kafka