Введение в Apache Kafka

Введение в Apache Kafka

Mike Metzger

Data Engineering Consultant

Обо мне

  • Опыт в IT — более 25 лет, в сфере данных — более 18
  • Инструменты:
    • Apache Spark
    • Apache Airflow
    • Apache Kafka

Apache_Spark_logo.svg.png

1600px-AirflowLogo.png

Логотип Apache Kafka

Введение в Apache Kafka

Что такое Apache Kafka?

  • Открытый исходный код
  • Распределённая система
  • Потоковая обработка событий
  • Рассчитана на большие объёмы данных
  • Масштабируемая

Логотип Apache Kafka

Введение в Apache Kafka

Потоковая обработка событий в Kafka

  • Получение данных из источников
  • Надёжное хранение
  • Распределение данных по клиентам
Введение в Apache Kafka

Области применения

  • Электронная коммерция
  • Отслеживание заказов
  • Такси и доставка еды
  • Данные с датчиков
  • Кибербезопасность

Изображение компьютера

1 Фото: Carlos Muza, Unsplash
Введение в Apache Kafka

Компоненты Kafka

  • Пользовательские компоненты

Базовая схема Kafka

Введение в Apache Kafka

Компоненты Kafka

  • Пользовательские компоненты
    • Топики

Kafka с топиками

Введение в Apache Kafka

Компоненты Kafka

  • Пользовательские компоненты
    • Топики
    • Производители (записывают данные)

Kafka с производителями

Введение в Apache Kafka

Компоненты Kafka

  • Пользовательские компоненты
    • Топики
    • Производители (записывают данные)
    • Потребители (читают данные)

Потребители и производители Kafka

Введение в Apache Kafka

Компоненты Kafka

  • Пользовательские компоненты
    • Топики
    • Производители (записывают данные)
    • Потребители (читают данные)

Kafka: производители записывают данные в топик

Введение в Apache Kafka

Компоненты Kafka

  • Пользовательские компоненты
    • Топики
    • Производители (записывают данные)
    • Потребители (читают данные)

Kafka: чтение и запись данных потребителями и производителями

Введение в Apache Kafka

Давайте потренируемся!

Введение в Apache Kafka

Preparing Video For Download...