Вступ до Apache Kafka

Вступ до Apache Kafka

Mike Metzger

Data Engineering Consultant

Про мене

  • 25+ років в ІТ, 18+ у даних
  • Інструменти:
    • Apache Spark
    • Apache Airflow
    • Apache Kafka

Логотип Apache Spark

Логотип Airflow

Логотип Apache Kafka

Вступ до Apache Kafka

Що таке Apache Kafka?

  • Відкритий код
  • Розподілена система
  • Стрімінг подій
  • Розрахована на великі обсяги даних
  • Масштабована

Логотип Apache Kafka

Вступ до Apache Kafka

Стрімінг подій у Kafka

  • Отримувати вихідні події
  • Надійно зберігати
  • Розподіляти дані клієнтам
Вступ до Apache Kafka

Типові застосування

  • Е‑комерція
  • Відстеження замовлень
  • Поїздки/доставка їжі
  • Дані сенсорів
  • Кібербезпека

Зображення комп'ютера

1 Фото: Carlos Muza на Unsplash
Вступ до Apache Kafka

Компоненти Kafka

  • Компоненти для користувачів

Базова схема Kafka

Вступ до Apache Kafka

Компоненти Kafka

  • Компоненти для користувачів
    • Topics

Kafka з Topics

Вступ до Apache Kafka

Компоненти Kafka

  • Компоненти для користувачів
    • Topics
    • Producers (writers)

Kafka з Producers

Вступ до Apache Kafka

Компоненти Kafka

  • Компоненти для користувачів
    • Topics
    • Producers (writers)
    • Consumers (readers)

Kafka Consumer & Producer

Вступ до Apache Kafka

Компоненти Kafka

  • Компоненти для користувачів
    • Topics
    • Producers (writers)
    • Consumers (readers)

Kafka Consumer & Producer показує запис у topic

Вступ до Apache Kafka

Компоненти Kafka

  • Компоненти для користувачів
    • Topics
    • Producers (writers)
    • Consumers (readers)

Kafka Consumer & Producer — читання і запис

Вступ до Apache Kafka

Давайте потренуємось!

Вступ до Apache Kafka

Preparing Video For Download...