Apache Kafka 简介

Apache Kafka 入门

Mike Metzger

Data Engineering Consultant

关于我

从业 25+ 年，数据领域 18+ 年
工具：
- Apache Spark
- Apache Airflow
- Apache Kafka

Apache_Spark_logo.svg.png

Apache Kafka Logo

什么是 Apache Kafka？

开源
分布式
事件流
面向海量数据
可扩展

Apache Kafka Logo

Kafka 中的事件流

获取源信息
可靠存储
分发给客户端

常见用例

电商
订单追踪
网约车 / 外卖
传感器数据
网络安全

电脑图像

¹ Photo by Carlos Muza on Unsplash

Kafka 组件

面向用户的组件

Kafka 基础示意图

Kafka 组件

面向用户的组件
- 主题（Topics）

带主题的 Kafka

Kafka 组件

面向用户的组件
- 主题（Topics）
- 生产者（写入方）

带生产者的 Kafka

Kafka 组件

面向用户的组件
- 主题（Topics）
- 生产者（写入方）
- 消费者（读取方）

Kafka 消费者与生产者

Kafka 组件

面向用户的组件
- 主题（Topics）
- 生产者（写入方）
- 消费者（读取方）

Kafka 消费者与生产者：写入主题

Kafka 组件

面向用户的组件
- 主题（Topics）
- 生产者（写入方）
- 消费者（读取方）

Kafka 消费者与生产者：读写流程

开始练习！

Apache Kafka 入门

Preparing Video For Download...