Apache Kafka 入門

Apache Kafka 入門

Mike Metzger

Data Engineering Consultant

關於我

  • IT 資歷 25+ 年，資料領域 18+ 年
  • 工具：
    • Apache Spark
    • Apache Airflow
    • Apache Kafka

Apache Spark 標誌

Airflow 標誌

Apache Kafka 標誌

Apache Kafka 入門

什麼是 Apache Kafka？

  • 開源
  • 分散式
  • 事件串流
  • 為大量資料而設計
  • 可擴充

Apache Kafka 標誌

Apache Kafka 入門

Kafka 的事件串流

  • 取得來源資訊
  • 可靠儲存
  • 將資料分送給用戶端
Apache Kafka 入門

常見用途

  • 電子商務
  • 訂單追蹤
  • 共乘／外送
  • 感測器資料
  • 資安

電腦影像

1 Photo by Carlos Muza on Unsplash
Apache Kafka 入門

Kafka 元件

  • 使用者介面元件

Kafka 基礎圖

Apache Kafka 入門

Kafka 元件

  • 使用者介面元件
    • Topics

含 Topics 的 Kafka

Apache Kafka 入門

Kafka 元件

  • 使用者介面元件
    • Topics
    • Producers（寫入端）

含 Producers 的 Kafka

Apache Kafka 入門

Kafka 元件

  • 使用者介面元件
    • Topics
    • Producers（寫入端）
    • Consumers（讀取端）

Kafka Consumer 與 Producer

Apache Kafka 入門

Kafka 元件

  • 使用者介面元件
    • Topics
    • Producers（寫入端）
    • Consumers（讀取端）

Kafka Consumer 與 Producer：寫入到 topic

Apache Kafka 入門

Kafka 元件

  • 使用者介面元件
    • Topics
    • Producers（寫入端）
    • Consumers（讀取端）

Kafka Consumer 與 Producer：讀寫流程

Apache Kafka 入門

一起來練習吧！

Apache Kafka 入門

Preparing Video For Download...