建立與管理 Kafka 叢集

Apache Kafka 入門

Mike Metzger

Data Engineering Consultant

什麼是 ZooKeeper？

  • ZooKeeper 是用來管理資訊並提供分散式系統執行所需服務的框架
  • 主要由開發者用來建立分散式應用程式
    • 使用者透過 ZooKeeper 互動
  • 範例應用
    • Kafka
    • Hadoop
    • Neo4j

Apache_ZooKeeper_logo.svg.png

Apache Kafka 入門

ZooKeeper 做什麼？

  • ZooKeeper 提供執行分散式應用程式所需的服務
    • 設定管理
    • 系統命名
    • 跨系統同步
    • 一組系統所需的共同服務
  • 設計成框架，以避免各分散式應用自行實作客製服務
    • 類似共用接頭，如電源插頭或水管噴嘴
Apache Kafka 入門

ZooKeeper 與 Kafka

  • Kafka 使用 ZooKeeper 進行叢集管理
    • 新版 Kafka 可使用 KRaft
  • 會用到兩個檔案
    • config/zookeeper.properties
    • config/server.properties
# zookeeper.properties

# The directory where the 
# snapshot is stored.
dataDir=/tmp/zookeeper

# The port at which the clients 
# will connect
clientPort=2181

...
Apache Kafka 入門

config/server.properties

  • 處理特定的 Kafka 設定
    • Broker 詳細資訊
    • 網路設定
    • 事件儲存位置
    • 主題基本設定（含複寫）
...
# A comma separated list of directories under which to store log files
log.dirs=/tmp/kafka-logs
# The default number of log partitions per topic.
num.partitions=1
Apache Kafka 入門

啟動 Kafka 叢集

  • Kafka 叢集以兩個步驟啟動
$ bin/zookeeper-server-start.sh config/zookeeper.properties

...
INFO   ______                  _                                           (org.apache.zookeeper.server.ZooKeeperServer)
INFO  |___  /                 | |                                          (org.apache.zookeeper.server.ZooKeeperServer)
INFO     / /    ___     ___   | | __   ___    ___   _ __     ___   _ __    (org.apache.zookeeper.server.ZooKeeperServer)
INFO    / /    / _ \   / _ \  | |/ /  / _ \  / _ \ | '_ \   / _ \ | '__| (org.apache.zookeeper.server.ZooKeeperServer)
INFO   / /__  | (_) | | (_) | |   <  |  __/ |  __/ | |_) | |  __/ | |     (org.apache.zookeeper.server.ZooKeeperServer)
INFO  /_____|  \___/   \___/  |_|\_\  \___|  \___| | .__/   \___| |_| (org.apache.zookeeper.server.ZooKeeperServer)
INFO                                               | |                      (org.apache.zookeeper.server.ZooKeeperServer)
INFO                                               |_|                      (org.apache.zookeeper.server.ZooKeeperServer)
INFO  (org.apache.zookeeper.server.ZooKeeperServer)
...
Apache Kafka 入門

啟動 Kafka 叢集（續）

$ bin/kafka-server-start.sh config/server.properties

INFO Awaiting socket connections on 0.0.0.0:9092. (kafka.network.DataPlaneAcceptor)
INFO Kafka version: 3.7.0 (org.apache.kafka.common.utils.AppInfoParser)
INFO Kafka commitId: 2ae524ed625438c5 (org.apache.kafka.common.utils.AppInfoParser)
INFO Kafka startTimeMs: 1717502877829 (org.apache.kafka.common.utils.AppInfoParser)
INFO [KafkaServer id=0] started (kafka.server.KafkaServer)
INFO [zk-broker-0-to-controller-forwarding-channel-manager]: Recorded new controller, 
     from now on will use node 815f25786085:9092 (id: 0 ra
Apache Kafka 入門

停止 Kafka 叢集

  • bin/kafka-server-stop.sh
  • bin/zookeeper-server-stop.sh
  • 注意關閉順序相反
Apache Kafka 入門

一起來練習吧！

Apache Kafka 入門

Preparing Video For Download...