Apache Kafka 入門

Apache Kafka 入門

Mike Metzger

Data Engineering Consultant

自己紹介

  • IT 歴 25 年超、データ分野 18 年超
  • 使用ツール:
    • Apache Spark
    • Apache Airflow
    • Apache Kafka

Apache_Spark_logo.svg.png

1600px-AirflowLogo.png

Apache Kafka Logo

Apache Kafka 入門

Apache Kafka とは

  • オープンソース
  • 分散型
  • イベントストリーミング
  • 大量データの処理に最適化
  • スケーラブル

Apache Kafka Logo

Apache Kafka 入門

Kafka のイベントストリーミング

  • 送信元から取得
  • 信頼性高く保存
  • クライアントへ配信
Apache Kafka 入門

主なユースケース

  • E コマース
  • 受注追跡
  • 配車／フードデリバリー
  • センサーデータ
  • サイバーセキュリティ

コンピューター画像

1 Photo by Carlos Muza on Unsplash
Apache Kafka 入門

Kafka のコンポーネント

  • ユーザー向けコンポーネント

Kafka の基本図

Apache Kafka 入門

Kafka のコンポーネント

  • ユーザー向けコンポーネント
    • トピック

トピック付きの Kafka

Apache Kafka 入門

Kafka のコンポーネント

  • ユーザー向けコンポーネント
    • トピック
    • プロデューサー（書き込み）

プロデューサー付きの Kafka

Apache Kafka 入門

Kafka のコンポーネント

  • ユーザー向けコンポーネント
    • トピック
    • プロデューサー（書き込み）
    • コンシューマー（読み取り）

Kafka のコンシューマーとプロデューサー

Apache Kafka 入門

Kafka のコンポーネント

  • ユーザー向けコンポーネント
    • トピック
    • プロデューサー（書き込み）
    • コンシューマー（読み取り）

トピックへの書き込みを示すコンシューマーとプロデューサー

Apache Kafka 入門

Kafka のコンポーネント

  • ユーザー向けコンポーネント
    • トピック
    • プロデューサー（書き込み）
    • コンシューマー（読み取り）

読み取りと書き込みを示すコンシューマーとプロデューサー

Apache Kafka 入門

練習しましょう！

Apache Kafka 入門

Preparing Video For Download...