Introductie tot Apache Kafka

Introductie tot Apache Kafka

Mike Metzger

Data Engineering Consultant

Over mij

  • 25+ jaar IT, 18+ in data
  • Tools:
    • Apache Spark
    • Apache Airflow
    • Apache Kafka

Apache_Spark_logo.svg.png

1600px-AirflowLogo.png

Apache Kafka-logo

Introductie tot Apache Kafka

Wat is Apache Kafka?

  • Open-source
  • Gedistribueerd
  • Event streaming
  • Ontworpen voor grote datavolumes
  • Schaalbaar

Apache Kafka-logo

Introductie tot Apache Kafka

Event streaming in Kafka

  • Broninfo ophalen
  • Betrouwbaar opslaan
  • Data naar clients distribueren
Introductie tot Apache Kafka

Veelvoorkomende toepassingen

  • E-commerce
  • Ordertracking
  • Ritten- / maaltijdbezorging
  • Sensordata
  • Cybersecurity

Computerafbeelding

1 Foto door Carlos Muza op Unsplash
Introductie tot Apache Kafka

Kafka-componenten

  • Componenten voor eindgebruikers

Kafka basisafbeelding

Introductie tot Apache Kafka

Kafka-componenten

  • Componenten voor eindgebruikers
    • Topics

Kafka met topics

Introductie tot Apache Kafka

Kafka-componenten

  • Componenten voor eindgebruikers
    • Topics
    • Producers (schrijvers)

Kafka met producers

Introductie tot Apache Kafka

Kafka-componenten

  • Componenten voor eindgebruikers
    • Topics
    • Producers (schrijvers)
    • Consumers (lezers)

Kafka consumer & producer

Introductie tot Apache Kafka

Kafka-componenten

  • Componenten voor eindgebruikers
    • Topics
    • Producers (schrijvers)
    • Consumers (lezers)

Kafka consumer & producer met writes naar topic

Introductie tot Apache Kafka

Kafka-componenten

  • Componenten voor eindgebruikers
    • Topics
    • Producers (schrijvers)
    • Consumers (lezers)

Kafka consumer & producer - reads en writes

Introductie tot Apache Kafka

Laten we oefenen!

Introductie tot Apache Kafka

Preparing Video For Download...