Wprowadzenie do Apache Kafka

Wprowadzenie do Apache Kafka

Mike Metzger

Data Engineering Consultant

O mnie

  • 25+ lat w IT, 18+ w dziedzinie danych
  • Narzędzia:
    • Apache Spark
    • Apache Airflow
    • Apache Kafka

Apache_Spark_logo.svg.png

1600px-AirflowLogo.png

Logo Apache Kafka

Wprowadzenie do Apache Kafka

Czym jest Apache Kafka?

  • Oprogramowanie open-source
  • Rozproszone
  • Strumieniowanie zdarzeń
  • Obsługa dużych ilości danych
  • Skalowalne

Logo Apache Kafka

Wprowadzenie do Apache Kafka

Strumieniowanie zdarzeń w Kafce

  • Pozyskiwanie danych źródłowych
  • Niezawodne przechowywanie
  • Dystrybucja danych do klientów
Wprowadzenie do Apache Kafka

Typowe zastosowania

  • E-commerce
  • Śledzenie zamówień
  • Przewóz osób / Dostawa jedzenia
  • Dane z czujników
  • Cyberbezpieczeństwo

Zdjęcie komputera

1 Zdjęcie: Carlos Muza, Unsplash
Wprowadzenie do Apache Kafka

Komponenty Kafki

  • Komponenty dla użytkownika

Podstawowy obraz Kafki

Wprowadzenie do Apache Kafka

Komponenty Kafki

  • Komponenty dla użytkownika
    • Tematy

Kafka z tematami

Wprowadzenie do Apache Kafka

Komponenty Kafki

  • Komponenty dla użytkownika
    • Tematy
    • Producenci (zapisujący)

Kafka z producentami

Wprowadzenie do Apache Kafka

Komponenty Kafki

  • Komponenty dla użytkownika
    • Tematy
    • Producenci (zapisujący)
    • Konsumenci (czytający)

Konsument i producent Kafki

Wprowadzenie do Apache Kafka

Komponenty Kafki

  • Komponenty dla użytkownika
    • Tematy
    • Producenci (zapisujący)
    • Konsumenci (czytający)

Kafka – producenci zapisują do tematu

Wprowadzenie do Apache Kafka

Komponenty Kafki

  • Komponenty dla użytkownika
    • Tematy
    • Producenci (zapisujący)
    • Konsumenci (czytający)

Kafka – odczyt i zapis

Wprowadzenie do Apache Kafka

Czas na ćwiczenia!

Wprowadzenie do Apache Kafka

Preparing Video For Download...