Introdução ao Apache Kafka

Introdução ao Apache Kafka

Mike Metzger

Data Engineering Consultant

Sobre mim

  • Carreira em TI de 25+ anos, 18+ em dados
  • Ferramentas:
    • Apache Spark
    • Apache Airflow
    • Apache Kafka

Logotipo do Apache Spark

Logotipo do Airflow

Logotipo do Apache Kafka

Introdução ao Apache Kafka

O que é Apache Kafka?

  • Open-source
  • Distribuído
  • Streaming de eventos
  • Projetado para grandes volumes de dados
  • Escalável

Logotipo do Apache Kafka

Introdução ao Apache Kafka

Streaming de eventos no Kafka

  • Obter informações da fonte
  • Armazenar com confiabilidade
  • Distribuir dados para clientes
Introdução ao Apache Kafka

Usos comuns

  • E-commerce
  • Rastreamento de pedidos
  • Mobilidade/Entrega de comida
  • Dados de sensores
  • Cibersegurança

Imagem de computador

1 Foto de Carlos Muza no Unsplash
Introdução ao Apache Kafka

Componentes do Kafka

  • Componentes voltados ao usuário

Imagem base do Kafka

Introdução ao Apache Kafka

Componentes do Kafka

  • Componentes voltados ao usuário
    • Tópicos

Kafka com Tópicos

Introdução ao Apache Kafka

Componentes do Kafka

  • Componentes voltados ao usuário
    • Tópicos
    • Produtores (escrita)

Kafka com Produtores

Introdução ao Apache Kafka

Componentes do Kafka

  • Componentes voltados ao usuário
    • Tópicos
    • Produtores (escrita)
    • Consumidores (leitura)

Kafka Consumidor e Produtor

Introdução ao Apache Kafka

Componentes do Kafka

  • Componentes voltados ao usuário
    • Tópicos
    • Produtores (escrita)
    • Consumidores (leitura)

Kafka Consumidor e Produtor mostrando escritas no tópico

Introdução ao Apache Kafka

Componentes do Kafka

  • Componentes voltados ao usuário
    • Tópicos
    • Produtores (escrita)
    • Consumidores (leitura)

Kafka Consumidor e Produtor — leituras e escritas

Introdução ao Apache Kafka

Vamos praticar!

Introdução ao Apache Kafka

Preparing Video For Download...