Producteurs Kafka
Introduction à Apache Kafka
Mike Metzger
Data Engineering Consultant
Qu'est-ce qu'un producteur ?
- Écrit des messages dans des topics Kafka
- Aussi appelé « publisher »
- Les messages envoyés par les producteurs sont stockés dans Kafka pour un usage ultérieur
- Possibilité d'avoir de nombreux producteurs
- Les producteurs peuvent écrire dans un ou plusieurs topics
Types de producteurs
- De nombreux types de producteurs
- Ligne de commande
kafka-console-producer.sh
- Python
- Java
- Beaucoup d'autres langages
- Kafka Connect
- Ligne de commande
kafka-console-producer.sh
- Se trouve dans le dossier
bin/, avec les autres outils Kafkabin/kafka-console-producer.sh
- Plusieurs options en ligne de commande : certaines obligatoires, d'autres non
- Options obligatoires :
--bootstrap-server– indique quel serveur utiliser--bootstrap-server localhost:9092
--topic--topic phishing-sites
- Par défaut, ouvre une connexion où saisir des messages
- Utilisez Ctrl-C pour quitter
- Peut aussi utiliser le symbole
|pour transmettre des messages
Exemple
- Exemple interactif
bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic testing
>This is the first message
>This is the second message
>This is the third message
<ctrl+c to exit>
- Non interactif
echo "This is the first message" |
bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic testing
Passons à la pratique !
Introduction à Apache Kafka
