Kafka आर्किटेक्चर

Apache Kafka परिचय

Mike Metzger

Data Engineering Consultant

Kafka कॉम्पोनेंट्स

• Kafka सर्वर
  • एक या अधिक कंप्यूटरों का क्लस्टर
  • डेटा स्टोर करता है
  • कम्युनिकेशन मैनेज करता है
  • अन्य सिस्टम्स (डेटाबेस, लॉग्स, आदि) से इंटीग्रेट भी कर सकता है))

• Kafka क्लाइंट्स
  • Kafka कंज़्यूमर से पढ़ें
  • Kafka प्रोड्यूसर से लिखें
  • ज़रूरत अनुसार डेटा प्रोसेस करें

Kafka सर्वर

• स्टोरेज, जिसे Kafka Broker भी कहते हैं
  • प्रोड्यूसर्स द्वारा लिखा डेटा टॉपिक्स के ज़रिए स्टोर और ऑर्गनाइज़ होता है
  • टॉपिक्स पार्टिशन किए जाते हैं, यानी अलग हिस्सों में स्टोर होते हैं
  • मैसेज/इवेंट्स एक दिए गए पार्टिशन में इवेंट id के आधार पर स्टोर होते हैं
  • मैसेज उसी क्रम में मिलते हैं जिसमें लिखे गए थे

¹ Image sourced from https://kafka.apache.org/intro

Partitions और replication

• Kafka फॉल्ट-टॉलरेंट है
• यदि एक सिस्टम ऑफलाइन हो जाए, तो अन्य रिक्वेस्टेड डेटा दे सकते हैं
• अधिकतम फेल्यर की संख्या = replication factor - 1
• अधिकतम replication factor = सर्वर्स की संख्या
• पार्टिशन की कॉपी करना ही replication का तरीका है

उदाहरण

• 3 ब्रोकर्स वाला Kafka क्लस्टर
• 3 टॉपिक्स परिभाषित
• 2x replication == 1 सिस्टम लॉस सह सकता है
• Broker 1 पर Topic 1 और Topic 2 की कॉपीज़ हैं
• Broker 2 पर Topic 2 और Topic 3 की कॉपीज़ हैं
• Broker 3 पर Topic 1 और Topic 3 की कॉपीज़ हैं
• हर टॉपिक क्लस्टर में 2 ब्रोकर्स पर शेयर है

1 फेल्यर के साथ उदाहरण

• Broker 2 फेल होता है
• Replication factor 2x
  • 2 - 1 == 1 फेल सिस्टम संभाल सकता है
• हर टॉपिक की कम से कम एक कॉपी क्लस्टर पर बनी रहती है

2 फेल्यर्स के साथ उदाहरण

• 2 ब्रोकर्स फेल
• Replication factor 2x
• समर्थित सीमा (1 सिस्टम) से ज़्यादा फेल्यर्स
• Topic 2 अब क्लस्टर में उपलब्ध नहीं है
  • Topic 1 और 3 अभी भी उपलब्ध हैं, इसलिए पूरी तरह फेल नहीं है

अभ्यास करते हैं!

Apache Kafka परिचय