डेटा का शेड्यूलिंग

डेटा इंजीनियरिंग को समझना

Hadrien Lacroix

Content Developer at DataCamp

शेड्यूलिंग

• डेटा प्रोसेसिंग में सूचीबद्ध किसी भी टास्क पर लागू हो सकता है
• शेड्यूलिंग आपके सिस्टम की glue है
• हर हिस्से को पकड़ता है और साथ मिलकर काम कराने का तरीका तय करता है
• टास्क को तय क्रम में चलाता है और सभी डिपेंडेंसीज़ हल करता है

मैन्युअल, समय-आधारित और सेंसर शेड्यूलिंग

• मैन्युअली

• कर्मचारी टेबल को मैन्युअली अपडेट करें

मैन्युअल, समय-आधारित और सेंसर शेड्यूलिंग

• मैन्युअली
• तय समय पर ऑटोमैटिक चलाएँ
• जब कोई शर्त पूरी हो तो ऑटोमैटिक चलाएँ
  • सेंसर शेड्यूलिंग

• कर्मचारी टेबल को मैन्युअली अपडेट करें
• कर्मचारी टेबल को 6 AM पर अपडेट करें

मैन्युअल, समय-आधारित, और सेंसर शेड्यूलिंग

• मैन्युअली
• तय समय पर ऑटोमैटिक चलाएँ
• जब कोई शर्त पूरी हो तो ऑटोमैटिक चलाएँ
  • सेंसर शेड्यूलिंग

• कर्मचारी टेबल को मैन्युअली अपडेट करें
• कर्मचारी टेबल को 6 AM पर अपडेट करें
• नया कर्मचारी जुड़े तो डिपार्टमेंट टेबल्स को अपडेट करें

बैचेज़ और स्ट्रीम्स

• बैचेज़
  • रिकॉर्ड्स को अंतराल पर समूह करें
  • अक्सर सस्ते पड़ते हैं
• स्ट्रीम्स
  • व्यक्तिगत रिकॉर्ड तुरंत भेजें

• कलाकारों द्वारा अपलोड किए गए गाने
• कर्मचारी टेबल
• रेवेन्यू टेबल
• नए यूज़र्स का साइन-इन
• एक और उदाहरण: ऑनलाइन बनाम ऑफलाइन लिस्निंग

शेड्यूलिंग टूल्स

सारांश

• शेड्यूलिंग क्या है
• इसे सेट करने के अलग तरीके
• बैचेज़ और स्ट्रीम्स में अंतर
• Spotflix में शेड्यूलिंग कैसे लागू है
• Airflow, Luigi

अभ्यास करते हैं!

डेटा इंजीनियरिंग को समझना