cron के साथ डेटा जॉब ऑटोमेशन

शेल में डेटा प्रोसेसिंग

Susan Sun

Data Person

Scheduler क्या है?

  • Scheduler तय समय-सारिणी पर जॉब चलाता है
  • कमर्शियल schedulers: Airflow, Luigi, Rundeck, आदि
  • cron scheduler
    • सरल है
    • मुफ्त है
    • कस्टमाइज़ेबल है
    • पूरी तरह कमांड-लाइन
    • MacOS और Linux में नैटिव
शेल में डेटा प्रोसेसिंग

cron क्या है?

Cron:

  • एक time-based job scheduler है
  • MacOS, Unix में पहले से इंस्टॉल आता है
  • Windows में Cygwin से इंस्टॉल कर सकते हैं या Windows Task Scheduler से रिप्लेस कर सकते हैं
  • सिस्टम मेंटेनेंस, bash scripts, Python jobs आदि को ऑटोमेट करने में काम आता है
शेल में डेटा प्रोसेसिंग

crontab क्या है?

Crontab cron jobs को ट्रैक करने की सेंट्रल फ़ाइल है.

crontab -l
no crontab for <username>

Documentation:

man crontab
शेल में डेटा प्रोसेसिंग

crontab में जॉब जोड़ें

विधि 1: text editor (जैसे nano, Vim, Emacs) से crontab बदलें

विधि 2: scheduler कमांड को echo करके crontab में डालें

echo "* * * * * python create_model.py" | crontab

जाँचें कि जॉब ठीक से schedule हुआ है:

crontab -l
* * * * * python create_model.py
शेल में डेटा प्रोसेसिंग

cron जॉब का समय समझें

cron jobs के लिए सबसे आम schedule है one minute.

cron जॉब के समय घटक को तोड़कर देखें:

.---------------- minute (0 - 59)
|  .------------- hour (0 - 23)
|  |  .---------- day of month (1 - 31)
|  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
|  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed ...
|  |  |  |  |
*  *  *  *  * command-to-be-executed
शेल में डेटा प्रोसेसिंग

cron जॉब का समय समझें

*  *  *  *  * python create_model.py

Interpretation:

  • हर महीने के हर दिन के हर घंटे के हर मिनट और हफ्ते के हर दिन पर चलाएँ.

  • संक्षेप में, हर मिनट चलाएँ

Further resources:

शेल में डेटा प्रोसेसिंग

अभ्यास करते हैं!

शेल में डेटा प्रोसेसिंग

Preparing Video For Download...