curl से डेटा डाउनलोड करना

शेल में डेटा प्रोसेसिंग

Susan Sun

Data Person

curl क्या है?

curl:

  • Client for URLs का संक्षेप है
  • एक Unix कमांड-लाइन टूल है
  • सर्वर से और सर्वर को डेटा ट्रांसफर करता है
  • HTTP(S) साइट्स और FTP सर्वर्स से डेटा डाउनलोड करने में उपयोग होता है
शेल में डेटा प्रोसेसिंग

curl इंस्टॉलेशन जाँचें

curl इंस्टॉलेशन जाँचें:

man curl

अगर curl इंस्टॉल नहीं है, तो आप यह देखेंगे:

curl command not found.

पूरी निर्देशावली के लिए देखें https://curl.haxx.se/download.html.

शेल में डेटा प्रोसेसिंग

curl मैनुअल ब्राउज़ करना

अगर curl इंस्टॉल है, आपकी कंसोल कुछ ऐसी दिखेगी:

डार्क टर्मिनल विंडो में छपा curl मैनुअल की शुरुआत का स्क्रीनशॉट

शेल में डेटा प्रोसेसिंग

curl मैनुअल ब्राउज़ करना

स्क्रोल करने के लिए Enter दबाएँ.

डार्क टर्मिनल विंडो में आंशिक रूप से स्क्रोल किए गए curl मैनुअल का स्क्रीनशॉट

बाहर निकलने के लिए q दबाएँ.

शेल में डेटा प्रोसेसिंग

curl सिंटैक्स सीखना

बेसिक curl सिंटैक्स:

curl [option flags] [URL]

URL आवश्यक है.

curl HTTP, HTTPS, FTP, और SFTP भी सपोर्ट करता है.

उपलब्ध ऑप्शंस की पूरी सूची के लिए:

curl --help
शेल में डेटा प्रोसेसिंग

सिंगल फ़ाइल डाउनलोड करना

उदाहरण:

एक सिंगल फ़ाइल यहाँ स्टोर है:

https://websitename.com/datafilename.txt

फ़ाइल को ओरिजिनल नाम से सेव करने के लिए वैकल्पिक फ्लैग -O उपयोग करें:

curl -O https://websitename.com/datafilename.txt

फ़ाइल का नाम बदलने के लिए लोअरकेस -o + नया फ़ाइल नाम दें:

curl -o renameddatafilename.txt https://websitename.com/datafilename.txt
शेल में डेटा प्रोसेसिंग

Globbing Parser से मल्टीपल फ़ाइलें डाउनलोड करना

पिछले उदाहरण से आगे:

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

Globbing Parser का उपयोग

यह कमांड datafilename001.txt से शुरू होकर datafilename100.txt तक हर फ़ाइल क्रमवार डाउनलोड करेगा.

curl -O https://websitename.com/datafilename[001-100].txt
शेल में डेटा प्रोसेसिंग

Globbing Parser से मल्टीपल फ़ाइलें डाउनलोड करना

पिछले उदाहरण से आगे:

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

Globbing Parser का उपयोग

फ़ाइलों में इनक्रिमेंट करें और हर Nवीं फ़ाइल डाउनलोड करें (जैसे datafilename010.txt, datafilename020.txt, ... datafilename100.txt)

curl -O https://websitename.com/datafilename[001-100:10].txt
शेल में डेटा प्रोसेसिंग

प्रिऐम्प्टिव ट्रबलशूटिंग

डाउनलोड के दौरान टाइमआउट होने पर curl के दो खास काम के ऑप्शन फ्लैग्स हैं:

  • -L 300 एरर कोड आने पर HTTP URL को रीडायरेक्ट करता है.

  • -C टाइमआउट पर अधूरा ट्रांसफर फिर से शुरू करता है.

सब मिलाकर:

curl -L -O -C https://websitename.com/datafilename[001-100].txt
  • सभी ऑप्शन फ्लैग्स URL से पहले आते हैं
  • फ्लैग्स के क्रम का महत्व नहीं है (उदा. -L -C -O ठीक है)
शेल में डेटा प्रोसेसिंग

Happy curl-ing!

शेल में डेटा प्रोसेसिंग

Preparing Video For Download...