Wget के साथ एडवांस्ड डाउनलोडिंग

शेल में डेटा प्रोसेसिंग

Susan Sun

Data Person

Wget से कई फ़ाइलें डाउनलोड करना

फ़ाइल लोकेशन की सूची एक टेक्स्ट फ़ाइल में सेव करें।

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

-i का उपयोग कर url_list.txt में सेव URL से डाउनलोड करें।

wget -i url_list.txt

ऊपरी डाउनलोड बैंडविड्थ सीमा सेट करें (--limit-rate) — डिफ़ॉल्ट रूप से bytes per second में।

Syntax:

wget --limit-rate={rate}k {file_location}

Example:

wget --limit-rate=200k -i url_list.txt

फ़ाइल डाउनलोड के बीच अनिवार्य विराम समय (सेकंड में) --wait से सेट करें।

Syntax:

wget --wait={seconds} {file_location}

Example:

wget --wait=2.5 -i url_list.txt

curl के फायदे:

Wget के फायदे:

शेल में डेटा प्रोसेसिंग