Geavanceerd downloaden met Wget

Gegevens verwerken in de Shell

Susan Sun

Data Person

Meerdere bestanden downloaden met Wget

Sla een lijst met bestandslocaties op in een tekstbestand.

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

Download de URL’s uit het bestand url_list.txt met -i.

wget -i url_list.txt

Stel een maximale downloadsnelheid in (standaard in bytes per seconde) met --limit-rate.

Syntaxis:

wget --limit-rate={rate}k {file_location}

Voorbeeld:

wget --limit-rate=200k -i url_list.txt

Stel een verplichte pauze (in seconden) tussen downloads in met --wait.

Syntaxis:

wget --wait={seconds} {file_location}

Voorbeeld:

wget --wait=2.5 -i url_list.txt

Voordelen van curl:

Voordelen van Wget:

Gegevens verwerken in de Shell