Erweitertes Herunterladen mit Wget

Datenverarbeitung in der Shell

Susan Sun

Data Person

Mehrere Dateien mit Wget herunterladen

Speichere eine Liste von Dateipfaden in einer Textdatei.

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

Lade die in url_list.txt gespeicherten URLs mit -i herunter.

wget -i url_list.txt

Lege ein oberes Download-Bandbreitenlimit fest (standardmäßig in Bytes pro Sekunde) mit --limit-rate.

Syntax:

wget --limit-rate={rate}k {file_location}

Beispiel:

wget --limit-rate=200k -i url_list.txt

Lege eine verpflichtende Wartezeit (in Sekunden) zwischen Downloads mit --wait fest.

Syntax:

wget --wait={seconds} {file_location}

Beispiel:

wget --wait=2.5 -i url_list.txt

Vorteile von curl:

Vorteile von Wget:

Viele eingebaute Features für das Herunterladen mehrerer Dateien.
Kann verschiedene Download-Quellen verarbeiten (z. B. Dateiverzeichnis, HTML-Seite).

Datenverarbeitung in der Shell