Avancerad nedladdning med Wget

Databehandling i kommandoraden

Susan Sun

Data Person

Ladda ned flera filer med Wget

Spara en lista med filsökvägar i en textfil.

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

Ladda ned från URL-adresserna i filen url_list.txt med -i.

wget -i url_list.txt
Databehandling i kommandoraden

Ange begränsningar vid nedladdning av stora filer

Begränsa nedladdningshastigheten (som standard i byte per sekund) med --limit-rate.

Syntax:

wget --limit-rate={rate}k {file_location}

Exempel:

wget --limit-rate=200k -i url_list.txt
Databehandling i kommandoraden

Ange begränsningar vid nedladdning av små filer

Ange en obligatorisk paus (i sekunder) mellan filnedladdningar med --wait.

Syntax:

wget --wait={seconds} {file_location}

Exempel:

wget --wait=2.5 -i url_list.txt
Databehandling i kommandoraden

curl jämfört med Wget

Fördelar med curl:

  • Kan användas för att ladda ned och ladda upp filer via 20+ protokoll.
  • Enklare att installera på alla operativsystem.

Fördelar med Wget:

  • Har många inbyggda funktioner för att hantera flera filnedladdningar.
  • Kan hantera olika filformat vid nedladdning (t.ex. filkataloger, HTML-sidor).
Databehandling i kommandoraden

Nu kör vi en övning!

Databehandling i kommandoraden

Preparing Video For Download...