Gegevens downloaden met Wget

Gegevens verwerken in de Shell

Susan Sun

Data Person

Wat is Wget?

Wget:

  • komt van World Wide Web en get
  • is native voor Linux maar werkt op alle besturingssystemen
  • wordt gebruikt om data van HTTP(S) en FTP te downloaden
  • beter dan curl voor het recursief downloaden van meerdere bestanden
Gegevens verwerken in de Shell

Installatie van Wget controleren

Check of Wget goed is geïnstalleerd:

which wget

Als Wget is geïnstalleerd, zie je de installatielocatie:

/usr/local/bin/wget

Als Wget niet is geïnstalleerd, verschijnt er geen output.

Gegevens verwerken in de Shell

Wget installeren per besturingssysteem

Wget-broncode: https://www.gnu.org/software/wget/

Linux: voer uit sudo apt-get install wget

macOS: gebruik Homebrew en voer uit brew install wget

Windows: download via gnuwin32

Gegevens verwerken in de Shell

De Wget-handleiding bekijken

Na de installatie: gebruik man om de Wget-handleiding te tonen:

Screenshot van het begin van de Wget-handleiding alsof afgedrukt in een donker Terminal-venster

Gegevens verwerken in de Shell

Wget-syntax leren

Basis-syntax van Wget:

wget [option flags] [URL]

URL is verplicht.

Wget ondersteunt ook HTTP, HTTPS, FTP en SFTP.

Voor alle beschikbare optievlaggen, zie:

wget --help
Gegevens verwerken in de Shell

Één bestand downloaden

Optievlaggen die uniek zijn voor Wget:

-b: Ga direct na start op de achtergrond draaien

-q: Schakel de Wget-uitvoer uit

-c: Hervat een onderbroken download (ga verder met een deels gedownload bestand)

wget -bqc https://websitename.com/datafilename.txt

Gaat verder op de achtergrond, pid 12345.
Gegevens verwerken in de Shell

Veel plezier met Wget!

Gegevens verwerken in de Shell

Preparing Video For Download...