Download avanzato con Wget

Elaborazione dei dati in Shell

Susan Sun

Data Person

Download multipli con Wget

Salva un elenco di URL in un file di testo.

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

Scarica dagli URL nel file url_list.txt con -i.

wget -i url_list.txt
Elaborazione dei dati in Shell

Impostare vincoli di download per file grandi

Imposta un limite massimo di banda (di default in byte al secondo) con --limit-rate.

Sintassi:

wget --limit-rate={rate}k {file_location}

Esempio:

wget --limit-rate=200k -i url_list.txt
Elaborazione dei dati in Shell

Impostare vincoli di download per file piccoli

Imposta una pausa obbligatoria (in secondi) tra i download con --wait.

Sintassi:

wget --wait={seconds} {file_location}

Esempio:

wget --wait=2.5 -i url_list.txt
Elaborazione dei dati in Shell

curl vs Wget

Vantaggi di curl:

  • Usabile per scaricare e caricare file da 20+ protocolli.
  • Più facile da installare su tutti i sistemi operativi.

Vantaggi di Wget:

  • Molte funzioni integrate per gestire download multipli.
  • Gestisce vari formati di origine (es. directory, pagina HTML).
Elaborazione dei dati in Shell

Passons à la pratique !

Elaborazione dei dati in Shell

Preparing Video For Download...