Download avançado com Wget

Processamento de Dados no Shell

Susan Sun

Data Person

Download de múltiplos arquivos com Wget

Salve uma lista de URLs em um arquivo de texto.

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

Baixe das URLs salvas em url_list.txt usando -i.

wget -i url_list.txt

Defina o limite máximo de banda (por padrão em bytes por segundo) com --limit-rate.

Sintaxe:

wget --limit-rate={rate}k {file_location}

Exemplo:

wget --limit-rate=200k -i url_list.txt

Defina uma pausa obrigatória (em segundos) entre downloads com --wait.

Sintaxe:

wget --wait={seconds} {file_location}

Exemplo:

wget --wait=2.5 -i url_list.txt

Vantagens do curl:

Vantagens do Wget:

Muitas funções nativas para lidar com downloads múltiplos.
Suporta vários formatos de origem para download (ex.: diretório de arquivos, página HTML).

Processamento de Dados no Shell