Descargas avanzadas con Wget

Procesamiento de datos en Shell

Susan Sun

Data Person

Descarga múltiple con Wget

Guarda una lista de ubicaciones de archivos en un archivo de texto.

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

Descarga desde las URL guardadas en url_list.txt usando -i.

wget -i url_list.txt

Fija un límite superior de ancho de banda de descarga (por defecto en bytes por segundo) con --limit-rate.

Sintaxis:

wget --limit-rate={rate}k {file_location}

Ejemplo:

wget --limit-rate=200k -i url_list.txt

Configura una pausa obligatoria (en segundos) entre descargas con --wait.

Sintaxis:

wget --wait={seconds} {file_location}

Ejemplo:

wget --wait=2.5 -i url_list.txt

Ventajas de curl:

Ventajas de Wget:

Muchas funciones integradas para manejar descargas múltiples.
Soporta varios formatos de origen (p. ej., directorio de archivos, página HTML).

Procesamiento de datos en Shell