Расширенные возможности Wget

Обработка данных в командной строке

Susan Sun

Data Person

Загрузка нескольких файлов с помощью Wget

Сохраните список адресов файлов в текстовом файле.

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

Загрузите файлы по адресам из файла url_list.txt с помощью флага -i.

wget -i url_list.txt

Установите верхний предел скорости загрузки (по умолчанию в байтах в секунду) с помощью --limit-rate.

Синтаксис:

wget --limit-rate={rate}k {file_location}

Пример:

wget --limit-rate=200k -i url_list.txt

Задайте обязательную паузу (в секундах) между загрузками файлов с помощью --wait.

Синтаксис:

wget --wait={seconds} {file_location}

Пример:

wget --wait=2.5 -i url_list.txt

Преимущества curl:

Преимущества Wget:

Имеет множество встроенных функций для загрузки нескольких файлов.
Поддерживает различные форматы файлов (например, каталог файлов, HTML-страница).

Обработка данных в командной строке