Розширене завантаження за допомогою Wget

Опрацювання даних у Shell

Susan Sun

Data Person

Завантаження кількох файлів із Wget

Збережіть список розташувань файлів у текстовому файлі.

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

Завантажте з URL-адрес, збережених у файлі url_list.txt, використовуючи -i.

wget -i url_list.txt
Опрацювання даних у Shell

Обмеження завантаження для великих файлів

Встановіть верхню межу пропускної здатності завантаження (типово у байтах за секунду) за допомогою --limit-rate.

Синтаксис:

wget --limit-rate={rate}k {file_location}

Приклад:

wget --limit-rate=200k -i url_list.txt
Опрацювання даних у Shell

Обмеження завантаження для малих файлів

Задайте обов'язкову паузу (у секундах) між завантаженнями файлів за допомогою --wait.

Синтаксис:

wget --wait={seconds} {file_location}

Приклад:

wget --wait=2.5 -i url_list.txt
Опрацювання даних у Shell

curl і Wget: порівняння

Переваги curl:

  • Підтримує завантаження й вивантаження файлів через 20+ протоколів.
  • Простіше встановити в усіх операційних системах.

Переваги Wget:

  • Має багато вбудованих можливостей для пакетних завантажень.
  • Вміє завантажувати різні формати (наприклад, каталог файлів, HTML-сторінку).
Опрацювання даних у Shell

Давайте потренуємось!

Опрацювання даних у Shell

Preparing Video For Download...