Загрузка данных с помощью Wget

Обработка данных в командной строке

Susan Sun

Data Person

Что такое Wget?

Wget:

  • название происходит от World Wide Web и get
  • создан для Linux, но работает на всех операционных системах
  • используется для загрузки данных по HTTP(S) и FTP
  • превосходит curl при рекурсивной загрузке нескольких файлов
Обработка данных в командной строке

Проверка установки Wget

Проверьте, установлен ли Wget:

which wget

Если Wget установлен, команда выведет путь к нему:

/usr/local/bin/wget

Если Wget не установлен, вывода не будет.

Обработка данных в командной строке

Установка Wget в разных операционных системах

Исходный код Wget: https://www.gnu.org/software/wget/

Linux: выполните sudo apt-get install wget

MacOS: используйте homebrew и выполните brew install wget

Windows: загрузите через gnuwin32

Обработка данных в командной строке

Изучение руководства Wget

После установки используйте команду man, чтобы открыть руководство по Wget:

Снимок экрана с началом руководства Wget в тёмном окне терминала

Обработка данных в командной строке

Синтаксис Wget

Базовый синтаксис Wget:

wget [option flags] [URL]

URL обязателен.

Wget поддерживает HTTP, HTTPS, FTP и SFTP.

Полный список флагов можно получить командой:

wget --help
Обработка данных в командной строке

Загрузка одного файла

Флаги, уникальные для Wget:

-b: перейти в фоновый режим сразу после запуска

-q: отключить вывод Wget

-c: возобновить прерванную загрузку (продолжить скачивание частично загруженного файла)

wget -bqc https://websitename.com/datafilename.txt
Continuing in background, pid 12345.
Обработка данных в командной строке

Приятной работы с Wget!

Обработка данных в командной строке

Preparing Video For Download...