Zaawansowane pobieranie z Wget

Przetwarzanie danych w wierszu poleceń

Susan Sun

Data Person

Pobieranie wielu plików za pomocą Wget

Zapisz listę lokalizacji plików w pliku tekstowym.

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

Pobierz pliki z lokalizacji URL zapisanych w pliku url_list.txt przy użyciu -i.

wget -i url_list.txt
Przetwarzanie danych w wierszu poleceń

Ograniczenia pobierania dużych plików

Ustaw górny limit przepustowości pobierania (domyślnie w bajtach na sekundę) za pomocą --limit-rate.

Składnia:

wget --limit-rate={rate}k {file_location}

Przykład:

wget --limit-rate=200k -i url_list.txt
Przetwarzanie danych w wierszu poleceń

Ograniczenia pobierania małych plików

Ustaw obowiązkową pauzę (w sekundach) między pobieraniem plików za pomocą --wait.

Składnia:

wget --wait={seconds} {file_location}

Przykład:

wget --wait=2.5 -i url_list.txt
Przetwarzanie danych w wierszu poleceń

curl a Wget

Zalety curl:

  • Obsługuje pobieranie _i_ wysyłanie plików z ponad 20 protokołów.
  • Łatwiejszy do zainstalowania na wszystkich systemach operacyjnych.

Zalety Wget:

  • Posiada wbudowane funkcje obsługi pobierania wielu plików.
  • Obsługuje różne formaty plików (np. katalog plików, strona HTML).
Przetwarzanie danych w wierszu poleceń

Czas na ćwiczenia!

Przetwarzanie danych w wierszu poleceń

Preparing Video For Download...