Pokročilé stahování pomocí Wget

Data Processing in Shell

Susan Sun

Data Person

Stahování více souborů pomocí Wget

Uložte seznam URL adres do textového souboru.

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

Stahujte z URL adres uložených v souboru url_list.txt pomocí -i.

wget -i url_list.txt
Data Processing in Shell

Omezení rychlosti stahování velkých souborů

Nastavte maximální rychlost stahování (výchozí jednotka: bajtů za sekundu) pomocí --limit-rate.

Syntaxe:

wget --limit-rate={rate}k {file_location}

Příklad:

wget --limit-rate=200k -i url_list.txt
Data Processing in Shell

Omezení rychlosti stahování malých souborů

Nastavte povinnou pauzu (v sekundách) mezi stahováními pomocí --wait.

Syntaxe:

wget --wait={seconds} {file_location}

Příklad:

wget --wait=2.5 -i url_list.txt
Data Processing in Shell

curl vs. Wget

Výhody curl:

  • Lze použít ke stahování _i_ nahrávání souborů přes 20+ protokolů.
  • Snadnější instalace na všech operačních systémech.

Výhody Wget:

  • Obsahuje mnoho vestavěných funkcí pro stahování více souborů.
  • Zvládá různé formáty souborů ke stažení (např. adresář, stránka HTML).
Data Processing in Shell

Pojďme procvičovat!

Data Processing in Shell

Preparing Video For Download...