Pengunduhan lanjutan dengan Wget

Pemrosesan Data di Shell

Susan Sun

Data Person

Mengunduh banyak file dengan Wget

Simpan daftar lokasi file dalam berkas teks.

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

Unduh dari URL dalam berkas url_list.txt menggunakan -i.

wget -i url_list.txt

Atur batas atas bandwidth unduhan (default dalam byte per detik) dengan --limit-rate.

Sintaks:

wget --limit-rate={rate}k {file_location}

Contoh:

wget --limit-rate=200k -i url_list.txt

Atur jeda wajib (dalam detik) antar unduhan file dengan --wait.

Sintaks:

wget --wait={seconds} {file_location}

Contoh:

wget --wait=2.5 -i url_list.txt

Keunggulan curl:

Keunggulan Wget:

Banyak fungsi bawaan untuk menangani unduhan banyak file.
Dapat menangani berbagai format untuk diunduh (mis. direktori file, halaman HTML).

Pemrosesan Data di Shell