Tải nâng cao với Wget

Xử lý dữ liệu trên Shell

Susan Sun

Data Person

Tải nhiều tệp với Wget

Lưu danh sách vị trí tệp vào một tệp văn bản.

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

Tải từ các URL trong tệp url_list.txt bằng -i.

wget -i url_list.txt

Đặt giới hạn băng thông tải xuống (mặc định tính bằng byte/giây) với --limit-rate.

Cú pháp:

wget --limit-rate={rate}k {file_location}

Ví dụ:

wget --limit-rate=200k -i url_list.txt

Đặt thời gian tạm dừng bắt buộc (giây) giữa các lượt tải với --wait.

Cú pháp:

wget --wait={seconds} {file_location}

Ví dụ:

wget --wait=2.5 -i url_list.txt

Ưu điểm của curl:

Ưu điểm của Wget:

Xử lý dữ liệu trên Shell