Wget을 사용한 고급 다운로드

셸에서의 데이터 처리

Susan Sun

Data Person

Wget으로 여러 파일 다운로드

파일 위치 목록을 텍스트 파일에 저장합니다.

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

-i를 사용하여 url_list.txt에 저장된 URL에서 다운로드합니다.

wget -i url_list.txt

--limit-rate로 상한 대역폭을 설정합니다(기본 단위는 초당 바이트).

구문:

wget --limit-rate={rate}k {file_location}

예:

wget --limit-rate=200k -i url_list.txt

--wait으로 파일 간 다운로드 대기 시간(초)을 설정합니다.

구문:

wget --wait={seconds} {file_location}

예:

wget --wait=2.5 -i url_list.txt

curl의 장점:

Wget의 장점:

셸에서의 데이터 처리