使用 Wget 下載資料

在 Shell 中進行資料處理

Susan Sun

Data Person

什麼是 Wget？

Wget：

  • 名稱來自 World Wide Web 與 get
  • 原生於 Linux，跨作業系統皆可用
  • 用於從 HTTP(S) 與 FTP 下載資料
  • 遞迴下載多個檔案比 curl 更方便
在 Shell 中進行資料處理

檢查 Wget 安裝

檢查是否正確安裝 Wget：

which wget

若已安裝 Wget，會列印安裝位置：

/usr/local/bin/wget

若尚未安裝 Wget，則不會有輸出。

在 Shell 中進行資料處理

依作業系統安裝 Wget

Wget 原始碼：https://www.gnu.org/software/wget/

Linux：執行 sudo apt-get install wget

macOS：用 Homebrew 執行 brew install wget

Windows：透過 gnuwin32 下載

在 Shell 中進行資料處理

瀏覽 Wget 手冊

安裝完成後，用 man 指令開啟 Wget 手冊：

在深色終端機視窗中列印的 Wget 手冊開頭畫面擷圖

在 Shell 中進行資料處理

Wget 語法速覽

基本 Wget 語法：

wget [option flags] [URL]

URL 為必填。

Wget 也支援 HTTP、HTTPS、FTP 與 SFTP。

查看完整選項旗標清單：

wget --help
在 Shell 中進行資料處理

下載單一檔案

Wget 專屬的選項旗標：

-b：啟動後立刻背景執行

-q：關閉 Wget 輸出

-c：續傳中斷的下載（接續部分已下載的檔案）

wget -bqc https://websitename.com/datafilename.txt

Continuing in background, pid 12345.
在 Shell 中進行資料處理

盡情用 Wget 吧！

在 Shell 中進行資料處理

Preparing Video For Download...