curl を使ったデータのダウンロード

シェルでのデータ処理

Susan Sun

Data Person

curl とは？

curl の概要：

curl のインストール確認：

man curl

curl がインストールされていない場合は次のメッセージが表示されます。

curl command not found.

詳細なインストール手順は https://curl.haxx.se/download.html を参照してください。

curl がインストールされている場合、コンソールは次のように表示されます。

暗いターミナル画面に表示された curl マニュアルの先頭部分のスクリーンショット

Enter キーでスクロールします。

暗いターミナル画面に表示された途中までスクロールした curl マニュアルのスクリーンショット

q キーで終了します。

curl の基本構文：

curl [option flags] [URL]

URL は必須です。

curl は HTTP、HTTPS、FTP、SFTP に対応しています。

利用可能なオプションの一覧を表示するには：

curl --help

例：

次の場所にファイルが保存されているとします。

https://websitename.com/datafilename.txt

-O フラグを使うと、元のファイル名のまま保存できます。

curl -O https://websitename.com/datafilename.txt

ファイル名を変更するには、小文字の -o と新しいファイル名を指定します。

curl -o renameddatafilename.txt https://websitename.com/datafilename.txt

前の例に引き続き：

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

グロブパーサーを使用

The following will download every file sequentially starting with datafilename001.txt and ending with datafilename100.txt.

curl -O https://websitename.com/datafilename[001-100].txt

前の例に引き続き：

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

グロブパーサーを使用

Increment through the files and download every Nth file (e.g.datafilename010.txt, datafilename020.txt, ... datafilename100.txt)

curl -O https://websitename.com/datafilename[001-100:10].txt

curl has two particularly useful option flags in case of timeouts during download:

Putting everything together:

curl -L -O -C https://websitename.com/datafilename[001-100].txt

シェルでのデータ処理