Stahování dat pomocí curl

Data Processing in Shell

Susan Sun

Data Person

Co je curl?

curl:

  • zkratka pro Client for URLs
  • nástroj příkazové řádky pro Unix
  • přenáší data na server i ze serveru
  • slouží ke stahování dat z HTTP(S) stránek a FTP serverů
Data Processing in Shell

Kontrola instalace curl

Ověření instalace curl: 

man curl

Pokud curl není nainstalovaný, uvidíš:

curl command not found.

Postup instalace najdeš na https://curl.haxx.se/download.html.

Data Processing in Shell

Procházení manuálu curl

Pokud je curl nainstalovaný, konzole bude vypadat takto:

Snímek obrazovky začátku manuálu curl zobrazeného v tmavém okně terminálu

Data Processing in Shell

Procházení manuálu curl

Stiskni Enter pro posun dolů.

Snímek obrazovky částečně posunutého manuálu curl v tmavém okně terminálu

Stiskni q pro ukončení.

Data Processing in Shell

Syntaxe curl

Základní syntaxe curl: 

curl [option flags] [URL]

URL je povinné.

curl podporuje také HTTP, HTTPS, FTP a SFTP.

Úplný seznam dostupných přepínačů:

curl --help
Data Processing in Shell

Stahování jednoho souboru

Příklad:

Soubor je uložen na adrese:

https://websitename.com/datafilename.txt

Přepínač -O uloží soubor pod původním názvem:

curl -O https://websitename.com/datafilename.txt

Pro přejmenování použij malé -o + nový název souboru:

curl -o renameddatafilename.txt https://websitename.com/datafilename.txt
Data Processing in Shell

Stahování více souborů pomocí Globbing Parseru

Navazujeme na předchozí příklad: 

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

Použití Globbing Parseru

Následující příkaz stáhne všechny soubory postupně od datafilename001.txt po datafilename100.txt.

curl -O https://websitename.com/datafilename[001-100].txt
Data Processing in Shell

Stahování více souborů pomocí Globbing Parseru

Navazujeme na předchozí příklad: 

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

Použití Globbing Parseru

Stahuj každý N-tý soubor (např. datafilename010.txt, datafilename020.txt, ... datafilename100.txt)

curl -O https://websitename.com/datafilename[001-100:10].txt
Data Processing in Shell

Řešení potenciálních problémů

curl nabízí dva užitečné přepínače pro případ výpadku při stahování:

  • -L Přesměruje HTTP URL, pokud nastane chyba 300.

  • -C Obnoví přerušený přenos souboru.

Vše dohromady:

curl -L -O -C https://websitename.com/datafilename[001-100].txt
  • Všechny přepínače patří před URL
  • Pořadí přepínačů není důležité (např. -L -C -O je v pořádku)
Data Processing in Shell

Příjemné stahování s curl!

Data Processing in Shell

Preparing Video For Download...