Télécharger des données avec curl

Traitement des données en Shell

Susan Sun

Data Person

Qu'est-ce que curl ?

curl :

  • abrégé de Client for URLs
  • outil en ligne de commande Unix
  • transfère des données vers et depuis un serveur
  • sert à télécharger des données de sites HTTP(S) et de serveurs FTP
Traitement des données en Shell

Vérifier l'installation de curl

Vérifier l'installation de curl : 

man curl

Si curl n'est pas installé, vous verrez :

curl command not found.

Pour les instructions complètes, voir https://curl.haxx.se/download.html.

Traitement des données en Shell

Parcourir le manuel de curl

Si curl est installé, votre console ressemblera à ceci :

Capture d'écran du début du manuel de curl affiché dans un Terminal sombre

Traitement des données en Shell

Parcourir le manuel de curl

Appuyez sur Entrée pour faire défiler.

Capture d'écran d'un manuel curl partiellement défilé dans un Terminal sombre

Appuyez sur q pour quitter.

Traitement des données en Shell

Apprendre la syntaxe de curl

Syntaxe de base de curl : 

curl [fanions d'option] [URL]

L'URL est obligatoire.

curl prend aussi en charge HTTP, HTTPS, FTP et SFTP.

Pour la liste complète des options :

curl --help
Traitement des données en Shell

Télécharger un seul fichier

Exemple :

Un seul fichier est stocké à :

https://websitename.com/datafilename.txt

Utilisez l'option facultative -O pour enregistrer le fichier sous son nom d'origine :

curl -O https://websitename.com/datafilename.txt

Pour renommer le fichier, utilisez la minuscule -o + nouveau nom :

curl -o renameddatafilename.txt https://websitename.com/datafilename.txt
Traitement des données en Shell

Télécharger plusieurs fichiers avec le Globbing Parser

Suite de l'exemple précédent : 

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

Utiliser le « Globbing Parser »

La commande suivante télécharge chaque fichier en séquence de datafilename001.txt à datafilename100.txt.

curl -O https://websitename.com/datafilename[001-100].txt
Traitement des données en Shell

Télécharger plusieurs fichiers avec le Globbing Parser

Suite de l'exemple précédent : 

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

Utiliser le « Globbing Parser »

Parcourez les fichiers et téléchargez un fichier sur N (p. ex. datafilename010.txt, datafilename020.txt, … datafilename100.txt)

curl -O https://websitename.com/datafilename[001-100:10].txt
Traitement des données en Shell

Dépannage préventif

curl offre deux options très utiles en cas d'expiration pendant le téléchargement :

  • -L Redirige l'URL HTTP si un code d'erreur 300 survient.

  • -C Reprend un transfert de fichier interrompu avant la fin.

En combinant le tout :

curl -L -O -C https://websitename.com/datafilename[001-100].txt
  • Tous les fanions d'option précèdent l'URL
  • L'ordre des fanions n'a pas d'importance (p. ex. -L -C -O convient)
Traitement des données en Shell

Bon curl !

Traitement des données en Shell

Preparing Video For Download...