Téléchargements avancés avec Wget
Traitement des données en Shell
Susan Sun
Data Person
Télécharger plusieurs fichiers avec Wget
Enregistrez une liste d'emplacements de fichiers dans un fichier texte.
cat url_list.txt
https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
Téléchargez à partir des URL stockées dans le fichier url_list.txt avec -i.
wget -i url_list.txt
Définir des contraintes de téléchargement pour les gros fichiers
Fixez une limite supérieure de bande passante de téléchargement (par défaut en octets par seconde) avec --limit-rate.
Syntaxe :
wget --limit-rate={rate}k {file_location}
Exemple :
wget --limit-rate=200k -i url_list.txt
Définir des contraintes de téléchargement pour les petits fichiers
Imposez une pause obligatoire (en secondes) entre les téléchargements avec --wait.
Syntaxe :
wget --wait={seconds} {file_location}
Exemple :
wget --wait=2.5 -i url_list.txt
curl versus Wget
Avantages de curl :
- Sert à téléverser et télécharger des fichiers via plus de 20 protocoles.
- Plus simple à installer sur tous les systèmes d'exploitation.
Avantages de Wget :
- Nombreuses fonctions intégrées pour gérer des téléchargements multiples.
- Peut traiter divers formats à télécharger (p. ex. répertoire, page HTML).
Passons à la pratique !
Traitement des données en Shell
