Téléchargements avancés avec Wget

Traitement des données en ligne de commande

Susan Sun

Data Person

Téléchargement de plusieurs fichiers avec Wget

Enregistrez une liste d'emplacements de fichiers dans un fichier texte.

cat url_list.txt

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...

Téléchargez depuis les URL stockées dans le fichier url_list.txt avec -i.

wget -i url_list.txt
Traitement des données en ligne de commande

Définir des contraintes de téléchargement pour les gros fichiers

Fixez une limite supérieure de bande passante (par défaut en octets par seconde) avec --limit-rate.

Syntaxe :

wget --limit-rate={rate}k {file_location}

Exemple :

wget --limit-rate=200k -i url_list.txt
Traitement des données en ligne de commande

Définir des contraintes de téléchargement pour les petits fichiers

Imposez un temps de pause (en secondes) entre les téléchargements avec --wait.

Syntaxe :

wget --wait={seconds} {file_location}

Exemple :

wget --wait=2.5 -i url_list.txt
Traitement des données en ligne de commande

curl versus Wget

Avantages de curl :

  • Permet de télécharger et téléverser des fichiers via 20+ protocoles.
  • Plus simple à installer sur tous les systèmes.

Avantages de Wget :

  • Nombreuses fonctions intégrées pour gérer des téléchargements multiples.
  • Gère divers formats de source (p. ex. répertoire de fichiers, page HTML).
Traitement des données en ligne de commande

Passons à la pratique !

Traitement des données en ligne de commande

Preparing Video For Download...