Outils pour utilisateurs

Outils du site


internet:wget

Wget

Présentation

Wget est un logiciel libre client HTTP du projet GNU qui permet le téléchargement avancé de fichiers sur des réseaux et sur l'Internet. Par exemple, il permet de créer des miroirs de sites, ou d'effectuer des téléchargements récursifs. Son nom vient de World Wide Web et de GET qui est le nom de la commande utilisée dans le protocole HTTP pour récupérer un fichier.

Il est écrit en C dans un style extrêmement portable. C'est un programme en ligne de commande utilisé principalement sur les systèmes Unix. Des frontaux graphiques tels que gwget et des versions pour Windows existent également

wget est non interactif, ce qui signifie qu'il peut travailler en arrière-plan, sans que l'utilisateur ne soit identifié sur sa machine. Au contraire, la plupart des navigateurs Web nécessitent la présence constante de l'utilisateur, ce qui peut être très gênant lors de transferts importants de données.

Lorsqu'il crée un miroir ou qu'il « télécharge récursivement », wget respecte le protocole robots.txt. wget peut être paramétré pour convertir en local les liens des fichiers HTML téléchargés afin qu'ils soient consultables hors-ligne.

Les caractères génériques de nom de fichiers et les images miroirs récursives de répertoire sont disponibles lors d'un transfert via FTP. wget peut lire l'estampille temporelle fournie par les serveurs HTTP et les serveurs FTP, et l'enregistrer localement. wget peut ainsi vérifier si un fichier distant a été modifié depuis la dernière recherche, et éventuellement télécharger automatiquement la nouvelle version. wget est donc un outil approprié pour créer des miroirs de sites FTP, ou de pages d'accueil.

wget a été conçu pour être robuste si la connexion réseau est lente ou instable; si un téléchargement échoue à cause d'un problème de réseau, il va réessayer jusqu'à ce que tout le fichier soit récupéré, en reprenant là où il s'était arrêté.

wget supporte les serveurs proxy, ce qui peut réduire la charge du réseau, accélérer le téléchargement et permettre un accès derrière un pare-feu.


Installation

Frugalware

pacman -S wget




Interface graphique

http://www.gnu.org/software/wget/ wget a une interface graphique en GTK: gwget


Aspirer un site avec wget

Pour aspirer une page est ses liens sans sortir du domaine et sans remonter dans les répertoires parents :

wget -r -k -np AdresseDeLaPage

Explications:

-r signifie que le téléchargement sera récursif (il télécharge aussi les liens de la page)
-k permet de reconstituer le site localement (les liens sont modifié pour pointer localement)
-np empêche de remonter dans le répertoire parent.


Liens

internet/wget.txt · Dernière modification: 2014/05/09 18:57 (modification externe)