Abondance : Recherche d'information, referencement SEO et promotion de sites Web           twitter Abondance  facebook Abondance google+ Abondance          
Rechercher dans le site Abondance :

  Abondance : l'actualité et l'information sur le référencement (SEO) et les moteurs de recherche   


Le fichier robots.txt



Sur le site Abondance, nous essayons, dans la mesure du possible, de vous expliquer comment faire en sorte que vos pages soient indexées au mieux par les robots (spiders) des moteurs de recherche. Mais il peut également arriver que certaines de vos pages soient confidentielles, ou en tout cas que votre objectif ne soit pas de les diffuser largement sur lesdits moteurs. Un site ou une page en construction, par exemple, ne doivent pas obligatoirement être la cible d'une telle aspiration. Il faut alors empêcher certains spiders de les prendre en compte.
 
Cela se fait au moyen d'un fichier texte, appelé robots.txt, présent sur votre serveur. Ce fichier va donner des indications au spider du moteur sur ce qu'il peut faire et ce qu'il ne doit pas faire sur le site. Dès que le spider d'un moteur arrive sur un site (par exemple, http://www.monsite.com/), il va rechercher le document présent à l'adresse http://www.monsite.com/robots.txt avant d'effectuer la moindre "aspiration de document". Si ce fichier existe, il le lit et suit les indications qui y sont inscrites. S'il ne le trouve pas, il commence son travail de lecture et de sauvegarde de la page HTML qu'il est venu visiter, considérant qu'a priori rien ne lui est interdit.
 
Il ne peut exister qu'un seul fichier robots.txt sur un site, et il doit se trouver au niveau de la racine, comme le montre l'exemple d'adresse ci-dessus. Le nom du fichier (robots.txt) doit toujours être créé en minuscules. La structure d'un fichier robots.txt est la suivante :
 
User-agent: *
Disallow: /cgi-bin/
Disallow: /tempo/
Disallow: /perso/
Disallow: /entravaux/
Disallow: /abonnes/prix.html

 
Dans cet exemple :
 

  • User-agent: * signifie que l'accès est accordé à tous les agents (tous les spiders), quels qu'ils soient.
  • Le robot n'ira pas explorer les répertoires /cgi-bin/, /tempo/, /perso/ et /entravaux/ du serveur ni le fichier /abonnes/prix.html.
    Le répertoire /tempo/, par exemple, correspond à l'adresse http://www.monsite.com/tempo/. Chaque répertoire à exclure de l'aspiration du spider doit faire l'objet d'une ligne Disallow: spécifique. La commande Disallow: permet d'indiquer que "tout ce qui commence par" l'expression indiquée ne doit pas être indexé.

Ainsi :
Disallow: /perso ne permettra l'indexation ni de http://www.monsite.com/perso/index.html, ni de http://www.monsite.com/perso.html
 
Disallow: /perso/ n'indexera pas http://www.monsite.com/perso/index.html, mais ne s'appliquera pas à l'adresse http://www.monsite.com/perso.html
 
D'autre part, le fichier robots.txt ne doit pas contenir de lignes vierges (blanches).
L'étoile (*) n'est acceptée que dans le champ User-agent.
Elle ne peut servir de joker (ou d'opérateur de troncature) comme dans l'exemple : Disallow: /entravaux/*.
Il n'existe pas de champ correspondant à la permission, de type Allow:.
Enfin, le champ de description (User-agent, Disallow) peut être indifféremment saisi en minuscules ou en majuscules.
Les lignes qui commencent par un signe dièse (#), ou plus exactement tout ce qui se trouve à droite de ce signe sur une ligne, est considéré comme étant un commentaire.
 
Voici quelques commandes et très classiques importantes du fichier robots.txt :


Disallow:/ Permet d'exclure toutes les pages du serveur (aucune aspiration possible).
Disallow: Permet de n'exclure aucune page du serveur (aucune contrainte).
Un fichier robots.txt vide ou inexistant aura une conséquence identique.
User-Agent : googlebot Permet d'identifier un robot particulier (ici, celui du moteur Google).
User-agent: googlebot
Disallow:
User-agent: *
Disallow:/
Permet au spider de Google de tout aspirer, mais refuse les autres robots.

 
Vous avez également une autre possibilité pour interdire aux spiders des moteurs l'accès à vos pages : la balise Meta Robots. Un autre article sur ce site décrit de façon très précise leur emploi.
 
Autres sources d'information sur le fichier Robots.txt :
 
Un autre article sur la syntaxe de ce fichier : http://www.searchtools.com/robots/robots-txt.html
 
Un vérificateur de syntaxe pour votre fichier robots.txt :
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi




 







 
Un site du Réseau Abondance  : Information : Abondance - Forums Abondance - Boutique Abondance - Livre Référencement - DVD formation Référencement - Les Universités du Référencement Outils : Outiref - Spider Simulator Divers / Jeux : Googlefight - Googland - Grifil.com Moteurs de recherche : Mozbot.fr - Koogel - Grifil.net
Bienvenue  |  Pourquoi Abondance ?  |  Olivier Andrieu  |  Contact  |  Crédits  |  Rédacteurs  | Site hébergé par GPL Service  |  Publicité sur le site  |  Plan du site