Ne pas apparaître dans les résultats de recherche

25 avril 2003,
par Romy Têtue

Mots-clefs associés à cet article :

On trouve facilement des conseils pour bien référencer son site, mais rarement l’inverse. Comment ne pas apparaître dans les moteurs de recherche ?

Exclure certaines pages : avec la meta name="robots"

Tout le contenu de votre site n’est pas forcément intéressant. Vous clarifirez avantageusement votre référencement en ne laissant pas les pages annexes (formulaire de contact, annuaire de liens, plan du site, etc.) apparaître dans les résultats des moteurs de recherche. Comment contrôler cela ?

Une ligne de commande permet de cacher certaines de vos pages des moteurs de recherche : le Meta-Tag "robots", qui s’adresse aux robots des moteurs de recherche, permet de leur signaler les pages à indexer ou à ignorer.

Voici la commande à insérer dans le head (entre les balises <head> et </head>) de chaque page que vous souhaitez cacher à l’indexation :

N’oubliez pas de supprimer les autres Meta-Tags (description, keywords, revisit-after, etc.) qui sont alors parfaitement inutiles sur cette page.

Cacher l’intégralité du site : avec le fichier robots.txt

Vous avez fait un site perso parce que souhaitez, par exemple, partager facilement vos photos avec votre famille et vos amis et amies proches... mais pas avec vos collègues qui risquent de découvrir ce site dans n’importe quel moteur de recherche ! Comment cacher tout un site ? En ajoutant un meta-tag « robots » sur chaque page, certes. Au risque d’en oublier une... Il y a plus efficace.

Le fichier robots.txt est un fichier texte contenant des commandes à destination des robots d’indexation (spiders) des moteurs de recherche afin de leur préciser les pages à indexer, ou à exclure de l’indexation. Ainsi tout moteur de recherche commence l’exploration d’un site web en cherchant le fichier robots.txt à la racine du site.

Créez un fichier texte intitulé robots.txt (en minuscules et au pluriel) qui contient :

et placez-le par FTP sur le serveur, à la racine de votre site.

Le tour est joué : votre site est littéralement invisible du reste du Web. Il ne sera connu et visité QUE par les les personnes auxquelles vous en communiquerez explicitement l’adresse URL.

Sauf, sauf, sauf... si un lien a été établi vers celui-ci, ammenant malgré tout d’autres internautes. En effet, si vous n’avez pas placé de fichier robots.txt fonctionnel dès la première publication de votre site, celui-ci a pu être visité et linké : faites supprimer tout lien vers votre site. il suffit souvent d’envoyer la demande par courriel aux responsables des sites en question.

Vos commentaires

Répondre à cet article

Qui êtes-vous ?

Pour afficher votre trombine avec votre message, enregistrez-la d’abord sur gravatar.com (gratuit et indolore) et n’oubliez pas d’indiquer votre adresse e-mail ici.

Ajoutez votre commentaire ici
  • Ce formulaire accepte les raccourcis SPIP [->url] {{gras}} {italique} <quote> <code> et le code HTML <q> <del> <ins>. Pour créer des paragraphes, laissez simplement des lignes vides.

Suivre les commentaires : RSS 2.0 | Atom