Ne pas apparaître dans les résultats de recherche

25 avril 2003,
par Romy Têtue

Mots-clefs associés à cet article :

On trouve facilement des conseils pour bien référencer son site, mais rarement l’inverse. Comment ne pas apparaître dans les moteurs de recherche ?

Exclure certaines pages :
avec la meta name="robots"

Tout le contenu de votre site n’est pas forcément intéressant. Vous clarifierez avantageusement votre référencement en ne laissant pas les pages annexes (formulaire de contact, plan du site, liens utiles, etc.) remonter dans les résultats des moteurs de recherche. Comment contrôler cela ?

Une ligne de commande permet de cacher certaines de vos pages des moteurs de recherche : le Meta-Tag robots, qui s’adresse aux robots des moteurs de recherche, permet de leur signaler les pages à indexer ou à ignorer.

Voici la commande à insérer dans le head (entre les balises <head> et </head>) de chaque page que vous souhaitez cacher à l’indexation :

<meta name="robots" content="none">

N’oubliez pas de supprimer les autres Meta-Tags (description, keywords, revisit-after, etc.) qui deviennent alors inutiles sur cette page.

Cacher l’intégralité du site :
avec le fichier robots.txt

Vous avez fait un site perso parce que souhaitez, par exemple, partager facilement vos photos avec votre famille et vos amis et amies proches… mais pas avec vos collègues qui risquent de découvrir ce site dans n’importe quel moteur de recherche ! Comment cacher tout un site ? En ajoutant un meta-tag « robots » sur chaque page, certes. Au risque d’en oublier une… Il y a plus efficace.

Le fichier robots.txt est un fichier texte contenant des commandes à destination des robots d’indexation (spiders) des moteurs de recherche afin de leur préciser les pages à indexer, ou à exclure de l’indexation. Ainsi tout moteur de recherche commence l’exploration d’un site web en cherchant le fichier robots.txt à la racine du site.

Créez un fichier texte intitulé robots.txt (en minuscules et au pluriel) qui contient :

User-agent: *
Disallow: /

et déposez-le par FTP sur le serveur, à la racine de votre site.

Le tour est joué : votre site ne sera plus indexé et n’apparaîtra plus dans les résultats de recherche. Il ne sera connu et visité QUE par les personnes qui en connaissent l’adresse URL.

Sauf, sauf, sauf… si un lien a été établi vers celui-ci, amenant malgré tout d’autres internautes. En effet, si vous n’avez pas placé de fichier robots.txt fonctionnel dès la première publication de votre site, celui-ci a pu être visité et linké. Faites alors supprimer tout lien vers votre site : il suffit souvent d’envoyer la demande par courriel aux responsables des sites en question.

{#TITRE,#URL_ARTICLE,#INTRODUCTION}

Vos commentaires

Répondre à cet article

forum message

Raccourcis : {{gras}} {italique} -liste [bla->url] <q> <quote> <code>.

Qui êtes-vous ? (optionnel)

Suivre les commentaires : RSS 2.0 | Atom