Les moteurs de recherche type google utilisent plusieurs techniques d'indexation de nos sites, dont les robots, qui balayent le web, commençant par une page au hasard, puis suivant tous les liens qui y figurent. Or on peut souhaiter ne pas se voir sortir en tête d'une recherche google, ou garder un minimum d'intimité, sans pour autant faire de pages sécurisées avec code d'accès.
Il existe un moyen assez simple de se débarrasser de ces sales bêtes indiscrètes. Il suffit de placer un fichier "robots.txt" dans lequel on donnera les indications nécessaires. En effet, ce bête fichier peut comporter plein d'infos, ainsi, n'interdire que certaines pages, si vous ne voulez pas que les photos de belle maman soient attrapées au vol, ou n'interdire que certains robots si vous voulez bien de google mais pas de yahoo

Ce fichier devra être placé à la racine du site (exemple pour un site comme celui-ci, hébergé en 1000gp chez OVH, ce sera directement dans le répertoire "www"). Les robots passeront donc forcément à un moment ou un autre, mais ne prendront que ce fichier et se conformeront aux indications.

Le fichier est composé de deux termes clé :
User-agent, qui va définir quels programmes seront interdits à indexer les pages
Disallow, où l'on spécifie les répertoires interdits.

Exemples :
Pour une interdiction de tous les robots sur tout le site
User-Agent : *
Disallow : /

Attention à ne pas laisser de lignes vides en dessous

Pour une interdiction partielle
User-Agent : googlebot
Disallow : /Photos/

Ici, vous interdisez le passage de google, tous les autres ayant accès, excepté au répertoire Photos, qui ne sera pas indexé

Il reste à enregistrer ce fichier en le nommant robots.txt et à le mettre en place.
Dernière précision, si vous souhaitez mettre du texte "pour information" dans ce fichier (pour préciser à quel site il se réfère, ou n'importe quoi qui vous passe par la tête, il suffit de faire précéder le texte d'un #

Exemple :

# robots.txt pour jathenais.info
User-Agent : *
Disallow : /