Robots.txt

Le fichier robots.txt donne des informations aux robots des moteurs de recherche. Il sert à limiter l'indexation pour (entre autre) réduire le nombre de requêtes envoyées au serveur. Deux types de limites sont apportés :

  • interdire à certains moteurs d'indexer le site : avez-vous vraiment besoin d'être indexé par ce moteur de recherche russe ?
  • interdire l'indexation de certaines pages/certains répertoires : vous ne voulez pas que Google indexe votre interface d'administration, n'est-ce pas ?

Il est également possible d'indiquer aux moteurs le chemin pour accéder au sitemap.xml

Les commentaires sont désactivés.

Veuillez utiliser votre nom ou votre pseudo. Tout commentaire ne respectant pas cette règle verra son lien supprimé.