Robots.txt

Le fichier robots.txt donne des informations aux robots des moteurs de recherche. Il sert à limiter l’indexation pour (entre autre) réduire le nombre de requêtes envoyées au serveur. Deux types de limites sont apportés :

  • interdire à certains moteurs d’indexer le site : avez-vous vraiment besoin d’être indexé par ce moteur de recherche russe ?
  • interdire l’indexation de certaines pages/certains répertoires : vous ne voulez pas que Google indexe votre interface d’administration, n’est-ce pas ?

Il est également possible d’indiquer aux moteurs le chemin pour accéder au sitemap.xml