glossaire · relevé le 26 août 2026 · 1 min de lecture
robots.txt
Le fichier robots.txt est un fichier texte placé à la racine d’un site (votresite.fr/robots.txt) qui indique aux robots ce qu’ils ont le droit de visiter. C’est le panneau à l’entrée : tel robot peut entrer partout, tel autre est prié de rester dehors.
Deux choses à savoir avant d’y toucher. D’abord, c’est une convention, pas une barrière : les robots déclarés des grands moteurs la respectent, mais rien n’y oblige techniquement, et les fetchers utilisateur l’ignorent par conception. Ensuite, interdire n’est pas anodin : bloquer un bot de recherche IA revient à demander à ne plus être cité.
Le piège courant : le robots.txt hérité. Beaucoup de fichiers ont été écrits il y a des années, puis complétés à la hâte quand les bots IA sont apparus. Résultat fréquent : des règles qui bloquent l’entraînement ET la recherche sans que personne l’ait décidé, ou des noms de bots obsolètes qui ne bloquent plus rien.
Dans Citence : le robots.txt de votre site est relu à chaque fenêtre de mesure. Nous vérifions bot par bot (14 tokens à jour) qui peut entrer, nous distinguons ce qui relève d’un choix (entraînement) de ce qui coûte des citations (recherche), et nous gardons l’historique de chaque changement.
Voir aussi : crawler IA, indexation, snippet (extrait) et nosnippet.
sources
- Docs officielles OpenAI, Anthropic, Perplexity, Google sur le respect de robots.txt par leurs bots (2025-2026)
voir aussi
Crawler IA (et fetchers utilisateur)IndexationSnippet (extrait) et nosnippet
Ce texte est librement réutilisable sous licence CC BY 4.0, en citant Citence.