Crawler IA (et fetchers utilisateur)

1. Bots d’entraînement (GPTBot, ClaudeBot, Google-Extended) : ils collectent du contenu pour entraîner les futurs modèles. Les bloquer est un choix éditorial légitime.
2. Bots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) : ils alimentent les réponses citées. Les bloquer, c’est se retirer soi-même des réponses.
3. Fetchers utilisateur (ChatGPT-User, Perplexity-User, Gemini Notebook chez Google) : ils vont chercher une page précise à la demande d’un utilisateur, en direct. Par conception, ils ignorent robots.txt (c’est documenté par les moteurs eux-mêmes). Exception : Claude-User, le fetcher d’Anthropic, le respecte. Le bloquer coupe vraiment ses lectures.

Le piège courant : bloquer « les bots IA » en bloc dans robots.txt. Beaucoup de sites qui voulaient protéger leur contenu de l’entraînement ont aussi fermé la porte aux bots de recherche, et disparu des réponses sans le savoir.

Deuxième fait mesuré : aucun crawler IA ne rend le JavaScript (données d’infrastructure Vercel + MERJ, déc. 2024, confirmées depuis). Un site dont le contenu n’apparaît qu’après exécution du JS est illisible pour ChatGPT ou Perplexity. Seul Googlebot rend le JS, donc les réponses IA de Google font exception.

Dans Citence : nous vérifions l’accès de 15 bots déclarés (Googlebot compris, qui nourrit les réponses IA de Google), en distinguant entraînement et recherche, et nous testons la lisibilité de vos pages sans JavaScript.

Voir aussi : robots.txt, moteur de réponse, citation IA, indexation.