Au sommaire : Entraînement et réponse : deux usages de vos pages · Ce que dit la ligne commune du 30 octobre 2026 · Moteur par moteur : ce que coupe chaque réglage · La méthode : relire son robots.txt en six étapes · Trois erreurs qui sortent une marque des réponses · FAQ
Le 30 octobre 2026, Google, Microsoft, OpenAI et Anthropic ont annoncé qu'ils honoreront une même ligne de robots.txt pour refuser l'entraînement. Des équipes marketing vont la poser pour protéger leurs contenus. C'est un choix légitime, à condition de savoir ce qu'elle coupe. Ce guide fait le tri moteur par moteur, puis donne une méthode pour relire votre robots.txt en vingt minutes.
Entraînement et réponse : deux usages de vos pages
L'entraînement modifie un futur modèle, la réponse puise dans vos pages au moment où un client pose sa question : ce sont deux usages distincts, et ils se règlent séparément.
L'entraînement
Vos pages servent à modifier les paramètres d'un modèle. C'est la définition retenue par le vocabulaire de l'IETF : utiliser un contenu « to modify the learned parameters of a generative AI model ». Un refus d'entraînement agit sur les collectes à venir.
La réponse, ou grounding
Un assistant va chercher vos pages en direct pour construire sa réponse et la sourcer. C'est là que se joue la recommandation d'un produit. Bing appelle cet usage « grounding ».
Une marque qui veut être recommandée a besoin du second. Le premier relève d'un choix de principe sur ses contenus.
Ce que dit la ligne commune du 30 octobre 2026
La nouvelle ligne de robots.txt exprime un refus d'entraînement, et rien d'autre.
Elle vient d'un draft IETF individuel, draft-kelley-aipref-training-preference-signal-00, publié le 30 octobre 2026 par Kevin Kelley. Ce n'est pas encore un standard. La syntaxe :
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Deux précisions du draft comptent en pratique. Un groupe User-Agent: * ne vaut pas pour ce jeton : votre règle générale n'exprime aucune préférence d'entraînement. Et un fichier sans ce groupe n'exprime aucune préférence du tout.
Calendrier annoncé :
- Anthropic dit avoir commencé l'implémentation, sans date de fin.
- Bing appliquera les préférences à partir du 1er février 2027.
- Google indique dans sa documentation viser début 2027.
- OpenAI parle des « prochains mois ».
Moteur par moteur : ce que coupe chaque réglage
Chez OpenAI, Anthropic et Bing, refuser l'entraînement laisse intacts les réglages qui alimentent les réponses ; chez Google, non.
OpenAI
OpenAI documente trois robots. GPTBot sert à l'entraînement : le bloquer indique que le contenu ne doit pas entraîner ses modèles. OAI-SearchBot sert à faire apparaître les sites dans la recherche de ChatGPT : un site qui le bloque n'est plus montré dans les réponses de recherche, même s'il peut encore apparaître comme simple lien de navigation. ChatGPT-User visite une page quand un utilisateur le demande, et OpenAI précise que robots.txt peut alors ne pas s'appliquer.
OpenAI écrit que chaque réglage est indépendant des autres. Son propre exemple : autoriser OAI-SearchBot pour apparaître dans les résultats, tout en bloquant GPTBot. Comptez environ 24 heures pour qu'une modification soit prise en compte côté recherche.
Anthropic
ClaudeBot collecte pour l'entraînement. Claude-SearchBot indexe pour la recherche. Claude-User récupère une page à la demande d'un utilisateur. Anthropic écrit que bloquer Claude-SearchBot ou Claude-User peut réduire la visibilité du site dans les réponses de recherche.
Bing et Copilot
Bing sépare proprement les deux usages. L'entraînement se refuse pour tout le site avec la ligne commune, ou page par page. Le grounding se règle uniquement page par page, avec <meta name="Bingbot" content="ai-grounding:disallow">. Les deux sont autorisés par défaut, et Bing précise que ces préférences ne changent pas l'éligibilité aux résultats classiques.
La documentation de Google indique que Google-Extended gouverne à la fois l'entraînement des futurs modèles Gemini et le grounding dans Gemini Apps et Vertex AI. Il n'existe pas de réglage « réponses seulement ». Google-Extended n'a en revanche aucun effet sur l'inclusion dans Google Search, ni sur le classement.
Dans son annonce du 30 octobre, Google explique qu'un site qui pose la ligne commune sans régler Google-Extended sera traité comme s'il avait refusé Google-Extended. Un site qui autorise explicitement Google-Extended reste éligible aux réponses de Gemini Apps.
Conséquence : chez Google, refuser l'entraînement revient à sortir des réponses de Gemini Apps. Pour y rester, il faut autoriser Google-Extended, donc accepter l'entraînement.
La méthode : relire son robots.txt en six étapes
Vingt minutes suffisent pour savoir si votre marque s'est retirée d'un assistant sans le vouloir.
- Ouvrez votre fichier. Tapez
votresite.fr/robots.txtdans un navigateur. Faites de même sur chaque sous-domaine qui porte des pages produit. - Listez les groupes User-agent. Repérez GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Bingbot,
__usage_ai-traininget*. - Classez chaque ligne. Entraînement : GPTBot, ClaudeBot,
__usage_ai-training. Réponses : OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, Bingbot. Les deux à la fois : Google-Extended. - Décidez par usage. Chez OpenAI, Anthropic et Bing, vous pouvez refuser l'entraînement et rester dans les réponses. Chez Google, tranchez explicitement : Gemini Apps avec l'entraînement, ou ni l'un ni l'autre.
- Contrôlez les couches au-dessus. Un pare-feu ou un CDN peut bloquer un robot que votre robots.txt autorise. Demandez à la personne qui gère l'hébergement quels robots IA sont filtrés.
- Notez la date et refaites le contrôle. Après chaque refonte, changement d'hébergeur ou de prestataire. Un robots.txt peut être réécrit sans que le marketing en soit informé.
Trois erreurs qui sortent une marque des réponses
L'erreur de fond consiste à bloquer « les robots IA » en bloc, sans distinguer ceux qui entraînent de ceux qui répondent.
- Le blocage en bloc. Une liste copiée d'un article ancien qui bloque OAI-SearchBot ou Claude-SearchBot en même temps que GPTBot. La marque sort des réponses de recherche alors qu'elle voulait seulement refuser l'entraînement.
- La ligne commune posée sans regarder Google. Quand Google l'appliquera, elle retirera le site de Gemini Apps. Si ce n'est pas voulu, ajoutez un groupe Google-Extended explicite.
- NoArchive et NoCache chez Bing. Des sites s'en servaient pour rester hors de Copilot. Bing cessera de les lire comme une préférence le 1er mars 2027. Il faudra passer au réglage
ai-grounding, page par page, avant cette date.
FAQ
Bloquer GPTBot me retire-t-il des réponses de ChatGPT ?
Non. GPTBot sert à l'entraînement des modèles d'OpenAI. La recherche de ChatGPT dépend d'OAI-SearchBot, qui se règle à part : OpenAI écrit que chaque réglage est indépendant. C'est le blocage d'OAI-SearchBot qui retire un site des réponses de recherche. Vous pouvez donc refuser l'entraînement et rester éligible, à condition de laisser OAI-SearchBot passer.
La ligne __usage_ai-training est-elle déjà appliquée ?
Pas partout. Anthropic dit avoir commencé à l'implémenter, sans date de fin. Bing l'appliquera à partir du 1er février 2027, Google vise début 2027 et OpenAI parle des prochains mois. Le texte reste un draft IETF individuel, sans statut de standard. La poser aujourd'hui exprime une préférence qui prendra effet moteur par moteur.
Refuser l'entraînement efface-t-il ce qui a déjà été collecté ?
Rien ne l'indique. Le draft rattache la préférence au robots.txt en vigueur au moment où la page est récupérée, et ne traite pas des contenus collectés avant. Un modèle déjà entraîné garde ce qu'il a appris. Le refus porte sur les collectes futures, donc sur les modèles suivants.
Google-Extended a-t-il un effet sur les AI Overviews ?
La documentation de Google dit que Google-Extended n'a aucun effet sur l'inclusion d'un site dans Google Search ni sur son classement. Elle ne mentionne pas les AI Overviews, qui font partie de Search et dépendent de Googlebot. Google-Extended concerne l'entraînement de Gemini et les réponses de Gemini Apps et de Vertex AI.
Mon prestataire peut-il avoir bloqué des robots sans me prévenir ?
C'est possible. Un robots.txt se modifie lors d'une refonte, d'une migration ou d'un réglage de sécurité, souvent par un prestataire technique. Un pare-feu peut aussi filtrer des robots sans toucher au fichier. Le moyen de savoir est de relire le fichier vous-même et de demander la liste des robots filtrés côté hébergement.
Sources
- IETF,
draft-kelley-aipref-training-preference-signal-00, 30/10/2026 : https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/ - Annonce du draft sur la liste ai-control, 30/10/2026 : https://mailarchive.ietf.org/arch/msg/ai-control/mddjatOxSR0h6GmLRBWlc839c7w
- Google, documentation des robots d'exploration, section Google-Extended, mise à jour le 30/10/2026 : https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google Search Central, « Supporting a shared AI training control for websites », 30/10/2026 : https://developers.google.com/search/blog/2026/10/ai-training-control
- Bing, « Your content, your choice: clearer preferences for training and grounding », 30/10/2026 : https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/
- OpenAI, « Overview of OpenAI Crawlers » : https://developers.openai.com/api/docs/bots
- Anthropic, robots d'exploration et blocage : https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
Savoir ce que dit votre robots.txt est une chose. Savoir si ChatGPT, Google IA, Claude, Gemini, Perplexity et Mistral recommandent votre marque sur vos questions d'achat en est une autre : c'est ce que Cited mesure chaque mois.