Radiographie IA : ce que les robots des IA voient de votre site

Les robots des IA en 2026

Chaque IA envoie plusieurs robots, et ils n’ont pas le même rôle. Les confondre coûte cher : bloquer « ChatGPT » pour protéger ses contenus peut vous retirer de ses réponses. Voici les 23 robots que vérifie la Radiographie, regroupés par rôle.

Recherche et réponses : à laisser passer pour pouvoir être cité

Moteurs de recherche : ils nourrissent aussi les réponses IA de Google et de Bing

Entraînement des modèles : un choix d’entreprise

Tableau vérifié le 7 octobre 2026 dans la documentation de chaque opérateur : OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta, Mistral AI, Amazon, DuckDuckGo et Common Crawl. Bytespider n’a pas de page officielle à jour : il est classé ici comme dans le robots.txt géré par Cloudflare.

GPTBot ou OAI-SearchBot : lequel bloquer ?

Trois robots d’OpenAI comptent ici (un quatrième, OAI-AdsBot, ne visite que les pages de ses annonces). GPTBot collecte des textes pour entraîner les futurs modèles. OAI-SearchBot alimente la recherche de ChatGPT : selon OpenAI, un site qui le refuse n’apparaît plus dans ses réponses de recherche, sauf comme simple lien de navigation. ChatGPT-User, enfin, ouvre une page quand un utilisateur le demande.

OpenAI précise que ces réglages sont indépendants : bloquer GPTBot est un choix d’entreprise, sans effet sur la recherche de ChatGPT, alors que bloquer OAI-SearchBot revient à renoncer à y être cité. Anthropic et Mistral suivent la même logique, avec un robot pour l’entraînement et un autre pour la recherche ; Perplexity indique que ses robots ne servent pas à entraîner de modèles. Ce robots.txt refuse l’entraînement sans toucher aux réponses :

# Recherche et réponses des IA : autorisées
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

# Entraînement des modèles : refusé
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
Disallow: /

Un détail de la norme compte ici : un robot qui a son propre groupe ignore le groupe « User-agent: * ». Recopiez donc dans ces groupes vos exclusions habituelles, comme les pages d’administration ou le panier. Quand elle propose un robots.txt corrigé, la Radiographie le fait pour vous, puis relit le résultat avant de vous le montrer.

Source : IETF, RFC 9309, Robots Exclusion Protocol, septembre 2022.

Ce que les IA lisent sans JavaScript

Un navigateur télécharge votre page, puis exécute ses scripts, qui peuvent ajouter du texte, des menus ou des produits. Les robots de ChatGPT, de Claude et de Perplexity s’arrêtent avant : d’après l’analyse du trafic de ces robots sur le réseau de Vercel, ni les robots d’OpenAI, ni ClaudeBot, ni PerplexityBot n’exécutent JavaScript. Googlebot, lui, l’exécute, mais Google rappelle que tous les robots n’en sont pas capables et conseille le rendu côté serveur.

Source : Vercel, « The rise of the AI crawler », décembre 2024 ; Google Search Central, bases du SEO JavaScript, mars 2026.

La Radiographie compte les mots présents dans le HTML reçu, sans exécuter de script, et repère les coquilles d’application : un conteneur #root ou #app vide, que remplit ensuite JavaScript. Pour comparer vous-même, ouvrez votre page dans Chrome, puis les outils de développement ; tapez Ctrl+Maj+P, lancez « Disable JavaScript » et rechargez. Ce qui disparaît, ces robots ne le voient pas.

Si votre site dépend de JavaScript, la solution est un rendu côté serveur ou un prérendu des pages importantes. C’est souvent un chantier de refonte : je conçois et réalise ces sites avec mon équipe, lisibles par Google et par les IA (création et refonte de site internet).

Cloudflare et les robots des IA

Si votre site passe par Cloudflare, deux réglages peuvent décider à votre place.

• Le robots.txt géré. Cloudflare peut ajouter en tête de votre fichier un bloc qui refuse l’entraînement à GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent, CCBot, Bytespider et Amazonbot, avec une ligne Content-signal. Les robots de recherche n’y sont pas bloqués.
• Le blocage des robots d’IA. Celui-là n’apparaît pas dans robots.txt : Cloudflare refuse la visite elle-même. Il distingue trois comportements, Search (indexation), Agent (visites en temps réel pour un utilisateur) et Training (entraînement), bloqués partout, seulement sur les pages avec publicité, ou pas du tout. Depuis le 15 septembre 2026, les nouveaux domaines bloquent par défaut Training et Agent sur les pages qui affichent de la publicité. Et surtout, les robots à double usage, recherche et entraînement, comme Googlebot, Bingbot et Applebot, sont traités comme Training : bloquer Training les bloque aussi, et Google et Bing ne peuvent plus lire les pages concernées.

Ce second réglage ne se voit pas depuis l’extérieur. La Radiographie donne un indice, jamais une preuve : votre site répond-il autrement à un visiteur qui se présente comme OAI-SearchBot, le robot de recherche de ChatGPT, qu’à un navigateur ? Un pare-feu reconnaît les vrais robots à leurs adresses IP et peut les traiter autrement. Pour le vérifier, trente secondes suffisent :

1. Dans le tableau de bord de Cloudflare, ouvrez votre domaine, puis Security › Settings, filtre « Bot traffic » : lisez « Configure AI bot policies » (Search, Agent, Training). S’il apparaît encore, l’ancien réglage « Block AI bots » a le même effet sur Googlebot.
2. Pour ne pas empêcher les citations : Search et Agent sur « Allow ». Ne mettez pas Training sur « Block » : Googlebot, Bingbot et Applebot seraient bloqués avec lui. Pour refuser l’entraînement, passez par robots.txt (GPTBot, ClaudeBot, Google-Extended…) ou bloquez ces robots un par un dans « AI Crawl Control ».
3. Dans « AI Crawl Control », vérifiez qu’OAI-SearchBot, Claude-SearchBot et PerplexityBot sont sur « Allow ».

Source : Cloudflare, réglage robots.txt, août 2026, Block AI Bots, juillet 2026, et nouvelles options pour le trafic des IA, juillet 2026.

Ces réglages demandent l’accès au compte Cloudflare du site : si vous ne savez pas qui le détient, Les Clés du site montrent qui semble tenir chaque clé de votre site (nom de domaine, DNS, hébergement, e-mails).

llms.txt : utile ou pas ?

Le fichier llms.txt, proposé en septembre 2024 par Jeremy Howard, résume un site en Markdown à l’intention des modèles de langage. Pour Google, la réponse est écrite : son moteur, Aperçus IA compris, n’utilise ni ce fichier ni aucun autre fichier « pour l’IA », et il n’en faut pas pour apparaître dans ses réponses. OpenAI, Anthropic et Perplexity, eux, ne le mentionnent pas dans la documentation de leurs robots.

Mon avis : il ne nuit pas et coûte peu, mais ce n’est pas un levier. La Radiographie le signale quand il existe, sans jamais le compter comme un problème quand il manque.

Source : Google Search Central, optimiser son site pour les fonctions d’IA générative, juillet 2026.

Méthode, limites et données

Robot par robot, la Radiographie montre qui a le droit d’entrer (selon votre robots.txt, le fichier qui dit aux robots ce qu’ils ont le droit de lire), ce qu’il lit vraiment de votre page sans exécuter JavaScript, et le correctif à copier quand quelque chose bloque ; puis vos trois priorités, en clair, et un brief à transmettre à votre prestataire. Je l’ai conçue à Bordeaux pour les PME de toute la France.

Ce que fait l’outil, dans l’ordre :

1. Il vérifie l’adresse : un site web public, en http ou https, jamais une adresse IP ni un réseau privé.
2. Il demande la page deux fois, en suivant trois redirections au plus : en se présentant comme OAI-SearchBot, le robot de recherche de ChatGPT (avec la signature publiée par OpenAI), et comme un navigateur ordinaire. Il relève les faits du HTML brut reçu par le robot déclaré : titre, description, balises robots, balise canonique, titres H1 et H2, données structurées, nombre de mots, scripts.
3. Il reconnaît les pages de contrôle anti-robot (Baleen, DataDome, PerimeterX, Akamai, Cloudflare et d’autres) : une telle page n’est jamais analysée comme la vôtre. Si le robot déclaré est refusé et le navigateur accepté, c’est la page du navigateur qui est analysée, et le résultat le dit.
4. Il lit /robots.txt, /llms.txt et, si besoin, /sitemap.xml.
5. Votre navigateur applique la norme RFC 9309 au robots.txt, pour chaque robot du tableau : règle la plus longue, caractères * et $, repli sur le groupe « * ».
6. Les contrôles sont rangés en quatre axes, sans note globale : chacun est « à corriger », « à vérifier », « conforme », « pour info » ou « non testable ». Les trois priorités viennent des points à corriger, puis à vérifier, puis des réglages invisibles de l’extérieur ; chacune dit qui peut s’en charger : vous en cinq minutes, votre prestataire, ou un chantier.

Ce que la Radiographie ne voit pas :

• Si les IA vous citent. Elle mesure ce qui peut empêcher une citation, pas les citations elles-mêmes.
• Les réglages invisibles de l’extérieur. Le blocage des robots d’IA par Cloudflare ou par un autre pare-feu, le sort réservé aux robots vérifiés, et le réglage de la Search Console « IA générative dans la Recherche » : ouvert à tous les sites depuis le 31 août 2026, il permet d’exclure un site des Aperçus IA, du Mode IA et des fonctions d’IA générative de Discover ; l’inclusion est le réglage par défaut (Paramètres › IA générative dans la Recherche ; aide de la Search Console).
• Tout le site. Elle analyse une page à la fois, la page d’accueil par défaut ; robots.txt, lui, vaut pour tout le site. Pour voir toutes les pages que Google laisse de côté, d’après votre Search Console, utilisez le Tri des pages non indexées.
• La page affichée. Elle ne lance pas de navigateur : elle lit le HTML sans exécuter JavaScript, comme les robots de ChatGPT, de Claude et de Perplexity.
• Les vrais robots. Sa visite « OAI-SearchBot » part du réseau de Cloudflare : un pare-feu qui vérifie les adresses IP des robots peut traiter le vrai OAI-SearchBot autrement. C’est un indice, jamais « ce que voit OpenAI ».
• Les sites qui la refusent. Si votre site refuse ses deux visites, elle le dit et ne conclut rien sur les robots des IA.

La Radiographie voit la technique. Elle ne voit pas si les IA vous citent, ni pourquoi un concurrent passe devant : c’est l’objet de l’Audit express (sur devis), qui teste un panel de recherches de vos clients sur Google et dans les IA. Rouvrir l’accès aux bons robots et décrire clairement votre entreprise, c’est aussi la base du référencement IA (GEO), que je conseille et que je mets en place.

Vos données. L’adresse saisie est envoyée au serveur de yodaz.fr, un Worker Cloudflare : il vérifie le nom de domaine auprès du résolveur DNS public de Cloudflare, lit les pages publiques de ce site et vous renvoie le résultat. Cette adresse n’est ni enregistrée en base, ni journalisée ; le résultat reste 10 minutes dans le cache du réseau de Cloudflare, sous une empreinte de l’adresse et de votre adresse IP (vous seul pouvez le retrouver), puis disparaît. Une empreinte chiffrée de votre adresse IP sert à limiter les abus, et elle est effacée sous 48 heures. Le site analysé voit deux visites venant du réseau de Cloudflare, signées yodaz.fr. Le brief pour votre prestataire est créé dans votre navigateur : rien n’est envoyé. Détails dans la politique de confidentialité.