EN Newsletter

L'IA au travail

Être cité par les assistants IA : ce que les plateformes documentent vraiment

Presque tout ce qui s'écrit sur le fait d'être cité par les assistants IA relève de la supposition. Ce n'est pas nécessaire : Google, OpenAI, Anthropic et Perplexity publient tous une documentation sur le fonctionnement de leurs robots et sur ce que vous contrôlez. Lue ensemble, elle dit quelque chose de plus simple que ce que le secteur laisse entendre, et elle contredit frontalement un conseil très répandu.

Trois portes différentes, pas une

La première chose que la documentation rend évidente, c'est que « robot d'IA » ne désigne pas une seule chose. Il y a trois usages distincts, contrôlés séparément :

  1. L'entraînement : collecter des contenus susceptibles de servir à entraîner des modèles.
  2. La recherche : indexer vos pages pour qu'elles puissent être citées et liées dans les réponses de recherche de l'assistant.
  3. La récupération déclenchée par un utilisateur : visiter votre page maintenant, parce que quelqu'un a posé une question.

OpenAI en tire la conséquence explicitement : chaque réglage est indépendant, de sorte qu'un site peut autoriser OAI-SearchBot pour apparaître dans les résultats de recherche tout en interdisant GPTBot pour signaler que son contenu ne doit pas servir à l'entraînement. Elle ajoute que les sites qui se retirent d'OAI-SearchBot n'apparaîtront pas dans les réponses de recherche de ChatGPT, même s'ils peuvent encore figurer comme liens de navigation, et qu'il faut compter environ 24 heures après une modification du robots.txt pour que ses systèmes s'ajustent.

Anthropic découpe de la même façon : ClaudeBot pour les contenus susceptibles de contribuer à l'entraînement, Claude-SearchBot qui analyse les contenus pour améliorer la qualité des résultats de recherche, et Claude-User pour les sites consultés quand un utilisateur pose une question à Claude. Sa documentation précise le coût de chaque blocage : désactiver Claude-User empêche la récupération de votre contenu en réponse à une question d'utilisateur, ce qui peut réduire votre visibilité dans la recherche web déclenchée par les utilisateurs ; désactiver Claude-SearchBot empêche l'indexation pour la recherche, ce qui peut réduire votre visibilité et l'exactitude des réponses.

Perplexity fait la même distinction. PerplexityBot sert à faire apparaître et à lier des sites dans ses résultats de recherche et n'est pas utilisé pour collecter des contenus destinés aux modèles de fondation ; elle recommande de l'autoriser dans le robots.txt et d'accepter les requêtes venant de ses plages d'adresses IP publiées. Perplexity-User accompagne les actions des utilisateurs, et sa documentation note que, la récupération étant demandée par un utilisateur, ce récupérateur ignore généralement les règles du robots.txt.

Le premier audit ne porte donc pas du tout sur le contenu. Il consiste à lire votre propre robots.txt et à décider, délibérément, lesquels de ces huit agents environ vous autorisez.

Capture à venir après notre test en main
Un robots.txt audité agent par agent. Capture à venir avec nos tests en main.

Ce que Google dit qu'il faut, et ce qu'il dit qu'il ne faut pas

La page de Google sur les fonctionnalités d'IA et votre site est le document le plus utile du domaine, surtout par ce qu'il refuse de promettre.

Sa position : les bonnes pratiques de SEO existantes restent valables pour les Aperçus IA et le Mode IA, et aucune exigence supplémentaire ni optimisation spéciale ne sont requises pour y apparaître. Techniquement, pour s'afficher comme lien de soutien, une page doit être indexée et affichable dans la recherche Google avec un extrait, et respecter les exigences techniques de la recherche. Il n'y a aucune exigence technique supplémentaire.

Puis la phrase qui contredit une bonne part des conseils actuels : vous n'avez pas besoin de créer de fichiers lisibles par un ordinateur, de fichiers textuels d'IA ni de balisage pour apparaître dans ces fonctionnalités, et vous n'avez pas besoin d'ajouter de données structurées schema.org particulières.

Ce qu'elle liste comme bonnes pratiques est peu spectaculaire et surtout technique :

  • s'assurer que l'exploration est autorisée dans le robots.txt et par toute infrastructure CDN ou d'hébergement ;
  • rendre le contenu facilement accessible par des liens internes ;
  • offrir une bonne expérience de page ;
  • s'assurer que les contenus importants sont disponibles sous forme textuelle ;
  • accompagner le texte d'images et de vidéos de qualité quand c'est pertinent ;
  • s'assurer que les données structurées correspondent au texte visible de la page ;
  • tenir à jour les informations Merchant Center et la fiche d'établissement.

Deux points supplémentaires à connaître. Google décrit une technique de distribution ramifiée de requêtes, où les fonctionnalités d'IA lancent plusieurs recherches associées sur des sous-thèmes et des sources pour construire une réponse : c'est pourquoi un ensemble de liens plus large et plus varié peut apparaître que dans une recherche classique. Et elle indique que les Aperçus IA ne s'affichent que lorsque ses systèmes estiment qu'ils apportent une valeur ajoutée, donc qu'ils ne s'affichent pas souvent.

La cause la plus fréquente n'est pas votre contenu

Notez que la première bonne pratique de Google mentionne l'infrastructure CDN ou d'hébergement, et pas seulement le robots.txt. Perplexity va plus loin et documente comment laisser passer ses robots à travers un pare-feu applicatif, avec une règle Cloudflare combinant des conditions d'agent utilisateur et d'adresse IP, et ses points de publication d'adresses IP.

Autrement dit : les plateformes s'attendent à ce qu'un nombre non négligeable de sites soient invisibles parce qu'un pare-feu, une règle anti-robots ou une couche d'hébergement bloque ces agents sans le dire. C'est bien plus fréquent qu'un problème de contenu, et bien plus rapide à corriger. Vérifiez vos règles de pare-feu et vos journaux de serveur avant de réécrire une seule page.

Une précision utile de la même documentation : Anthropic indique que bloquer des adresses IP n'est pas un moyen fiable de se retirer, parce que cela empêche la lecture de votre robots.txt, et que ses robots prennent en charge la directive non standard Crawl-delay. Si votre souci est la charge serveur et non la visibilité, c'est le bon levier.

Comment le mesurer honnêtement

Google indique que les sites apparaissant dans les fonctionnalités d'IA sont inclus dans le trafic de recherche global de la Search Console, dans le rapport sur les performances, au type de recherche Web, et note que les clics venant de pages de résultats comportant un Aperçu IA sont de meilleure qualité, les utilisateurs étant plus susceptibles de passer plus de temps sur le site.

Pour les autres, ce que la documentation vous donne, ce sont les chaînes d'agent utilisateur et les listes d'adresses IP publiées de chaque robot. Ce qui veut dire que la mesure honnête, ce sont vos propres journaux de serveur : filtrez sur les agents documentés et vous voyez lesquels de ces systèmes récupèrent réellement vos pages, à quelle fréquence, et lesquelles. Aucun tableau de bord tiers n'est nécessaire pour cela, et aucune estimation tierce n'est aussi fiable.

L'audit, en une heure

  1. Ouvrez votre robots.txt et relevez ce qu'il dit de Googlebot, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot et Perplexity-User. Tranchez chaque cas volontairement.
  2. Vérifiez que votre pare-feu et votre CDN ne bloquent pas ceux que vous voulez autoriser, à l'aide des plages d'adresses IP publiées.
  3. Vérifiez que vos pages sont indexables et autorisées à afficher un extrait. Google cite nosnippet, data-nosnippet, max-snippet et noindex comme les commandes qui limitent ce qui est affiché : assurez-vous qu'aucune n'est active par accident.
  4. Vérifiez que vos contenus importants sont du texte, et non une image ou un rendu uniquement produit par script.
  5. Vérifiez que vos données structurées correspondent au texte visible : c'est la seule instruction de Google sur les données structurées dans ce cadre.
  6. Lisez vos journaux en filtrant sur les agents documentés, et revenez dans deux semaines.

Ce que personne ne peut vous promettre

Google l'écrit sans détour : même si une page répond à toutes les exigences, bonnes pratiques et règles, cela ne signifie pas qu'il va explorer, indexer ou diffuser son contenu, et l'indexation comme la diffusion ne sont pas garanties. Quiconque vous vend une place garantie dans une réponse d'IA vous vend ce que la plateforme elle-même refuse de promettre.

Nous n'avons mené aucune mesure de taux de citation : ce guide ne contient donc aucun chiffre, aucun classement et aucune affirmation sur ce que telle plateforme cite. Il contient ce que les quatre plateformes documentent, c'est-à-dire plus que l'essentiel de ce qui s'écrit sur le sujet.

Les outils de ce guide

Questions fréquentes

Faut-il un fichier llms.txt pour apparaître dans les réponses des IA ?

Pas pour les fonctionnalités d'IA de Google. Sa documentation indique que vous n'avez pas besoin de créer de fichiers lisibles par un ordinateur, de fichiers textuels d'IA ni de balisage pour apparaître dans les Aperçus IA et le Mode IA, et qu'aucune donnée structurée schema.org particulière n'est nécessaire. D'autres systèmes peuvent utiliser ce type de fichier, mais Google dit clairement ne pas l'exiger.

Quelle différence entre les robots d'une même plateforme ?

Ils servent des usages différents et se contrôlent indépendamment. OpenAI sépare GPTBot, pour l'entraînement des modèles, d'OAI-SearchBot, pour apparaître dans les réponses de recherche de ChatGPT. Anthropic sépare ClaudeBot, pour l'entraînement, de Claude-SearchBot pour la recherche et de Claude-User pour les requêtes déclenchées par un utilisateur.

Si je bloque le robot d'entraînement, est-ce que je disparais des réponses ?

Pas nécessairement, puisque les réglages sont indépendants. La documentation d'OpenAI donne exactement cet exemple : un site peut autoriser OAI-SearchBot pour apparaître dans les résultats de recherche tout en interdisant GPTBot pour signaler que son contenu ne doit pas servir à l'entraînement.

Sources

  1. Google Search Central, Fonctionnalités d'IA et votre site Web
  2. OpenAI, Overview of OpenAI Crawlers (en anglais)
  3. Anthropic, Does Anthropic crawl data from the web, and how can site owners block the crawler? (en anglais)
  4. Perplexity, Perplexity Crawlers (en anglais)