Votre site est-il accessible aux moteurs de recherche et aux assistants IA?

Votre entreprise publie une page qui décrit son principal service. Vous pouvez la consulter dans votre navigateur, mais elle n’apparaît pas dans les réponses d’un assistant IA. Plusieurs explications sont possibles : le service de recherche n’arrive pas à la lire, il a choisi d’autres sources ou la page ne répond pas assez bien à la question posée.

La vérification technique porte sur la première de ces possibilités. Avant d’engager une refonte du site, demandez quel obstacle a été constaté et sur quelle page.

Ce qu’un robot vient faire sur votre site

Un robot de recherche est un programme qui consulte des pages Web. Il peut en recueillir le texte pour qu’un moteur de recherche retrouve ensuite l’information. D’autres programmes ouvrent une page à la demande d’un utilisateur. D’autres encore collectent du contenu susceptible de servir à l’entraînement de modèles d’IA.

Les réglages varient selon l’usage. Vouloir que votre site apparaisse dans les résultats de recherche ne signifie pas nécessairement que vous acceptez l’utilisation de son contenu pour entraîner des modèles. Le propriétaire du site décide des usages qu’il autorise, puis la personne responsable du site vérifie comment appliquer ces choix à chaque service.

Le fichier robots.txt donne des consignes aux robots. Leur application dépend du programme concerné : une même règle ne couvre pas nécessairement tous les assistants ni toutes leurs fonctions.

Faire vérifier une page précise

Choisissez la page qui présente votre principal service. Transmettez son adresse à la personne responsable du site et précisez le moteur de recherche ou l’assistant dont vous souhaitez vérifier l’accès.

Cette personne doit d’abord confirmer que le programme peut accéder à la page. Un dispositif de protection du site peut bloquer sa requête, exiger une connexion à un compte ou afficher une vérification destinée à un humain. Une redirection peut aussi le mener à une autre page. Le compte rendu doit montrer la réponse reçue par le programme.

Il faut ensuite vérifier que le programme peut lire le contenu essentiel : le service proposé, la clientèle visée et les conditions. Certains sites ajoutent du contenu après le chargement initial de la page, à l’aide de JavaScript, un langage exécuté dans le navigateur. Google peut traiter ce contenu sous certaines conditions, notamment s’il peut y accéder. Il ne faut pas supposer que tous les autres robots ont la même capacité. Guide de Google sur JavaScript

Enfin, il faut relever les règles qui autorisent ou empêchent l’utilisation de la page dans les résultats de recherche. La visite d’un robot ne prouve pas que la page est ensuite apparue dans une réponse.

Les points à vérifier pour Google

Pour apparaître dans les résumés et les réponses générés par l’IA de Google Search, une page doit être indexée, c’est-à-dire enregistrée dans le système de recherche. Elle doit aussi pouvoir être affichée avec un extrait de texte. Google exige également que le paramètre d’inclusion dans les fonctionnalités d’IA générative, dans Search Console, autorise l’utilisation du site. Remplir ces conditions rend l’affichage possible, sans le garantir. Guide officiel de Google

Search Console est l’outil de Google qui permet aux propriétaires de vérifier la présence de leur site dans les résultats de recherche. Demandez une inspection de l’adresse exacte de votre page. Une recherche avec l’opérateur site: ne donne pas un inventaire complet des pages indexées. Limites documentées par Google

Des instructions comme noindex et nosnippet peuvent aussi expliquer l’absence d’une page ou de son contenu. La première demande d’exclure la page des résultats de recherche. La seconde interdit l’affichage d’extraits et l’utilisation directe du contenu dans les réponses générées par l’IA auxquelles cette règle s’applique. Google doit pouvoir lire la page pour prendre connaissance de ces instructions. Documentation des règles de page

Si un fournisseur propose d’ajouter un fichier llms.txt ou du code « spécial IA », demandez quel problème cet ajout résout. Google indique que ce fichier n’améliore pas la visibilité dans Google Search et qu’aucun balisage particulier n’est requis. Toute modification proposée doit donc répondre à un besoin vérifiable pour le service visé. Guide officiel

Les noms techniques à transmettre à la personne responsable du site

Vous n’avez pas à modifier ces réglages vous-même. Le tableau vous aide à distinguer les fonctions de recherche et d’entraînement lorsque vous discutez des accès à autoriser.

Fournisseur	Différence documentée
OpenAI	OAI-SearchBot est utilisé pour la recherche; GPTBot peut collecter du contenu pour l’entraînement. Leurs réglages sont distincts. ChatGPT-User effectue certaines consultations à la demande d’un utilisateur; les consignes de robots.txt ne s’appliquent pas nécessairement dans ce cas.
Anthropic	Claude-SearchBot est utilisé pour la recherche, ClaudeBot pour la collecte de contenu destiné à l’entraînement et Claude-User pour les consultations à la demande d’un utilisateur. Anthropic indique que ces robots respectent robots.txt.
Perplexity	PerplexityBot est utilisé pour la recherche, pas pour l’entraînement de modèles de fondation. Perplexity-User consulte des pages à la demande de l’utilisateur et ignore généralement robots.txt.
Google	Googlebot est utilisé pour la recherche. Google-Extended règle l’utilisation du contenu pour l’entraînement de Gemini et, dans certains cas, comme source pour les réponses de Gemini et de Vertex AI. Ce réglage ne détermine pas l’inclusion dans Google Search et ne correspond pas à un programme de consultation distinct.

Un programme peut se présenter sous le nom d’un autre. Pour reconnaître Googlebot, la personne responsable du site doit suivre les méthodes de vérification documentées. Le nom déclaré ne suffit pas à autoriser l’accès. Vérifier Googlebot

Formuler une demande de vérification précise

Voici un exemple à adapter au service choisi :

Vérifiez si Google peut lire la page qui présente notre service, à cette adresse, et si elle remplit les conditions pour apparaître dans les résumés et les réponses générés par son IA. Montrez le texte reçu par Google, les blocages éventuels et les réglages concernés dans Search Console. Si une correction est nécessaire, expliquez le problème et conservez les résultats de la vérification avant et après l’intervention.

Si la page est déjà accessible, vous avez écarté une cause possible. Vous pouvez alors examiner si son contenu explique bien votre service au client. Une correction technique réussie et une apparition dans une réponse générée par l’IA restent deux résultats distincts, à observer séparément.

Voir les dix articles sur la présence de votre entreprise dans les réponses IA