Comment évaluer un outil d’IA qu’on vous recommande

Prenons une entreprise fictive qui reçoit les demandes de soutien informatique de ses employés dans une boîte de courriel partagée. Un assistant IA doit lire chaque message et l’acheminer à la bonne personne. Un employé écrit : « J’ai besoin d’un nouveau logiciel. »

L’employé peut vouloir acheter une application, obtenir une licence que l’entreprise possède déjà ou faire fonctionner un logiciel qui ne démarre plus. Ces demandes relèvent de personnes différentes. Une démonstration utile montre comment l’assistant clarifie le besoin et transmet au destinataire les renseignements nécessaires pour agir. Classer rapidement le message ne garantit pas que le problème de l’employé sera résolu.

Commencer par une demande que l’équipe connaît

Choisissez une demande récente et reconstituez son traitement avec les personnes concernées. Notez ce que l’employé cherchait à obtenir, les renseignements nécessaires et le temps consacré aux différentes étapes. Servez-vous de ce cas pour évaluer la solution proposée, après avoir retiré les renseignements confidentiels de la démonstration.

Si les messages attendent plusieurs jours parce que personne ne consulte la boîte de courriel, mieux interpréter leur contenu ne suffira pas à réduire ce délai. L’entreprise doit aussi décider qui reçoit les demandes et à quel moment cette personne les prend en charge.

La recommandation d’Anthropic de commencer par une solution simple suggère une question concrète à poser au fournisseur : à quelle difficulté observée la solution proposée répond-elle? Un formulaire peut convenir à des demandes prévisibles. L’IA peut aider à interpréter des messages plus variés. Le fournisseur doit pouvoir justifier son choix en fonction du travail à accomplir.

Demander une explication quand l’assistant se trompe

Supposons que l’assistant envoie une demande d’achat au soutien technique. Avant de changer d’outil, examinez les renseignements qu’il a reçus et la règle qu’il devait appliquer.

Ce que vous observez	Ce qu’il faut examiner
Le message ne permet pas de distinguer un achat d’une réparation.	Déterminer la question que l’assistant doit poser à l’employé.
Deux responsables donnent des consignes contradictoires.	Clarifier qui traite la demande et dans quelles conditions.
La règle existe, mais l’assistant ne peut pas la consulter.	Vérifier comment l’application lui fournit ce renseignement.
L’assistant dispose de la règle et des renseignements nécessaires, mais envoie toujours la demande à la mauvaise personne.	Comparer les consignes et les outils à partir des mêmes demandes.

Ces vérifications exigent de comprendre le travail de l’entreprise autant que le fonctionnement du logiciel. L’expertise consiste notamment à trouver la cause d’une erreur, puis à vérifier que la correction améliore aussi le traitement d’autres demandes comparables.

Gardez quelques cas difficiles pour les prochains essais. Les travaux d’Anthropic sur l’évaluation recommandent de définir les tâches et les critères de réussite. Pour cette entreprise, une demande bien traitée arrive à une personne capable d’agir, avec les renseignements dont elle a besoin.

Évaluer la proposition sans formation technique

Vous pouvez demander ces explications même si vous ne programmez pas. Le fournisseur doit pouvoir montrer ce que l’utilisateur fera, ce que le système vérifiera et ce qui se passera lorsqu’un renseignement manquera.

Demandez aussi qui assurera l’entretien de la solution et quelles modifications nécessiteront un développeur. Vous pourrez ainsi évaluer le coût d’achat en tenant compte du travail à prévoir après la mise en service. Même si l’outil se prête bien à une démonstration, il peut nécessiter des connexions à vos applications et des règles propres à votre entreprise.

En mentorat pour fondateurs, ces questions vous aident à examiner les options et à préparer votre décision. Vous ou votre développeur réalisez ensuite la solution. Une analyse approfondie du code ou le développement du système relèvent d’un mandat distinct.

Conserver des cas pour comparer les outils

Après un essai, conservez les exemples de demandes envoyées au mauvais destinataire, les renseignements manquants et les corrections apportées. Notez aussi le temps que les employés passent à reprendre le travail de l’assistant.

Lorsqu’un autre outil vous est proposé, testez-le à partir des mêmes situations. Vous pourrez déterminer ce qu’il améliore, quelles difficultés subsistent et quel travail de préparation il exige. Cet ensemble de cas reste utile même si l’équipe change de plateforme.