Assistant IA : vérifier que l’action demandée a bien été effectuée

Le client veut recevoir son colis à une autre adresse. Il ne connaît pas les applications utilisées par le service des ventes et l’entrepôt. Lorsqu’il lit « Votre adresse de livraison a été modifiée », il s’attend à recevoir la commande en cours à la nouvelle adresse.

Or, modifier sa fiche client peut ne changer l’adresse que pour les prochaines commandes. Si l’entrepôt a déjà imprimé l’étiquette du colis, un employé ou un autre système doit aussi la remplacer. Il faut inclure cette étape dans l’essai pour vérifier si le changement promis au client a réellement eu lieu.

Définir ce que signifie « adresse modifiée »

Avant la démonstration, demandez à l’équipe de décrire ce qui doit se passer pour que le changement soit effectué. Pour la commande en cours, la nouvelle adresse doit être enregistrée dans l’application utilisée à l’entrepôt pour préparer l’expédition. Si un employé doit remplacer l’étiquette, la demande reste en attente jusqu’à ce qu’il confirme l’avoir fait.

L’assistant doit expliquer clairement où en est la demande : « Votre demande a été transmise à l’entrepôt. Nous devons encore vérifier si l’étiquette du colis peut être remplacée. » Le client comprend ainsi que le changement n’est pas encore confirmé.

Les travaux d’Anthropic sur l’évaluation des agents distinguent ce que l’assistant affirme avoir fait de ce qui est réellement enregistré dans les autres systèmes. Dans cet exemple, il faut comparer le message envoyé au client, l’adresse associée à la commande et l’étiquette utilisée pour expédier le colis.

Vérifier les conditions au moment du changement

Le logiciel doit vérifier que le client est autorisé à modifier cette commande et que la modification est encore possible. La situation peut évoluer pendant la conversation : un colis en préparation au début de l’échange peut avoir quitté l’entrepôt avant que le client fournisse la nouvelle adresse.

L’IA peut interpréter une demande formulée en langage courant et demander les précisions manquantes. Les applications auxquelles elle est reliée doivent faire respecter les droits d’accès et les règles de modification des commandes. Les recommandations d’Anthropic sur les processus et les agents expliquent comment combiner des étapes définies à l’avance avec l’interprétation d’une demande par un modèle d’IA.

Testez aussi ce qui se passe en cas d’interruption de la connexion. La modification peut avoir été effectuée sans que l’assistant en ait reçu la confirmation. Il doit donc vérifier l’état actuel de la commande avant de répéter l’action ou d’annoncer un échec. Tant que le résultat reste inconnu, son message au client doit le préciser.

Permettre à un employé de reprendre le dossier

Si un employé de l’entrepôt doit intervenir, il lui faut le dossier de la commande, l’adresse demandée et l’historique des actions déjà tentées. Lui transmettre toute la conversation sans résumé utile l’oblige à reconstituer ces renseignements.

Si aucune modification n’a encore été tentée, la note pourrait se lire ainsi :

Le client demande de changer l’adresse de la commande 1042, déjà en préparation. L’adresse souhaitée se trouve dans le dossier. Aucun changement n’a été appliqué. L’entrepôt doit vérifier si l’étiquette peut être remplacée avant le départ. Le client attend notre confirmation.

Le numéro de commande est fictif. Dans l’application, la note doit renvoyer au bon dossier. Si une action a été tentée mais que son résultat reste inconnu, il faut le préciser pour éviter que l’employé la répète sans vérifier.

Désignez aussi l’équipe qui reçoit la demande et la personne qui répond au client. Même un résumé clair peut rester sans suite si personne ne surveille les demandes reçues.

Demander à voir plusieurs cas pendant la démonstration

Testez le cas d’une commande encore modifiable, celui d’un colis déjà expédié et celui d’une demande nécessitant l’intervention du personnel de l’entrepôt. Ajoutez un cas où la connexion est interrompue après l’envoi de la demande de modification. Pour chacun, comparez le message de l’assistant avec ce que les applications ont enregistré.

Pour les dossiers transmis aux employés, mesurez le délai après le transfert et notez les renseignements que le client doit répéter. Après la mise en service, examinez les erreurs avec l’équipe. En reprenant une demande récente, vous devez pouvoir retrouver l’adresse choisie, la confirmation de l’entrepôt et la réponse envoyée au client.