Un œil de caméra rouge. Une voix calme. Un ordinateur chargé d’une mission qu’il finit par mettre en danger.
HAL 9000, dans 2001 : L’Odyssée de l’espace, est l’un des avertissements les plus marquants de la fiction sur l’intelligence artificielle. Dans l’explication d’Arthur C. Clarke, HAL se retrouve pris entre des obligations incompatibles : fournir des informations exactes tout en dissimulant la véritable finalité de la mission à l’équipage. Cette contradiction contribue à un effondrement catastrophique. L’explication est explicite dans le roman et dans sa suite, 2010 : L’année du premier contact ; le film original de Kubrick laisse davantage place à l’interprétation. L’histoire de HAL
HAL est ici une métaphore, pas un modèle du fonctionnement des modèles de langage actuels. Mais cette histoire soulève une question pratique pour tous ceux qui développent un agent IA : que se passe-t-il lorsque les informations que nous lui fournissons ne concordent pas ?
Votre agent de service client n’aura pas à ouvrir les portes d’un vaisseau spatial. Il pourra toutefois expliquer une garantie, présenter une offre ou guider quelqu’un dans une procédure. Lorsque ses sources se contredisent, ces réponses ordinaires peuvent devenir peu fiables.
Plusieurs versions de la vérité
Une page produit promet une garantie de deux ans. Une ancienne brochure en indique un. Un article d’assistance décrit un processus d’approbation que l’équipe des opérations a modifié il y a plusieurs mois.
Chaque document peut sembler crédible pris séparément. Ensemble, ils laissent une question sans réponse.
Les collaborateurs compensent souvent ce problème. Ils savent quelle brochure est obsolète, quelle politique s’applique dans un pays donné ou quel collègue peut expliquer une exception. Ces connaissances peuvent résider dans l’expérience et les échanges, plutôt que dans les documents eux-mêmes.
Un agent ne les acquiert pas automatiquement.
Avant de demander à un agent de représenter votre entreprise, vérifiez que vos documents s’accordent sur ce qu’il doit dire.
Ce que fait le RAG face aux désaccords
La génération augmentée par récupération, ou RAG, donne à un agent accès à des informations qui dépassent ce que son modèle a appris durant son entraînement. Lorsqu’une personne pose une question, le système recherche dans une collection, récupère les passages pertinents et les utilise pour générer une réponse.
La documentation devient ainsi utile au moment où elle est nécessaire. Cela ne la rend pas automatiquement cohérente ou faisant autorité.
Si deux passages récupérés donnent des réponses différentes, le système doit savoir gérer ce désaccord. L’un est-il plus récent ? L’un s’applique-t-il à un autre produit ? Existe-t-il une règle explicite indiquant quelle source prévaut ? L’agent doit-il demander une précision ?
Il est risqué de répondre à ces questions en choisissant simplement le passage qui semble le plus pertinent. Une étude menée avec le benchmark MAGIC a montré que les modèles avaient du mal à détecter des éléments contradictoires, en particulier lorsque l’identification de la contradiction nécessitait plusieurs étapes de raisonnement.
Donner accès à davantage de documents à un agent peut l’exposer à davantage de versions d’un même fait. La qualité de ces éléments mérite autant d’attention que celle du modèle.
Une citation peut laisser un conflit irrésolu
Considérons cet exemple fictif. L’entreprise, l’offre et les quantités sont données à titre illustratif ; il ne s’agit pas d’une étude de cas client.
Une société de location publie une promotion à deux endroits :
- Son aperçu de campagne indique que 800 véhicules sont disponibles.
- Sa page détaillée de l’offre indique que 300 véhicules sont disponibles.
Les deux affirmations décrivent l’allocation totale pour la même promotion, les mêmes véhicules, la même région et la même période de validité. Aucune des deux pages n’indique qu’elle remplace l’autre.
Un client demande combien de véhicules sont inclus dans l’offre. L’agent récupère les deux pages et répond : « L’offre comprend 300 véhicules », avec une citation vers la page détaillée.
Le nombre provient bien d’un document. La réponse comporte une citation. Pourtant, la contradiction reste irrésolue et le client n’en est jamais informé.
Nous ne pouvons pas déterminer quelle quantité est correcte en observant simplement ces deux affirmations. Une réponse responsable reconnaîtrait la divergence et chercherait une réponse faisant autorité, plutôt que de sélectionner silencieusement un chiffre.
Le périmètre correspondant est important. Si 300 désigne un modèle et 800 l’ensemble de la campagne, les deux chiffres peuvent être exacts. Il en va de même pour des dates ou des régions différentes. Une divergence est une raison d’enquêter, pas la preuve qu’une source est nécessairement erronée.
Trois défaillances à distinguer
On utilise souvent le terme « hallucination » pour décrire toute réponse incorrecte de l’IA. Pour améliorer un système, il est utile d’établir un diagnostic plus précis.
Sources contradictoires : les documents étayent des affirmations incompatibles au sujet d’un même élément. L’entreprise doit résoudre le désaccord ou expliciter le périmètre applicable et la hiérarchie des sources.
Élément pertinent manqué : la collection contient la réponse, mais la récupération ne sélectionne pas le passage pertinent. Les documents peuvent être parfaitement cohérents ; l’information n’atteint tout de même pas le générateur de réponses.
Génération non étayée : la réponse affirme quelque chose que les éléments disponibles ne permettent pas de justifier. Elle peut, par exemple, inventer une condition d’éligibilité qui n’apparaît dans aucune des sources.
Ces défaillances nécessitent des corrections différentes. Modifier un prompt ne mettra pas à jour une brochure obsolète. Corriger une brochure ne corrigera pas forcément la récupération. Améliorer la récupération ne garantit pas que chaque affirmation générée sera étayée.
Supprimer les contradictions réduit une source évitable d’incertitude. Cela n’élimine pas toutes les hallucinations ou erreurs possibles.
Comment Guanta vérifie les réponses
Guanta intègre des analyses d’intégrité à ses fonctionnalités RAG intégrées afin d’aider les équipes à examiner la relation entre le contenu source, la récupération et les réponses générées.
Une analyse échantillonne des pages couvrant les sujets d’une collection. Elle génère des questions contextuelles et des réponses attendues à partir des éléments sources sélectionnés. Elle récupère ensuite du contenu dans la collection, génère des réponses à partir de ce contenu récupéré et évalue si ces réponses concordent avec les éléments attendus.
Les résultats réunissent la question, la réponse attendue, la réponse générée, les sources récupérées et une explication de la divergence. Des indicateurs de gravité et de confiance facilitent l’organisation de la revue.
Dans une situation semblable à notre promotion fictive, une question générée à partir du passage mentionnant 800 véhicules pourrait recevoir une réponse de 300 véhicules après récupération. L’analyse peut mettre cette divergence en évidence pour investigation. Le responsable de la revue vérifie alors si les sources se contredisent, décrivent des périmètres différents ou ont été mal interprétées.
L’analyse indique également si la source attendue a été récupérée. Cela aide à distinguer les éléments manquants des cas où le contenu pertinent était disponible, mais où la réponse différait malgré tout.
Il s’agit d’un processus de diagnostic par échantillonnage, et non d’une comparaison exhaustive de chaque affirmation dans chaque document. Les réponses attendues et les évaluations sont elles aussi générées ; leurs éléments justificatifs doivent donc être examinés. Une analyse sans anomalie constitue un élément utile concernant les questions testées, mais pas un certificat garantissant l’exactitude de toutes les réponses futures.
Faire de l’intégrité une pratique récurrente
Le résultat utile d’une analyse est une correction qui améliore la réponse suivante.
- Résoudre le problème à la source. Demandez au responsable du contenu de confirmer le fait applicable et de corriger ou retirer les éléments contradictoires.
- Préserver le contexte. Rendez explicites le produit, la région, la date d’entrée en vigueur et les exceptions. Indiquez quelle source prévaut.
- Vérifier la récupération. Confirmez que les questions peuvent atteindre les passages nécessaires pour y répondre.
- Gérer l’incertitude. Concevez l’agent pour qu’il reconnaisse les désaccords irrésolus et demande une clarification ou une revue humaine.
- Tester à nouveau. Relancez les vérifications après les modifications et examinez les conversations réelles pour repérer les défaillances non couvertes par les questions échantillonnées.
La documentation évolue avec les produits, les politiques et les procédures. Effectuer un contrôle d’intégrité avant le lancement est un bon début ; le répéter après chaque changement significatif permet d’en faire une composante du fonctionnement de l’agent.
L’histoire de HAL dramatise les obligations contradictoires. Dans une entreprise, le même thème peut se manifester sous la forme de deux documents ordinaires indiquant des chiffres différents.
Vous n’avez pas besoin d’une catastrophe pour prendre ce sujet au sérieux.
Avant de demander une réponse fiable à votre agent, assurez-vous de lui avoir fourni une base cohérente.