Un ull de càmera vermell. Una veu serena. Un ordinador al qual s’ha confiat una missió que, en última instància, posa en perill.
HAL 9000, de 2001: Una odissea de l’espai, és una de les advertències més memorables de la ficció sobre la intel·ligència artificial. En l’explicació d’Arthur C. Clarke, HAL queda atrapat entre obligacions incompatibles: proporcionar informació precisa mentre oculta al tripulació el veritable propòsit de la missió. La contradicció contribueix a un col·lapse catastròfic. Aquesta explicació és explícita a la novel·la i a la seqüela 2010; la pel·lícula original de Kubrick deixa més marge a la interpretació. La història de HAL
Aquí, HAL és una metàfora, no un model de com funcionen els models de llenguatge actuals. Però la història planteja una pregunta pràctica per a qualsevol persona que construeixi un agent d’IA: què passa quan la informació que li proporcionem no coincideix?
El teu agent d’atenció al client no obrirà les portes d’una nau espacial. Tanmateix, podria explicar una garantia, citar una oferta o guiar algú durant un procediment. Quan les seves fonts discrepen, aquestes respostes quotidianes poden deixar de ser fiables.
Diverses versions de la veritat
Una pàgina de producte promet una garantia de dos anys. Un fulletó antic en diu un. Un article d’assistència descriu un procés d’aprovació que l’equip d’operacions va canviar fa mesos.
Cada document pot semblar creïble per si sol. Junts, deixen una pregunta sense resoldre.
Sovint, els empleats ho compensen. Saben quin fulletó està desactualitzat, quina política s’aplica en un país concret o quin company pot explicar una excepció. Aquest coneixement pot viure en l’experiència i en les converses, en lloc de fer-ho als documents.
Un agent no l’hereta automàticament.
Abans de demanar a un agent que representi la teva empresa, comprova si els documents de la teva empresa coincideixen en allò que hauria de dir.
Com gestiona RAG les discrepàncies
La generació augmentada per recuperació, o RAG, dona a un agent accés a informació que va més enllà del que el seu model va aprendre durant l’entrenament. Quan algú fa una pregunta, el sistema cerca en una col·lecció, recupera els passatges rellevants i els utilitza per generar una resposta.
Això fa que la documentació sigui útil en el moment en què es necessita. Però no fa que la documentació sigui automàticament coherent ni autoritativa.
Si dos passatges recuperats donen respostes diferents, el sistema necessita una manera de gestionar la discrepància. Un és més recent? Un s’aplica a un producte diferent? Hi ha una regla explícita sobre quina font té prioritat? L’agent hauria de demanar aclariments?
Aquestes preguntes no es poden respondre amb seguretat triant simplement el passatge que sembla més rellevant. La recerca sobre el benchmark MAGIC va constatar que els models tenien dificultats per detectar proves contradictòries, especialment quan reconèixer la contradicció requeria diversos passos de raonament.
Donar a un agent accés a més documents pot exposar-lo a més versions d’un mateix fet. La qualitat d’aquestes proves mereix tanta atenció com la qualitat del model.
Una citació pot deixar un conflicte sense resoldre
Considera aquest exemple fictici. L’empresa, l’oferta i les quantitats són il·lustratives; no es tracta d’un cas d’èxit de client.
Una empresa de lloguer publica una promoció en dos llocs:
- El resum de la campanya diu que hi ha 800 vehicles disponibles.
- La pàgina detallada de l’oferta diu que hi ha 300 vehicles disponibles.
Ambdues afirmacions descriuen l’assignació total per a la mateixa promoció, els mateixos vehicles, la mateixa regió i el mateix període de validesa. Cap de les dues pàgines indica que substitueix l’altra.
Un client pregunta quants vehicles inclou l’oferta. L’agent recupera les dues pàgines i respon: «L’oferta inclou 300 vehicles», amb una citació a la pàgina detallada.
La xifra prové d’un document. La resposta té una citació. Tanmateix, la contradicció continua sense resoldre’s i el client no n’és informat.
No podem establir quina quantitat és correcta només observant aquestes dues afirmacions. Una resposta responsable reconeixeria la discrepància i buscaria una resposta autoritativa, en lloc de seleccionar en silenci una de les xifres.
L’abast coincident és important. Si 300 es referís a un model i 800 a tota la campanya, totes dues xifres podrien ser correctes. El mateix s’aplica a dates o regions diferents. Una discrepància és un motiu per investigar, no una prova que una de les fonts hagi de ser necessàriament incorrecta.
Tres errades que cal separar
Sovint, la gent utilitza «al·lucinació» per descriure qualsevol resposta incorrecta d’una IA. Per millorar un sistema, és útil fer un diagnòstic més precís.
Fonts contradictòries: els documents sustenten afirmacions incompatibles sobre el mateix element. L’empresa ha de resoldre la discrepància o fer explícits l’abast aplicable i la prioritat de les fonts.
Proves no recuperades: la col·lecció conté la resposta, però la recuperació no selecciona el passatge rellevant. Els documents poden ser perfectament coherents; tanmateix, la informació no arriba al generador de respostes.
Generació sense suport: la resposta afirma alguna cosa que les proves disponibles no justifiquen. Per exemple, inventa una condició d’elegibilitat que no apareix en cap de les fonts.
Aquestes errades requereixen correccions diferents. Editar una instrucció no actualitzarà un fulletó obsolet. Corregir un fulletó no solucionarà necessàriament la recuperació. Una recuperació millor no garanteix que totes les afirmacions generades tinguin suport.
Eliminar les contradiccions redueix una font evitable d’incertesa. No elimina totes les possibles al·lucinacions o errades.
Com comprova Guanta les respostes
Guanta inclou escanejos d’integritat juntament amb les seves capacitats RAG integrades per ajudar els equips a examinar la relació entre el contingut d’origen, la recuperació i les respostes generades.
Un escaneig mostra una selecció de pàgines dels temes d’una col·lecció. Genera preguntes contextuals i respostes esperades a partir de les proves d’origen seleccionades. A continuació, recupera contingut de la col·lecció, genera respostes utilitzant aquest material recuperat i avalua si aquestes respostes coincideixen amb les proves esperades.
Els resultats reuneixen la pregunta, la resposta esperada, la resposta generada, les fonts recuperades i una explicació de la discrepància. Els indicadors de gravetat i confiança ajuden a organitzar la revisió.
En una situació com la de la nostra promoció fictícia, una pregunta generada a partir del passatge dels 800 vehicles podria rebre una resposta de 300 vehicles en la recuperació. L’escaneig pot detectar aquesta discrepància perquè s’investigui. Aleshores, la persona revisora comprova si les fonts es contradiuen, descriuen àmbits diferents o s’han interpretat incorrectament.
L’escaneig també registra si s’ha recuperat la font esperada. Això ajuda a distingir les proves absents dels casos en què hi havia material rellevant disponible però la resposta encara era diferent.
Aquest és un procés de diagnòstic basat en mostres, no una comparació exhaustiva de totes les afirmacions de tots els documents. Les respostes esperades i les avaluacions també es generen automàticament, de manera que cal revisar-ne les proves. Un escaneig net és una dada útil sobre les preguntes que s’han comprovat, no un certificat que garanteixi que totes les respostes futures seran correctes.
Converteix la integritat en una pràctica recurrent
El resultat útil d’un escaneig és una correcció que millora la resposta següent.
- Resol la font. Demana a la persona responsable del contingut que confirmi el fet aplicable i que corregeixi o retiri el material contradictori.
- Conserva el context. Fes explícits el producte, la regió, la data d’entrada en vigor i les excepcions. Documenta quina font té prioritat.
- Comprova la recuperació. Confirma que les preguntes poden arribar als passatges necessaris per respondre-les.
- Gestiona la incertesa. Dissenya l’agent perquè reconegui les discrepàncies no resoltes i demani aclariments o una revisió humana.
- Torna a provar. Repeteix les comprovacions després dels canvis i revisa les converses reals per detectar errades que les preguntes de mostra no hagin cobert.
La documentació canvia a mesura que canvien els productes, les polítiques i els procediments. Una comprovació d’integritat abans del llançament és un bon començament; repetir-la després de canvis significatius la converteix en part de l’operativa de l’agent.
La història de HAL fa que les obligacions contradictòries siguin dramàtiques. En una empresa, el mateix tema pot aparèixer com dos documents corrents que donen xifres diferents.
No cal esperar una catàstrofe per prendre-s’ho seriosament.
Abans de demanar al teu agent una resposta fiable, assegura’t d’haver-li proporcionat una base coherent per donar-la.