Un ojo de cámara rojo. Una voz serena. Un ordenador al que se le confía una misión que, en última instancia, pone en peligro.
HAL 9000, de 2001: Una odisea del espacio, es una de las advertencias más memorables de la ficción sobre la inteligencia artificial. En la explicación de Arthur C. Clarke, HAL queda atrapado entre obligaciones incompatibles: proporcionar información precisa mientras oculta al equipo el verdadero propósito de la misión. La contradicción contribuye a un fallo catastrófico. Esta explicación aparece de forma explícita en la novela y en la secuela 2010; la película original de Kubrick deja más margen para la interpretación. La historia de HAL
Aquí, HAL es una metáfora, no un modelo de cómo funcionan los modelos de lenguaje actuales. Pero la historia plantea una pregunta práctica para cualquiera que construya un agente de IA: ¿qué ocurre cuando la información que le proporcionamos no coincide?
Tu agente de atención al cliente no tendrá que abrir las puertas de una nave espacial. Sin embargo, podría explicar una garantía, citar una oferta o guiar a alguien por un procedimiento. Cuando sus fuentes discrepan, esas respuestas cotidianas pueden dejar de ser fiables.
Varias versiones de la verdad
Una página de producto promete una garantía de dos años. Un folleto antiguo indica un año. Un artículo de soporte describe un proceso de aprobación que el equipo de operaciones modificó hace meses.
Cada documento puede parecer creíble por separado. Juntos, dejan una pregunta sin resolver.
Las personas suelen compensar esta situación. Saben qué folleto está desactualizado, qué política se aplica en un país concreto o qué compañero puede explicar una excepción. Ese conocimiento puede residir en la experiencia y en las conversaciones, no en los propios documentos.
Un agente no lo hereda automáticamente.
Antes de pedirle a un agente que represente a tu empresa, comprueba si los documentos de tu empresa coinciden sobre lo que debería decir.
Qué hace RAG cuando hay discrepancias
La generación aumentada por recuperación, o RAG, permite que un agente acceda a información más allá de la que el modelo aprendió durante su entrenamiento. Cuando alguien formula una pregunta, el sistema busca en una colección, recupera fragmentos relevantes y los utiliza para generar una respuesta.
Esto hace que la documentación sea útil justo cuando se necesita. No hace que la documentación sea automáticamente coherente ni autoritativa.
Si dos fragmentos recuperados ofrecen respuestas diferentes, el sistema necesita una forma de gestionar la discrepancia. ¿Uno es más reciente? ¿Se aplica el otro a un producto distinto? ¿Existe una regla explícita sobre qué fuente tiene prioridad? ¿Debería el agente pedir aclaraciones?
Estas preguntas no pueden responderse de forma segura simplemente eligiendo el fragmento que parezca más relevante. Una investigación sobre el benchmark MAGIC descubrió que los modelos tenían dificultades para detectar evidencias contradictorias, especialmente cuando reconocer la contradicción requería varios pasos de razonamiento.
Dar a un agente acceso a más documentos puede exponerlo a más versiones de un mismo hecho. La calidad de esa evidencia merece tanta atención como la calidad del modelo.
Una cita puede dejar un conflicto sin resolver
Considera este ejemplo ficticio. La empresa, la oferta y las cantidades son ilustrativas; no se trata de un caso de estudio de cliente.
Una empresa de alquiler publica una promoción en dos lugares:
- El resumen de su campaña indica que hay 800 vehículos disponibles.
- Su página detallada de la oferta indica que hay 300 vehículos disponibles.
Ambas afirmaciones describen la asignación total de la misma promoción, los mismos vehículos, la misma región y el mismo periodo de validez. Ninguna de las páginas indica que sustituya a la otra.
Un cliente pregunta cuántos vehículos incluye la oferta. El agente recupera ambas páginas y responde: «La oferta incluye 300 vehículos», con una cita a la página detallada.
La cifra procede de un documento. La respuesta incluye una cita. Sin embargo, la contradicción sigue sin resolverse y el cliente nunca es informado.
No podemos establecer qué cantidad es correcta simplemente observando estas dos afirmaciones. Una respuesta responsable reconocería la discrepancia y buscaría una respuesta autorizada, en lugar de seleccionar silenciosamente una de las cifras.
El alcance coincidente es importante. Si 300 se refiriera a un modelo y 800 a toda la campaña, ambas cifras podrían ser correctas. Lo mismo se aplica a fechas o regiones diferentes. Una discrepancia es un motivo para investigar, no una prueba de que una de las fuentes tenga que ser errónea.
Tres fallos que conviene diferenciar
A menudo se utiliza «alucinación» para describir cualquier respuesta incorrecta de una IA. Para mejorar un sistema, resulta útil realizar un diagnóstico más preciso.
Fuentes contradictorias: los documentos respaldan afirmaciones incompatibles sobre el mismo asunto. La empresa debe resolver la discrepancia o hacer explícitos el alcance y la prioridad aplicables.
Evidencia no recuperada: la colección contiene la respuesta, pero la recuperación no selecciona el fragmento relevante. Los documentos pueden ser perfectamente coherentes; aun así, la información no llega al generador de respuestas.
Generación sin respaldo: la respuesta afirma algo que la evidencia disponible no justifica. Por ejemplo, inventa una condición de elegibilidad que no aparece en ninguna de las fuentes.
Estos fallos requieren correcciones diferentes. Editar un prompt no actualizará un folleto obsoleto. Corregir un folleto no solucionará necesariamente la recuperación. Una mejor recuperación no garantiza que todas las afirmaciones generadas estén respaldadas.
Eliminar las contradicciones reduce una fuente evitable de incertidumbre. No elimina todas las posibles alucinaciones o errores.
Cómo comprueba Guanta las respuestas
Guanta incluye análisis de integridad junto con sus capacidades RAG integradas para ayudar a los equipos a examinar la relación entre el contenido de las fuentes, la recuperación y las respuestas generadas.
Un análisis toma muestras de páginas de los distintos temas de una colección. Genera preguntas contextuales y respuestas esperadas a partir de la evidencia de las fuentes seleccionadas. Después recupera contenido de la colección, genera respuestas utilizando ese material recuperado y evalúa si esas respuestas coinciden con la evidencia esperada.
Los resultados reúnen la pregunta, la respuesta esperada, la respuesta generada, las fuentes recuperadas y una explicación de la discrepancia. Los indicadores de gravedad y confianza ayudan a organizar la revisión.
En una situación como la de nuestra promoción ficticia, una pregunta generada a partir del fragmento de los 800 vehículos podría recibir de la recuperación una respuesta de 300 vehículos. El análisis puede poner de manifiesto esa discrepancia para investigarla. A continuación, la persona encargada de la revisión comprueba si las fuentes se contradicen, describen alcances diferentes o se interpretaron incorrectamente.
El análisis también registra si se recuperó la fuente esperada. Esto ayuda a distinguir la evidencia ausente de los casos en los que el material relevante estaba disponible, pero la respuesta seguía siendo diferente.
Este es un proceso de diagnóstico basado en muestras, no una comparación exhaustiva de todas las afirmaciones de todos los documentos. Las respuestas esperadas y las evaluaciones también se generan automáticamente, por lo que su evidencia debe revisarse. Un análisis sin incidencias es una evidencia útil sobre las preguntas evaluadas, no un certificado de que todas las respuestas futuras serán correctas.
Convierte la integridad en una práctica recurrente
El resultado útil de un análisis es una corrección que mejore la respuesta siguiente.
- Resuelve el conflicto de la fuente. Pide a la persona responsable del contenido que confirme el hecho aplicable y corrija o retire el material contradictorio.
- Conserva el contexto. Haz explícitos el producto, la región, la fecha de entrada en vigor y las excepciones. Documenta qué fuente tiene prioridad.
- Comprueba la recuperación. Confirma que las preguntas pueden llegar a los fragmentos necesarios para responderlas.
- Gestiona la incertidumbre. Diseña el agente para que reconozca las discrepancias sin resolver y solicite aclaraciones o una revisión humana.
- Vuelve a probar. Repite las comprobaciones después de realizar cambios y revisa conversaciones reales para detectar fallos que las preguntas muestreadas no cubrieran.
La documentación cambia a medida que cambian los productos, las políticas y los procedimientos. Una comprobación de integridad antes del lanzamiento es un buen comienzo; repetirla después de cambios importantes la convierte en parte de la gestión del agente.
La historia de HAL hace que las obligaciones contradictorias resulten dramáticas. En una empresa, el mismo tema puede aparecer como dos documentos corrientes que ofrecen cifras diferentes.
No necesitas una catástrofe para tomártelo en serio.
Antes de pedirle a tu agente una respuesta fiable, asegúrate de haberle proporcionado una base coherente para ofrecerla.