Um olho de câmera vermelho. Uma voz tranquila. Um computador encarregado de uma missão que, no fim, coloca em risco.
HAL 9000, de 2001: Uma Odisseia no Espaço, é um dos alertas mais memoráveis da ficção sobre inteligência artificial. Na explicação de Arthur C. Clarke, HAL fica dividido entre obrigações incompatíveis: fornecer informações precisas enquanto esconde da tripulação o verdadeiro propósito da missão. A contradição contribui para um colapso catastrófico. Essa explicação é explícita no romance e na sequência 2010; o filme original de Kubrick deixa mais espaço para interpretação. A história de HAL
HAL é uma metáfora aqui, não um modelo de como os atuais modelos de linguagem funcionam. Mas a história levanta uma questão prática para quem cria um agente de IA: o que acontece quando as informações que fornecemos não estão de acordo?
Seu agente de atendimento ao cliente não abrirá portas de naves espaciais. No entanto, pode explicar uma garantia, apresentar uma oferta ou orientar alguém em um procedimento. Quando as fontes divergem, essas respostas comuns podem se tornar pouco confiáveis.
Várias versões da verdade
Uma página de produto promete uma garantia de dois anos. Um folheto antigo diz um ano. Um artigo de suporte descreve um processo de aprovação que a equipe de operações alterou meses atrás.
Cada documento pode parecer confiável por si só. Juntos, deixam uma questão sem resposta.
Os funcionários frequentemente compensam isso. Eles sabem qual folheto está desatualizado, qual política se aplica a um determinado país ou qual colega pode explicar uma exceção. Esse conhecimento pode estar presente na experiência e nas conversas, e não nos próprios documentos.
Um agente não o herda automaticamente.
Antes de pedir a um agente que represente sua empresa, verifique se os documentos da sua empresa estão de acordo sobre o que ele deve dizer.
Como o RAG lida com divergências
A geração aumentada por recuperação, ou RAG, dá a um agente acesso a informações além daquelas aprendidas pelo modelo durante o treinamento. Quando alguém faz uma pergunta, o sistema pesquisa uma coleção, recupera trechos relevantes e os utiliza para gerar uma resposta.
Isso torna a documentação útil no momento em que é necessária. Mas não torna automaticamente a documentação consistente ou confiável.
Se dois trechos recuperados apresentarem respostas diferentes, o sistema precisará de uma forma de lidar com a divergência. Um deles é mais recente? Um se aplica a um produto diferente? Existe uma regra explícita sobre qual fonte tem precedência? O agente deve pedir esclarecimentos?
Essas perguntas não podem ser respondidas com segurança simplesmente escolhendo o trecho que parece mais relevante. Uma pesquisa sobre o benchmark MAGIC constatou que os modelos tiveram dificuldade para detectar evidências conflitantes, especialmente quando reconhecer a contradição exigia várias etapas de raciocínio.
Dar a um agente acesso a mais documentos pode expô-lo a mais versões do mesmo fato. A qualidade dessas evidências merece tanta atenção quanto a qualidade do modelo.
Uma citação pode deixar um conflito sem solução
Considere este exemplo fictício. A empresa, a oferta e as quantidades são ilustrativas; este não é um estudo de caso de cliente.
Uma empresa de aluguel publica uma promoção em dois lugares:
- O resumo da campanha diz que 800 veículos estão disponíveis.
- A página detalhada da oferta diz que 300 veículos estão disponíveis.
As duas afirmações descrevem a alocação total para a mesma promoção, os mesmos veículos, a mesma região e o mesmo período de validade. Nenhuma das páginas indica que substitui a outra.
Um cliente pergunta quantos veículos estão incluídos na oferta. O agente recupera as duas páginas e responde: “A oferta inclui 300 veículos”, com uma citação para a página detalhada.
O número veio de um documento. A resposta tem uma citação. Ainda assim, a contradição permanece sem solução, e o cliente nunca é informado.
Não podemos determinar qual quantidade está correta simplesmente observando essas duas afirmações. Uma resposta responsável reconheceria a discrepância e buscaria uma resposta autorizada, em vez de selecionar silenciosamente um dos números.
O escopo correspondente é importante. Se 300 se referisse a um modelo e 800 à campanha inteira, os dois números poderiam estar corretos. O mesmo se aplica a datas ou regiões diferentes. Uma discrepância é motivo para investigar, não prova de que uma fonte esteja necessariamente errada.
Três falhas que vale a pena separar
As pessoas frequentemente usam “alucinação” para descrever qualquer resposta incorreta de IA. Para melhorar um sistema, um diagnóstico mais preciso é útil.
Fontes conflitantes: os documentos sustentam afirmações incompatíveis sobre a mesma coisa. A empresa precisa resolver a divergência ou deixar explícitos o escopo aplicável e a precedência.
Evidência não recuperada: a coleção contém a resposta, mas a recuperação não seleciona o trecho relevante. Os documentos podem ser perfeitamente consistentes; ainda assim, a informação não chega ao gerador de respostas.
Geração sem suporte: a resposta afirma algo que as evidências disponíveis não justificam. Por exemplo, inventa uma condição de elegibilidade que não aparece em nenhuma das fontes.
Essas falhas exigem correções diferentes. Editar um prompt não atualizará um folheto obsoleto. Corrigir um folheto não necessariamente resolverá a recuperação. Uma recuperação melhor não garante que todas as afirmações geradas terão suporte.
Eliminar contradições reduz uma fonte evitável de incerteza. Isso não elimina todas as possíveis alucinações ou erros.
Como a Guanta verifica as respostas
A Guanta inclui verificações de integridade junto com seus recursos RAG integrados para ajudar as equipes a examinar a relação entre o conteúdo das fontes, a recuperação e as respostas geradas.
Uma verificação coleta uma amostra de páginas entre os tópicos de uma coleção. Ela gera perguntas contextuais e respostas esperadas a partir das evidências selecionadas nas fontes. Em seguida, recupera conteúdo da coleção, gera respostas usando esse material recuperado e avalia se essas respostas estão de acordo com as evidências esperadas.
Os resultados reúnem a pergunta, a resposta esperada, a resposta gerada, as fontes recuperadas e uma explicação da discrepância. Indicadores de gravidade e confiança ajudam a organizar a análise.
Em uma situação como a promoção fictícia, uma pergunta gerada a partir do trecho sobre 800 veículos poderia receber da recuperação uma resposta sobre 300 veículos. A verificação pode revelar essa divergência para investigação. O responsável pela análise então verifica se as fontes entram em conflito, descrevem escopos diferentes ou foram interpretadas incorretamente.
A verificação também registra se a fonte esperada foi recuperada. Isso ajuda a diferenciar evidências ausentes de casos em que o material relevante estava disponível, mas a resposta ainda assim foi diferente.
Esse é um processo de diagnóstico baseado em amostragem, não uma comparação exaustiva de todas as afirmações em todos os documentos. As respostas esperadas e as avaliações também são geradas, portanto suas evidências precisam ser analisadas. Uma verificação limpa é uma evidência útil sobre as perguntas testadas, não um certificado de que todas as respostas futuras estarão corretas.
Torne a integridade uma prática recorrente
O resultado mais útil de uma verificação é uma correção que melhora a próxima resposta.
- Resolva a fonte. Peça ao responsável pelo conteúdo que confirme o fato aplicável e corrija ou retire o material conflitante.
- Preserve o contexto. Deixe explícitos o produto, a região, a data de vigência e as exceções. Documente qual fonte tem precedência.
- Verifique a recuperação. Confirme que as perguntas conseguem chegar aos trechos necessários para respondê-las.
- Lide com a incerteza. Configure o agente para reconhecer divergências não resolvidas e solicitar esclarecimentos ou análise humana.
- Teste novamente. Repita as verificações após as alterações e analise conversas reais para identificar falhas que as perguntas da amostra não cobriram.
A documentação muda à medida que produtos, políticas e procedimentos mudam. Uma verificação de integridade antes do lançamento é um bom começo; repeti-la após mudanças significativas faz dela parte da operação do agente.
A história de HAL torna dramáticos os conflitos entre obrigações. Em uma empresa, o mesmo tema pode aparecer como dois documentos comuns apresentando números diferentes.
Você não precisa esperar uma catástrofe para levar isso a sério.
Antes de pedir ao seu agente uma resposta confiável, certifique-se de que forneceu a ele uma base coerente para formulá-la.