Wenn Ihre Dokumente widersprüchlich sind: Was sollte Ihre KI glauben?

Ein rotes Kameraauge. Eine ruhige Stimme. Ein Computer, dem eine Mission anvertraut wurde, die er letztlich gefährdet.

HAL 9000 aus 2001: Odyssee im Weltraum ist eine der einprägsamsten Warnungen der fiktionalen Literatur vor künstlicher Intelligenz. In Arthur C. Clarkes Erklärung gerät HAL zwischen unvereinbare Verpflichtungen: genaue Informationen zu liefern und gleichzeitig den wahren Zweck der Mission vor der Besatzung zu verbergen. Dieser Widerspruch trägt zum katastrophalen Zusammenbruch bei. Die Erklärung wird im Roman und in der Fortsetzung 2010 ausdrücklich gegeben; Kubricks Originalfilm lässt mehr Raum für Interpretationen. HALs Geschichte

HAL ist hier eine Metapher, kein Modell dafür, wie heutige Sprachmodelle funktionieren. Doch die Geschichte wirft eine praktische Frage für alle auf, die einen KI-Agenten entwickeln: Was geschieht, wenn die Informationen, die wir ihm geben, nicht übereinstimmen?

Ihr Kundenservice-Agent wird keine Raumschifftüren öffnen. Er könnte jedoch eine Garantie erklären, ein Angebot nennen oder jemanden durch einen Prozess führen. Wenn seine Quellen widersprüchlich sind, können selbst diese alltäglichen Antworten unzuverlässig werden.

Mehrere Versionen der Wahrheit

Eine Produktseite verspricht zwei Jahre Garantie. Eine ältere Broschüre nennt ein Jahr. Ein Supportartikel beschreibt einen Genehmigungsprozess, den das Betriebsteam vor Monaten geändert hat.

Jedes Dokument kann für sich genommen glaubwürdig wirken. Zusammen lassen sie eine Frage offen.

Mitarbeitende gleichen solche Widersprüche oft aus. Sie wissen, welche Broschüre veraltet ist, welche Richtlinie in einem bestimmten Land gilt oder welcher Kollege eine Ausnahme erklären kann. Dieses Wissen steckt möglicherweise eher in Erfahrung und Gesprächen als in den Dokumenten selbst.

Ein Agent übernimmt dieses Wissen nicht automatisch.

Bevor Sie einen Agenten Ihr Unternehmen repräsentieren lassen, prüfen Sie, ob Ihre Unternehmensdokumente darin übereinstimmen, was er sagen sollte.

Wie RAG mit Widersprüchen umgeht

Retrieval-Augmented Generation, kurz RAG, gibt einem Agenten Zugriff auf Informationen, die über das hinausgehen, was sein Modell während des Trainings gelernt hat. Wenn jemand eine Frage stellt, durchsucht das System eine Sammlung, ruft relevante Passagen ab und verwendet sie zur Erstellung einer Antwort.

Dadurch wird Dokumentation genau dann nutzbar, wenn sie gebraucht wird. Die Dokumentation wird dadurch jedoch nicht automatisch konsistent oder maßgeblich.

Wenn zwei abgerufene Passagen unterschiedliche Antworten geben, braucht das System eine Möglichkeit, mit diesem Widerspruch umzugehen. Ist eine Quelle neuer? Bezieht sich eine auf ein anderes Produkt? Gibt es eine ausdrückliche Regel, welche Quelle Vorrang hat? Sollte der Agent um Klärung bitten?

Diese Fragen lassen sich nicht zuverlässig beantworten, indem einfach die Passage ausgewählt wird, die am relevantesten klingt. Untersuchungen zum MAGIC-Benchmark haben gezeigt, dass Modelle Schwierigkeiten hatten, widersprüchliche Belege zu erkennen – insbesondere dann, wenn das Erkennen des Widerspruchs mehrere Denkschritte erforderte.

Wenn ein Agent Zugriff auf mehr Dokumente erhält, kann er mit mehr Versionen derselben Tatsache konfrontiert werden. Die Qualität dieser Belege verdient ebenso viel Aufmerksamkeit wie die Qualität des Modells.

Eine Quellenangabe kann einen Widerspruch offenlassen

Betrachten wir dieses fiktive Beispiel. Unternehmen, Angebot und Mengen dienen nur der Veranschaulichung; es handelt sich nicht um eine Kundenfallstudie.

Ein Mietwagenunternehmen veröffentlicht eine Aktion an zwei Stellen:

• In der Kampagnenübersicht steht: 800 Fahrzeuge sind verfügbar.
• Auf der detaillierten Angebotsseite steht: 300 Fahrzeuge sind verfügbar.

Beide Aussagen beziehen sich auf die Gesamtzuteilung für dieselbe Aktion, dieselben Fahrzeuge, dieselbe Region und denselben Gültigkeitszeitraum. Keine der beiden Seiten weist darauf hin, dass sie die andere ersetzt.

Ein Kunde fragt, wie viele Fahrzeuge im Angebot enthalten sind. Der Agent ruft beide Seiten ab und antwortet: „Das Angebot umfasst 300 Fahrzeuge“ – mit einem Verweis auf die detaillierte Seite.

Die Zahl stammt aus einem Dokument. Die Antwort enthält eine Quellenangabe. Dennoch bleibt der Widerspruch ungelöst, und der Kunde wird nie darauf hingewiesen.

Allein anhand dieser beiden Aussagen lässt sich nicht feststellen, welche Zahl korrekt ist. Eine verantwortungsvolle Antwort würde die Abweichung offenlegen und eine maßgebliche Klärung anstreben, statt stillschweigend eine Zahl auszuwählen.

Der übereinstimmende Kontext ist entscheidend. Wenn sich 300 auf ein Modell und 800 auf die gesamte Kampagne bezieht, könnten beide Zahlen korrekt sein. Gleiches gilt für unterschiedliche Zeiträume oder Regionen. Eine Abweichung ist ein Anlass zur Untersuchung, kein Beweis dafür, dass eine Quelle zwangsläufig falsch sein muss.

Drei Fehler, die man unterscheiden sollte

Oft wird „Halluzination“ verwendet, um jede falsche KI-Antwort zu beschreiben. Für die Verbesserung eines Systems ist eine präzisere Diagnose hilfreich.

Widersprüchliche Quellen: Die Dokumente stützen unvereinbare Aussagen über dieselbe Sache. Das Unternehmen muss den Widerspruch auflösen oder Geltungsbereich und Vorrang explizit festlegen.

Übersehene Belege: Die Sammlung enthält die Antwort, aber der Abruf wählt die relevante Passage nicht aus. Die Dokumente können vollkommen konsistent sein; dennoch erreicht die Information den Antwortgenerator nicht.

Nicht belegte Generierung: Die Antwort behauptet etwas, das die verfügbaren Belege nicht rechtfertigen. Beispielsweise erfindet sie eine Teilnahmebedingung, die in keiner der Quellen vorkommt.

Diese Fehler erfordern unterschiedliche Korrekturen. Das Bearbeiten eines Prompts aktualisiert keine veraltete Broschüre. Die Korrektur einer Broschüre behebt nicht zwangsläufig den Abruf. Ein besserer Abruf garantiert nicht, dass jede generierte Aussage belegt ist.

Das Beseitigen von Widersprüchen reduziert eine vermeidbare Unsicherheitsquelle. Es eliminiert jedoch nicht jede mögliche Halluzination oder jeden Fehler.

Wie Guanta die Antworten überprüft

Guanta bietet neben integrierten RAG-Funktionen Integritätsscans, mit denen Teams die Beziehung zwischen Quelleninhalten, Abruf und generierten Antworten untersuchen können.

Ein Scan wählt stichprobenartig Seiten aus verschiedenen Themen einer Sammlung aus. Aus den ausgewählten Quellenbelegen werden kontextbezogene Fragen und erwartete Antworten generiert. Anschließend ruft der Scan Inhalte aus der Sammlung ab, erstellt mithilfe dieser Inhalte Antworten und bewertet, ob die Antworten mit den erwarteten Belegen übereinstimmen.

Die Ergebnisse führen die Frage, die erwartete Antwort, die generierte Antwort, die abgerufenen Quellen und eine Erklärung der Abweichung zusammen. Schweregrad- und Konfidenzindikatoren helfen bei der Priorisierung der Überprüfung.

In einem Fall wie unserer fiktiven Aktion könnte eine aus der Passage mit 800 Fahrzeugen generierte Frage durch den Abruf eine Antwort mit 300 Fahrzeugen erhalten. Der Scan kann diese Abweichung zur Untersuchung sichtbar machen. Die prüfende Person kontrolliert anschließend, ob die Quellen widersprüchlich sind, unterschiedliche Geltungsbereiche beschreiben oder falsch interpretiert wurden.

Der Scan erfasst außerdem, ob die erwartete Quelle abgerufen wurde. So lässt sich unterscheiden, ob Belege fehlten oder ob relevante Inhalte verfügbar waren, die Antwort aber dennoch abwich.

Dieser Prozess ist eine stichprobenartige Diagnose, kein vollständiger Vergleich jeder Aussage in jedem Dokument. Auch erwartete Antworten und Bewertungen werden generiert, daher müssen ihre Belege überprüft werden. Ein unauffälliger Scan ist ein hilfreicher Hinweis für die getesteten Fragen – aber kein Zertifikat dafür, dass jede zukünftige Antwort korrekt sein wird.

Machen Sie Integrität zur regelmäßigen Praxis

Das nützliche Ergebnis eines Scans ist eine Korrektur, die die nächste Antwort verbessert.

• Quelle klären. Bitten Sie die verantwortliche Person für die Inhalte, die zutreffende Information zu bestätigen und widersprüchliches Material zu korrigieren oder aus dem Verkehr zu ziehen.
• Kontext bewahren. Machen Sie Produkt, Region, Gültigkeitsdatum und Ausnahmen explizit. Dokumentieren Sie, welche Quelle Vorrang hat.
• Abruf prüfen. Stellen Sie sicher, dass Fragen die Passagen erreichen können, die für ihre Beantwortung erforderlich sind.
• Mit Unsicherheit umgehen. Entwickeln Sie den Agenten so, dass er ungelöste Widersprüche anerkennt und um Klärung oder eine menschliche Prüfung bittet.
• Erneut testen. Führen Sie Prüfungen nach Änderungen erneut durch und analysieren Sie reale Gespräche auf Fehler, die von den Stichprobenfragen nicht abgedeckt wurden.

Dokumentation verändert sich, wenn sich Produkte, Richtlinien und Prozesse ändern. Eine Integritätsprüfung vor dem Start ist ein sinnvoller Anfang; sie nach wesentlichen Änderungen zu wiederholen, macht sie zu einem festen Bestandteil des Agentenbetriebs.

HALs Geschichte macht widersprüchliche Verpflichtungen dramatisch. In einem Unternehmen kann dasselbe Thema in Form zweier gewöhnlicher Dokumente auftreten, die unterschiedliche Zahlen nennen.

Sie brauchen keine Katastrophe, um das ernst zu nehmen.

Bevor Sie Ihren Agenten um eine zuverlässige Antwort bitten, stellen Sie sicher, dass Sie ihm eine konsistente Grundlage dafür gegeben haben.