Halluzinationen in KI-Systemen vermeiden: Best Practices für Enterprise RAG

Was sind KI-Halluzinationen – und warum sind sie im Unternehmen riskant?

Eine Halluzination ist eine Aussage, die plausibel klingt, aber sachlich falsch oder durch keine Quelle gedeckt ist. Sprachmodelle erzeugen Text, indem sie wahrscheinliche Fortsetzungen berechnen. Fehlt das passende Wissen, entsteht trotzdem eine flüssige Antwort – nur eben eine erfundene.

Im privaten Chat ist das ärgerlich, im Unternehmen kann es teuer werden:

• falsche Auskünfte zu Compliance- oder Arbeitsschutzvorgaben
• fehlerhafte Arbeitsanweisungen in Wartung und Service
• erfundene Vertragsklauseln, Fristen oder Preise
• Zitate aus Dokumenten, die es nicht gibt

Warum RAG Halluzinationen reduziert

Retrieval Augmented Generation verankert die Antworten in Ihren eigenen Dokumenten. Statt aus dem Trainingswissen zu antworten, bekommt das Modell zu jeder Frage die relevanten Passagen als Kontext und soll sich darauf stützen. Das senkt die Fehlerquote deutlich gegenüber einem reinen Sprachmodell.

RAG verschiebt das Problem aber auch: Aus „Das Modell weiß es nicht“ wird „Das Modell hat die falschen Unterlagen bekommen“ oder „Das Modell hat die Unterlagen falsch gelesen“. Genau hier setzen die folgenden Maßnahmen an.

Die fünf Ursachen von Halluzinationen in RAG-Systemen

Best Practice 1: Retrieval-Qualität vor LLM-Optimierung

Die häufigste Ursache für falsche Antworten ist nicht das Sprachmodell, sondern der Kontext, den es erhält. Investieren Sie deshalb zuerst in die Suche:

• ein für Deutsch geeignetes Embedding-Modell
• Hybrid Retrieval aus Vektor- und Keyword-Suche, damit Artikelnummern und Fachbegriffe exakt gefunden werden
• ein Reranker, der die Top-Treffer nochmals präzise sortiert
• sauberes Chunking entlang der Dokumentstruktur

Best Practice 2: Grounding und Antwortverweigerung

Das Prompt-Template legt fest, wie das Modell mit dem Kontext umgeht. Bewährt haben sich klare Regeln:

1. Antworte ausschließlich auf Basis der bereitgestellten Dokumente.
2. Belege jede Kernaussage mit der Quelle.
3. Wenn die Dokumente die Frage nicht beantworten, sage das ausdrücklich.
4. Kennzeichne Widersprüche zwischen Quellen, statt einen Mittelweg zu erfinden.

Punkt 3 ist entscheidend: Ein System, das „Dazu finde ich keine Information“ sagen darf, ist verlässlicher als eines, das immer antwortet. Ergänzend kann ein Relevanz-Schwellenwert greifen: Liegen die besten Treffer unter einer bestimmten Ähnlichkeit, wird gar nicht erst generiert.

Best Practice 3: Quellenangaben, die sich prüfen lassen

Jede Antwort sollte auf die konkreten Passagen verweisen – mit Dokumentname, Abschnitt oder Seite und idealerweise einem direkten Link. So können Nutzer kritische Aussagen in Sekunden selbst prüfen. Quellenangaben verändern auch das Verhalten: Mitarbeitende lernen, der Antwort nicht blind zu vertrauen, sondern sie als geprüften Einstieg zu nutzen.

Weitergehend lässt sich prüfen, ob jeder Satz der Antwort tatsächlich durch eine Quelle gedeckt ist. Eine solche Zitatprüfung kann regelbasiert oder durch ein zweites Modell erfolgen und markiert ungedeckte Aussagen.

Best Practice 4: Datenqualität und Aktualität

Ein RAG-System gibt wieder, was in den Dokumenten steht. Liegen drei Fassungen einer Reisekostenrichtlinie nebeneinander, ist eine falsche Antwort programmiert. Deshalb gehören zur Einführung:

• Bereinigung von Dubletten und veralteten Fassungen
• Metadaten zu Gültigkeit, Version und Verantwortlichen
• automatische Synchronisation mit den Quellsystemen, damit Änderungen zeitnah ankommen

Best Practice 5: Evaluation, Monitoring und Feedback

Halluzinationen reduziert man nicht einmalig, sondern laufend:

• Testset: 50 bis 200 reale Fragen mit bekannten richtigen Antworten und Quellen. Es wird vor jeder Änderung an Modell, Prompt oder Chunking erneut durchlaufen.
• Metriken: Trefferquote der Suche, Anteil belegter Aussagen, Anteil korrekter Antwortverweigerungen.
• Nutzerfeedback: Daumen hoch/runter mit Kommentar. Negative Bewertungen werden regelmäßig ausgewertet und führen zu besseren Dokumenten, Prompts oder Filtern.
• Protokollierung: Welche Quellen wurden für welche Antwort genutzt? Ein nachvollziehbarer Audit-Trail hilft bei der Fehleranalyse und bei Compliance-Fragen.

Die Rolle des Sprachmodells

Größere und neuere Modelle folgen Grounding-Anweisungen meist zuverlässiger. Gleichzeitig muss ein Modell für sensible Daten nicht bei einem US-Anbieter laufen: Leistungsfähige Open-Source-Modelle lassen sich auf eigener Infrastruktur betreiben, etwa über ein Local LLM mit Secure Gateway. So bleiben Dokumente und Anfragen in Ihrer kontrollierten Umgebung.

Praxisbeispiel: Auskunft zu Arbeitsschutzvorgaben

Ein Mitarbeiter fragt nach der Prüffrist für ortsveränderliche Elektrogeräte. Das System findet die interne Prüfanweisung und die zugehörige Gefährdungsbeurteilung, nennt die dort festgelegte Frist und verlinkt beide Dokumente. Fragt derselbe Mitarbeiter nach einer Anlage, für die es keine Anweisung gibt, antwortet das System, dass dazu keine interne Regelung vorliegt, und verweist an die Fachkraft für Arbeitssicherheit – statt eine plausible Frist zu erfinden.