Was ist RAG? Retrieval Augmented Generation einfach erklärt

RAG: die Brücke zwischen Unternehmenswissen und KI

Große Sprachmodelle wie Llama, Mistral oder Qwen wurden mit öffentlich verfügbaren Texten trainiert. Ihre Verfahrensanweisungen, Verträge, Produktdatenblätter oder Betriebsvereinbarungen kennen sie nicht. Fragt man ein solches Modell nach internen Details, erhält man bestenfalls eine allgemeine Antwort, schlimmstenfalls eine plausibel klingende Erfindung.

Retrieval Augmented Generation löst dieses Problem, indem es zwei Komponenten kombiniert:

• Retrieval (Abruf): Eine semantische Suche findet die Textabschnitte in Ihrem Dokumentenbestand, die zur Frage passen.
• Generation (Erzeugung): Ein Sprachmodell formuliert aus diesen Abschnitten eine verständliche Antwort und verweist auf die Quellen.

Das Modell selbst wird dabei nicht verändert. Das Wissen bleibt in Ihrer Dokumentenbasis und wird nur zur Laufzeit hinzugezogen. Genau das macht RAG für Unternehmen attraktiv: Neue Dokumente stehen nach der Indexierung sofort zur Verfügung, veraltete lassen sich einfach entfernen.

Wie funktioniert RAG technisch?

Ein RAG-System arbeitet in zwei Phasen: der einmaligen bzw. laufenden Aufbereitung der Dokumente und der eigentlichen Beantwortung von Fragen.

Phase 1: Indexierung

1. Extraktion: Texte werden aus PDFs, Word-Dateien, Wikis, E-Mails oder Datenbanken ausgelesen.
2. Chunking: Lange Dokumente werden in sinnvolle Abschnitte zerlegt. Idealerweise orientieren sich die Grenzen an Überschriften und Absätzen, damit jeder Abschnitt für sich verständlich bleibt.
3. Embedding: Ein Embedding-Modell wandelt jeden Abschnitt in einen Vektor um, also eine Zahlenreihe, die die Bedeutung des Textes abbildet.
4. Speicherung: Die Vektoren landen samt Metadaten (Quelle, Datum, Berechtigungen) in einer Vektordatenbank.

Phase 2: Beantwortung

1. Die Frage des Nutzers wird ebenfalls in einen Vektor umgewandelt.
2. Die Vektordatenbank liefert die inhaltlich ähnlichsten Abschnitte, gefiltert nach den Zugriffsrechten des Nutzers.
3. Optional sortiert ein Reranker die Treffer nach Relevanz.
4. Frage und Abschnitte werden gemeinsam an das Sprachmodell übergeben, mit der Anweisung, nur auf Basis dieser Quellen zu antworten.
5. Die Antwort wird mit Quellenangabe ausgegeben, sodass Nutzer die Aussage im Originaldokument prüfen können.

Vorteile gegenüber klassischer Suche

Die klassische Volltextsuche findet exakte Wortübereinstimmungen. Wer nach „Urlaubsanspruch“ sucht, findet kein Dokument, das nur von „Erholungsurlaub“ oder „Jahresurlaubstagen“ spricht. RAG arbeitet semantisch und erkennt solche Zusammenhänge.

In der Praxis kombinieren gute Systeme beide Welten: Eine hybride Suche aus Vektor- und Schlüsselwortsuche findet auch Artikelnummern, Normbezeichnungen und Eigennamen zuverlässig.

Typische Einsatzgebiete im Mittelstand

RAG lohnt sich überall dort, wo Mitarbeitende regelmäßig Zeit mit der Suche in Dokumenten verbringen:

• Personalwesen: Fragen zu Urlaub, Reisekosten oder Betriebsvereinbarungen
• Qualitätsmanagement: Verfahrens- und Arbeitsanweisungen, Auditberichte
• Kundenservice: Lösungsdatenbanken und Produkthandbücher
• Recht und Einkauf: Verträge, AGB, Lieferbedingungen
• Vertrieb: Produktinformationen, Referenzbeschreibungen, Angebotsbausteine
• Technik und Service: Wartungsanleitungen und Spezifikationen

Eine ausführliche Übersicht mit Beispielen finden Sie in unserem Beitrag zu zehn Anwendungsfällen für RAG im Mittelstand.

Grenzen von RAG

RAG ist kein Selbstläufer. Die Qualität der Antworten hängt direkt von der Qualität der Dokumente und der Suche ab. Typische Schwachstellen:

• Veraltete oder widersprüchliche Dokumente führen zu widersprüchlichen Antworten.
• Schlechte Extraktion, etwa bei gescannten PDFs oder komplexen Tabellen, lässt relevante Inhalte unsichtbar werden.
• Zu große oder zu kleine Chunks verschlechtern die Trefferqualität.
• Fehlende Rechteprüfung kann dazu führen, dass Nutzer Inhalte sehen, die für sie nicht bestimmt sind.

RAG reduziert Halluzinationen deutlich, weil das Modell an konkrete Quellen gebunden wird. Ganz ausschließen lassen sie sich nicht. Deshalb gehören Quellenangaben und eine klare Anweisung „Wenn die Quellen keine Antwort enthalten, sage das“ zum Standard.

DSGVO und RAG: worauf Sie achten müssen

Da RAG mit internen und oft personenbezogenen Dokumenten arbeitet, ist der Datenschutz zentral. Prüfen Sie insbesondere:

• Werden Ihre Dokumente oder Anfragen zum Training von Modellen verwendet?
• Wo findet die Verarbeitung statt, und unterliegt der Anbieter Zugriffsrechten aus Drittstaaten?
• Werden Zugriffsrechte aus den Quellsystemen im RAG-System durchgesetzt?
• Gibt es einen Auftragsverarbeitungsvertrag und ein nachvollziehbares Löschkonzept?

Secure Cloud RAG von Verdacloud läuft in ISO-27001-zertifizierten Rechenzentren in Bayern und Sachsen, mit Mandantentrennung und ohne Nutzung Ihrer Daten für das Modelltraining. Vertiefende Hinweise finden Sie in unserem Artikel zur DSGVO-Konformität im KI-Wissensmanagement.