RAG-System implementieren: Der Praxis-Leitfaden
Ein RAG-System implementieren Sie in sechs Phasen: Bestandsaufnahme, Datenaufbereitung, Indexierung, Integration, Test und schrittweiser Rollout mit anschließendem Betrieb. Ein Pilot für einen klar abgegrenzten Bereich ist in der Regel innerhalb von drei bis sechs Wochen realisierbar, entscheidend für die Qualität ist vor allem die saubere Aufbereitung der Dokumente.
Vor dem Start: ein RAG-System implementieren heißt Ziele festlegen
Bevor Technik ausgewählt wird, sollten drei Fragen beantwortet sein:
- Wer fragt? Interne Fachabteilung, alle Mitarbeitenden oder externe Kunden?
- Was wird gefragt? Sammeln Sie 30 bis 50 reale Fragen aus dem Tagesgeschäft. Sie dienen später als Testbasis.
- Woran messen Sie Erfolg? Etwa Antwortqualität, Nutzungsrate, weniger Rückfragen an Fachabteilungen.
Wenn noch unklar ist, welcher Bereich sich am besten eignet, hilft unsere Übersicht mit zehn Anwendungsfällen für RAG im Mittelstand.
Phase 1: Bestandsaufnahme (Woche 1)
Im Kick-off werden die Dokumentenquellen erfasst: Wo liegen die Daten, in welchen Formaten, wie aktuell sind sie, wer darf was sehen? Typisch für den Mittelstand sind SharePoint, Netzlaufwerke, Confluence, PDF-Sammlungen, DMS-Systeme und E-Mail-Archive.
Wichtige Ergebnisse dieser Phase:
- Liste der Quellen mit Umfang und Formaten
- Rechtekonzept: Welche Gruppen dürfen welche Inhalte sehen?
- Entscheidung über den Betriebsort (Cloud in Deutschland, dedizierter Server oder eigenes Rechenzentrum)
- Klärung datenschutzrechtlicher Fragen mit dem Datenschutzbeauftragten
Phase 2: Datenaufbereitung (Woche 1 bis 2)
Dokumente werden extrahiert, bereinigt und in Abschnitte (Chunks) zerlegt. Diese Phase entscheidet über den größten Teil der späteren Antwortqualität.
- Extraktion: Texte, Tabellen und Überschriften strukturerhaltend auslesen. Gescannte Dokumente benötigen OCR.
- Bereinigung: Dubletten, veraltete Versionen und irrelevante Inhalte wie Kopf- und Fußzeilen entfernen.
- Chunking: Als Richtwert haben sich Abschnitte von etwa 300 bis 1.000 Token mit einer Überlappung bewährt, idealerweise an Überschriften und Absätzen ausgerichtet.
- Metadaten: Quelle, Titel, Kapitel, Datum, Dokumenttyp und Berechtigungen an jeden Chunk anhängen.
Phase 3: Indexierung und Embedding (Woche 2)
Die Chunks werden durch ein Embedding-Modell in Vektoren umgewandelt und in einer Vektordatenbank gespeichert. Für deutschsprachige Inhalte haben sich mehrsprachige Open-Source-Modelle bewährt, zum Beispiel BGE-M3, multilingual-e5-large oder die Qwen3-Embedding-Familie. Welches Modell am besten passt, hängt von Ihren Dokumenten ab und sollte mit den eigenen Testfragen geprüft werden.
Bewährte Bausteine für eine gute Suche:
- Hybride Suche: Vektorsuche kombiniert mit Schlüsselwortsuche (BM25), damit auch Artikelnummern und Fachbegriffe sicher gefunden werden
- Reranking: Ein zweites Modell sortiert die besten Treffer nach Relevanz
- Metadatenfilter: Einschränkung nach Berechtigung, Dokumenttyp oder Aktualität
Phase 4: System-Integration (Woche 2 bis 3)
Das RAG-System wird in die bestehende Infrastruktur eingebunden:
- Single Sign-on über Microsoft Entra ID, Google Workspace oder einen anderen Identitätsanbieter
- Rechteübernahme aus den Quellsystemen, damit Antworten nur aus freigegebenen Dokumenten entstehen
- Automatische Synchronisation, damit neue und geänderte Dokumente zeitnah verfügbar sind
- Oberflächen: Web-Chat, Integration in Microsoft Teams oder Intranet, API für eigene Anwendungen
- Protokollierung: Wer hat wann was gefragt, welche Quellen wurden verwendet
Die Wahl des Sprachmodells hängt von Datenschutzanforderungen und Anspruch ab. Für sensible Daten empfiehlt sich ein in Deutschland gehostetes Open-Source-Modell, etwa über Local LLM Hosting & Secure Gateway.
Phase 5: Test und Optimierung (Woche 3 bis 4)
Mit den gesammelten Praxisfragen wird systematisch getestet. Bewertet werden zwei Ebenen getrennt:
| Ebene | Leitfrage | Typische Stellschrauben |
|---|---|---|
| Retrieval | Wurden die richtigen Abschnitte gefunden? | Chunking, Embedding-Modell, hybride Suche, Reranker |
| Generierung | Ist die Antwort korrekt, vollständig und belegt? | Prompt-Vorlage, Sprachmodell, Anzahl der Kontextabschnitte |
| Verhalten | Sagt das System ehrlich, wenn es keine Antwort findet? | Systemanweisung, Schwellenwerte für Relevanz |
Key-User aus der Fachabteilung bewerten die Antworten und liefern Feedback. Halten Sie die Testfragen als festen Satz fest und wiederholen Sie den Test nach jeder Änderung an Chunking, Modell oder Prompt. So erkennen Sie, ob eine Anpassung die Qualität tatsächlich verbessert oder an anderer Stelle verschlechtert.
Phase 6: Rollout und Betrieb
Nach einem erfolgreichen Pilot folgt der schrittweise Rollout, zunächst an eine erweiterte Nutzergruppe, dann an weitere Abteilungen. Schulungen sollten nicht nur die Bedienung erklären, sondern auch, wie man gute Fragen stellt und Quellen prüft.
Im laufenden Betrieb fallen regelmäßige Aufgaben an: Monitoring, Updates von Modellen und Software, Backups, Pflege der Dokumentenbasis und Auswertung unbeantworteter Fragen. Mit Secure Cloud RAG übernimmt Verdacloud diesen Betrieb, mit festem Ansprechpartner und Rechenzentren in Bayern und Sachsen.
Häufige Fehler bei der RAG-Implementierung
- Alle Dokumente auf einmal indexieren: Besser mit einem kuratierten Bestand starten.
- Rechte erst später bedenken: Das Rechtekonzept gehört in Phase 1.
- Nur nach Gefühl testen: Ohne feste Testfragen lassen sich Verbesserungen nicht messen.
- Veraltete Versionen im Index: Führt zu widersprüchlichen Antworten.
- Betrieb unterschätzen: Ein RAG-System ist kein einmaliges Projekt, sondern ein Dienst, der gepflegt werden muss.
Für Strategie, Use-Case-Auswahl und Change-Management begleitet Sie unsere Schwestermarke VerdaGen.ai.
Häufige Fragen
Wie lange dauert die Implementierung eines RAG-Systems?
Welche Chunk-Größe ist für RAG optimal?
Brauche ich für RAG eine eigene GPU?
Wie bleiben die Antworten aktuell?
Verwandte Artikel
RAG-Systeme mit Multi-Modal-Daten: Bilder, PDFs und Tabellen durchsuchbar machen
Multi-Modal RAG in der Praxis: Wie Sie Tabellen, Diagramme, Scans und Bilder in PDFs erschließen – mit Parsing, Vision-Modellen und visueller Suche.
Retrieval-Augmented Generation für SAP: Unternehmenssuche der nächsten Generation
SAP RAG erklärt: Wie Sie SAP-Daten per OData und CDS-Views anbinden, Berechtigungen wahren und Fragen in natürlicher Sprache beantworten lassen.
ROI von RAG-Systemen: So rechnen Sie den Business Case
ROI von RAG-Systemen berechnen: Kennzahlen, Nutzenhebel, eine nachvollziehbare Beispielrechnung und typische Fehler für einen belastbaren Business Case.