Chunking-Strategien: So bereiten Sie Dokumente für RAG auf

Was ist Chunking und warum ist es für RAG so wichtig?

Ein RAG-System sucht nicht in ganzen Dokumenten, sondern in Abschnitten. Jeder Abschnitt (Chunk) wird einzeln in einen Vektor umgewandelt und in der Vektordatenbank gespeichert. Bei einer Frage werden die passendsten Chunks gesucht und dem Sprachmodell als Kontext übergeben.

Daraus ergeben sich zwei gegenläufige Anforderungen:

• Chunks müssen klein genug sein, damit ihr Vektor ein klares Thema abbildet. Ein Chunk, der drei Themen mischt, passt zu keiner Frage richtig gut.
• Chunks müssen groß genug sein, damit sie ohne Umgebung verständlich bleiben. „Die Frist beträgt 14 Tage“ nützt wenig, wenn nicht klar ist, welche Frist gemeint ist.

Wie die Chunks anschließend in Vektoren übersetzt werden, beschreibt der Beitrag zu Embedding-Modellen für deutsche Texte.

Die wichtigsten Chunking-Strategien im Vergleich

Für Unternehmensdokumente hat sich in der Praxis eine Kombination bewährt: strukturbasiertes Chunking als Grundlage, rekursive Aufteilung für zu lange Abschnitte und bei Bedarf ein hierarchischer Index.

Chunk-Größen nach Dokumenttyp

Die folgenden Werte sind Richtwerte als Startpunkt. Die optimale Größe hängt vom Embedding-Modell, von der Art der Fragen und vom Kontextfenster des LLM ab.

• Verträge und Rechtsdokumente: 300 bis 500 Token. Eine Klausel oder ein Paragraph pro Chunk, damit Fundstellen präzise zitiert werden können.
• Technische Handbücher: 500 bis 800 Token. Ein Arbeitsschritt oder Unterkapitel mit Sicherheitshinweisen gehört zusammen.
• Berichte und Präsentationen: 400 bis 600 Token beziehungsweise eine Folie pro Chunk.
• E-Mails und Tickets: in der Regel eine Nachricht pro Chunk, zitierte Vorgänger-Mails vorher entfernen.
• FAQ-Dokumente: jedes Frage-Antwort-Paar als eigener Chunk.
• Tabellen: nie mitten in einer Zeile trennen; Kopfzeile bei jedem Teil wiederholen.

Beachten Sie die maximale Eingabelänge Ihres Embedding-Modells. Manche Modelle verarbeiten nur 512 Token und schneiden längere Chunks ohne Warnung ab.

Overlap: der unterschätzte Faktor

Ein Overlap von etwa 10 bis 20 Prozent zwischen aufeinanderfolgenden Chunks stellt sicher, dass Informationen an den Grenzen nicht verloren gehen. Beispiel: Bei 500 Token pro Chunk und 75 Token Overlap beginnt Chunk 2 mit den letzten 75 Token von Chunk 1.

Bei strukturbasiertem Chunking ist Overlap weniger wichtig, weil die Grenzen ohnehin an natürlichen Stellen liegen. Wichtiger ist dort, jedem Chunk seinen Kontextpfad mitzugeben – etwa „Betriebsvereinbarung Arbeitszeit › § 4 Gleitzeit › Absatz 2“. Diese Überschriftenkette wird dem Text vorangestellt und verbessert sowohl die Suche als auch das Verständnis des Sprachmodells.

Metadaten: Filter, Aktualität und Rechte

Jeder Chunk sollte strukturierte Metadaten tragen:

• Quelldokument, Seite oder Abschnitt (für die Quellenangabe)
• Dokumenttyp, Abteilung, Sprache
• Gültigkeitsdatum und Version
• Zugriffsrechte beziehungsweise Berechtigungsgruppen

Metadaten ermöglichen gezieltes Filtern („nur gültige Fassungen“, „nur Dokumente der Qualitätssicherung“) und sind die Grundlage dafür, dass Nutzer nur Inhalte sehen, auf die sie ohnehin Zugriff haben. Bei Secure Cloud RAG werden Berechtigungen deshalb bereits auf Chunk-Ebene berücksichtigt.

Die Vorstufe: sauberes Parsing

Chunking kann nur so gut sein wie die Textextraktion davor. Typische Probleme:

• PDF-Layouts: Mehrspaltige Seiten, Kopf- und Fußzeilen oder Seitenzahlen landen mitten im Text.
• Gescannte Dokumente: Ohne OCR gibt es keinen Text, mit schlechter OCR fehlerhaften Text.
• Tabellen und Grafiken: Werden sie als Fließtext extrahiert, geht die Struktur verloren.

Moderne Parser erkennen Überschriften, Lesereihenfolge und Tabellenstrukturen und geben das Dokument als strukturiertes Markdown aus. Das ist die ideale Grundlage für strukturbasiertes Chunking. Wie Sie Bilder und Tabellen darüber hinaus erschließen, zeigt der Beitrag zu Multi-Modal-RAG.

Häufige Fehler beim Chunking

• Eine Chunk-Größe für alles. Verträge und Wartungshandbücher brauchen unterschiedliche Regeln.
• Überschriften abtrennen. Steht die Überschrift im vorigen Chunk, fehlt dem Inhalt der Bezug.
• Duplikate indexieren. Fünf Versionen desselben Dokuments verdrängen relevante Treffer. Alte Fassungen gehören markiert oder ausgeschlossen.
• Nicht messen. Ob eine Strategie besser ist, zeigt nur ein Testset mit echten Fragen und bekannten Quellen.

Schlecht gewählte Chunks sind eine der häufigsten Ursachen für falsche Antworten. Mehr dazu im Beitrag Halluzinationen in Enterprise-RAG vermeiden.

Praxisbeispiel: Qualitätsmanagement-Handbuch

Ein QM-Handbuch mit Verfahrens- und Arbeitsanweisungen wird entlang der Kapitelstruktur zerlegt. Jede Verfahrensanweisung erhält als Metadaten Dokumentnummer, Revisionsstand und Geltungsbereich. Lange Kapitel werden rekursiv auf etwa 600 Token geteilt, die Überschriftenkette wird jedem Teil vorangestellt. Nur die jeweils gültige Revision wird durchsucht. Ergebnis: Fragen wie „Wie läuft die Wareneingangsprüfung bei Kaufteilen ab?“ treffen den passenden Abschnitt, und die Antwort nennt Dokumentnummer und Revisionsstand als Quelle.