RAG-Systeme mit Multi-Modal-Daten: Bilder, PDFs und Tabellen durchsuchbar machen

Das Problem: Text-only-RAG übersieht wichtige Informationen

Klassische RAG-Systeme extrahieren Text aus Dokumenten und indexieren ihn. Bei vielen Unternehmensdokumenten steckt das entscheidende Wissen aber nicht im Fließtext:

• Datenblätter und Kataloge: Maße, Toleranzen und Werkstoffe stehen in Tabellen.
• Technische Dokumentation: Explosionszeichnungen, Schaltpläne und Positionsnummern.
• Berichte und Präsentationen: Kennzahlen in Diagrammen, deren Aussage nirgends als Satz steht.
• Gescannte Altbestände: Prüfprotokolle, Lieferscheine, handschriftliche Vermerke.
• Fotos: Schadensbilder, Maschinenzustände, Baustellendokumentation.

Wird eine Tabelle als Zeichenkette ausgelesen, verschwinden Zeilen- und Spaltenbezüge. „DN50 16 bar 1.4404 2,3 kg“ ist für Suche und Sprachmodell kaum interpretierbar. Wie viel Information verloren geht, hängt stark vom Dokumentbestand ab – bei technischen und kaufmännischen Unterlagen ist es häufig ein erheblicher Teil.

Drei Architekturansätze für Multi-Modal RAG

In der Praxis werden die Ansätze kombiniert: strukturiertes Parsing als Basis, Vision-Beschreibungen für Abbildungen und – bei stark visuellen Beständen – visuelle Seitenembeddings als zusätzlicher Suchweg.

Phase 1: Dokumente intelligent zerlegen

Moderne Open-Source-Parser wie Docling erkennen Lesereihenfolge, Überschriften, Tabellenstrukturen inklusive verbundener Zellen sowie Abbildungen und geben das Ergebnis als strukturiertes Dokument aus. Wichtig für RAG ist, dass jedes Element seine Seitenzahl und Position behält. So kann die Antwort später genau auf die Fundstelle verweisen.

Für gescannte Dokumente kommt OCR hinzu. Bei schlechten Vorlagen, Stempeln oder Handschrift liefern Vision-Language-Modelle oft bessere Ergebnisse als klassische OCR-Engines – die Qualität sollte aber stichprobenartig geprüft werden.

Phase 2: Tabellen richtig behandeln

Tabellen sind der häufigste Grund für falsche Antworten in technischen und kaufmännischen RAG-Systemen. Bewährte Regeln:

• Struktur erhalten: Tabellen als Markdown oder HTML speichern, nicht als Fließtext.
• Kopfzeilen wiederholen: Wird eine lange Tabelle aufgeteilt, erhält jeder Teil die Spaltenüberschriften.
• Kontext mitgeben: Tabellentitel, Einheit und umgebender Absatz gehören in den Chunk.
• Zusammenfassung ergänzen: Eine kurze, generierte Beschreibung („Tabelle der Nenndrücke und Gewichte für Flansche DN25 bis DN150“) verbessert die Auffindbarkeit.
• Zahlen nicht vom Sprachmodell rechnen lassen: Für Summen und Vergleiche besser strukturierte Abfragen nutzen.

Mehr zur Aufteilung von Dokumenten im Beitrag Chunking-Strategien für RAG.

Phase 3: Bilder und Diagramme erschließen

Für Abbildungen gibt es zwei Wege, die sich ergänzen:

1. Beschreiben: Ein Vision-Modell erzeugt zu jedem Bild eine sachliche Beschreibung – bei Diagrammen inklusive der ablesbaren Werte, bei Zeichnungen inklusive der Positionsnummern. Diese Beschreibung wird wie Text eingebettet.
2. Direkt einbetten: Multimodale Embedding-Modelle bilden Text und Bild in einem gemeinsamen Vektorraum ab. So findet die Frage „Foto von Korrosion an der Flanschverbindung“ passende Bilder, auch ohne Beschreibung.

Visuelle Retrieval-Verfahren wie ColPali oder ColQwen gehen noch einen Schritt weiter: Sie betrachten die ganze Seite als Bild und vergleichen die Frage mit einzelnen Bildbereichen. Das ist besonders bei layoutlastigen Dokumenten wie Finanzberichten, Formularen oder Katalogseiten hilfreich. Welche Embedding-Modelle für deutsche Texte in Frage kommen, lesen Sie im Beitrag Embedding-Modelle für deutsche Texte.

Phase 4: Antworten mit visueller Quelle

Ein multimodales System sollte in der Antwort nicht nur den Dokumentnamen nennen, sondern auch die Seite, die Tabelle oder die Abbildung – idealerweise mit Vorschau. Für die Generierung eignet sich ein Vision-fähiges Sprachmodell, das die gefundene Seite oder Abbildung zusammen mit dem Text auswertet.

Infrastruktur: Warum GPU-Leistung hier zählt

Multi-Modal RAG ist rechenintensiver als reines Text-RAG. Layout-Analyse, OCR, Bildbeschreibung und visuelle Embeddings laufen bei der Indexierung für jede Seite. Bei großen Beständen lohnt sich deshalb eine eigene GPU:

• Verda GPU S (NVIDIA RTX 4000 SFF Ada, 20 GB) eignet sich für Parsing, Embeddings und kompakte Vision-Modelle.
• Verda GPU L (NVIDIA RTX PRO 6000 Blackwell, 96 GB) bietet Reserven für größere Vision-Language-Modelle und hohe Durchsätze.

Beide sind als Managed KI-Server verfügbar, betrieben in ISO-27001-zertifizierten Rechenzentren in Bayern und Sachsen. Dokumente und Bilder verlassen damit nicht die kontrollierte Umgebung – wichtig bei Fotos mit Personen oder vertraulichen Konstruktionszeichnungen.

Anwendungsfälle für deutsche Unternehmen

• Produktkatalog und Vertrieb: Suche nach Spezifikation und Aussehen, etwa „Edelstahl-Kugelhahn mit Handhebel, DN40, PN40“.
• Technische Dokumentation: Explosionszeichnung und Stückliste werden verknüpft, der Servicetechniker findet das Ersatzteil über die Positionsnummer.
• Versicherungen und Schadensmanagement: Schadensfotos, Gutachten und Vertragsbedingungen werden gemeinsam durchsucht.
• Instandhaltung: Maschinenfotos, Wartungsprotokolle und Handbücher zu einer Anlage sind mit einer Frage abrufbar.
• Bildarchive: Große Bildbestände lassen sich über Inhalte statt Dateinamen erschließen – siehe KI-Bildverwaltung.

Häufige Fehler

• Alle PDFs gleich behandeln: Digitale PDFs, Scans und Präsentationen brauchen unterschiedliche Verarbeitungswege.
• Tabellen als Fließtext indexieren: Die häufigste Ursache für falsche Zahlen in Antworten.
• Bildbeschreibungen nicht prüfen: Stichproben zeigen früh, ob das Vision-Modell Fachinhalte korrekt erfasst.
• Speicherbedarf unterschätzen: Visuelle Multi-Vektor-Embeddings belegen deutlich mehr Platz als Textvektoren.