Vektordatenbanken erklärt: Das Herzstück von RAG-Systemen
Eine Vektordatenbank speichert Texte als Embeddings, also als Zahlenvektoren, die ihre Bedeutung abbilden, und findet zu einer Frage die inhaltlich ähnlichsten Einträge in Millisekunden. In RAG-Systemen ist sie das Herzstück der Suche: Sie entscheidet, welche Dokumentabschnitte das Sprachmodell als Grundlage für seine Antwort erhält.
Vektordatenbanken erklärt: Embeddings und Vektoren
Ein Embedding ist eine numerische Repräsentation eines Textes, eine Liste von typischerweise mehreren Hundert bis einigen Tausend Zahlen. Ein Embedding-Modell erzeugt diese Vektoren so, dass inhaltlich ähnliche Texte nah beieinanderliegen.
Ein Beispiel: Die Sätze „Wie viele Urlaubstage habe ich?“ und „Mein jährlicher Erholungsurlaub umfasst 30 Tage“ teilen kaum Wörter, liegen im Vektorraum aber nah beieinander. „Der Urlaub in Italien war schön“ liegt dagegen weiter entfernt, obwohl das Wort „Urlaub“ vorkommt.
Die Nähe zweier Vektoren wird mit Distanzmaßen berechnet, am häufigsten mit der Kosinus-Ähnlichkeit oder dem Skalarprodukt. Welche Embedding-Modelle für deutsche Texte geeignet sind, beschreibt unser Beitrag zu Embedding-Modellen für deutsche Texte.
Warum klassische Datenbanken nicht ausreichen
Relationale Datenbanken sind für exakte Abfragen gebaut: „Zeige alle Kunden aus Augsburg.“ Eine Vektordatenbank beantwortet eine andere Art von Frage: „Finde die Texte, die meiner Frage inhaltlich am ähnlichsten sind.“
Bei Millionen von Vektoren wäre es viel zu langsam, jeden einzelnen mit der Frage zu vergleichen. Vektordatenbanken nutzen deshalb spezielle Indexstrukturen für die sogenannte Approximate Nearest Neighbor Search (ANN): Sie finden die ähnlichsten Einträge sehr schnell, mit einer minimalen, einstellbaren Ungenauigkeit.
| Merkmal | Relationale Datenbank | Vektordatenbank |
|---|---|---|
| Abfrage | exakte Bedingungen | Ähnlichkeit |
| Datentyp | Zahlen, Text, Datum | hochdimensionale Vektoren plus Metadaten |
| Index | B-Baum, Hash | HNSW, IVF, DiskANN |
| Ergebnis | alle passenden Zeilen | die k ähnlichsten Einträge |
| Typischer Einsatz | ERP, CRM, Buchhaltung | semantische Suche, RAG, Empfehlungen |
Wie die Vektorsuche schnell wird
Die Geschwindigkeit und Qualität der Suche hängen von mehreren Stellschrauben ab:
- Indextyp: HNSW (Hierarchical Navigable Small World) ist ein Graph-Index mit sehr guter Balance aus Geschwindigkeit und Trefferqualität und in den meisten RAG-Systemen Standard. IVF teilt den Raum in Cluster auf und spart Speicher, DiskANN-Varianten lagern große Indizes auf SSD aus.
- Quantisierung: Vektoren werden komprimiert, etwa von 32-Bit-Gleitkommazahlen auf 8 Bit oder binär. Das reduziert den Speicherbedarf erheblich, meist mit geringem Qualitätsverlust.
- Metadatenfilter: Die Suche wird auf berechtigte Dokumente, einen Dokumenttyp oder einen Zeitraum eingeschränkt. Für den Datenschutz ist diese Filterung zentral.
- Hardware: Die meisten Vektordatenbanken laufen effizient auf CPU und RAM. GPUs werden vor allem für die Erzeugung der Embeddings und das Sprachmodell benötigt.
Mit passender Konfiguration liegen Suchzeiten auch bei Millionen von Abschnitten im Bereich weniger Dutzend Millisekunden. Der größere Teil der Antwortzeit entfällt in der Praxis auf das Sprachmodell.
Hybride Suche: Vektoren plus Schlüsselwörter
Reine Vektorsuche hat eine Schwäche: Exakte Bezeichner wie Artikelnummern, Normen („DIN EN ISO 9001“) oder Eigennamen werden nicht immer zuverlässig gefunden. Moderne Vektordatenbanken unterstützen deshalb hybride Suche, die Vektorähnlichkeit mit klassischer Schlüsselwortsuche (BM25 oder Sparse-Vektoren) kombiniert. Für Unternehmensdokumente ist das in der Regel die bessere Wahl.
Verbreitete Vektordatenbanken im Vergleich
| Lösung | Typ | Besonderheiten | Geeignet für |
|---|---|---|---|
| Qdrant | Open Source | in Rust geschrieben, starke Filterung, Quantisierung | Enterprise-RAG, Self-Hosting |
| Weaviate | Open Source | integrierte hybride Suche, Module für Embeddings | Enterprise-RAG, Self-Hosting |
| Milvus | Open Source | auf sehr große Datenmengen ausgelegt, verteilt | sehr große Bestände |
| pgvector | PostgreSQL-Erweiterung | Vektoren in bestehender Datenbank | kleinere bis mittlere Bestände |
| Chroma | Open Source | leichtgewichtig, einfacher Einstieg | Prototypen |
| Pinecone | Managed-Dienst (USA) | kein eigener Betrieb nötig | Projekte ohne strenge Datenresidenz |
Für Enterprise-RAG mit Datenschutzanforderungen setzen wir auf selbst betriebene Open-Source-Lösungen wie Qdrant oder Weaviate. Sie laufen in der jeweiligen Kundenumgebung, bei Verdacloud in Rechenzentren in Deutschland, sodass Dokumentinhalte für die Vektorsuche nicht an externe Dienste übertragen werden müssen. Wer bereits PostgreSQL einsetzt und überschaubare Datenmengen hat, kommt mit pgvector oft gut aus.
Worauf Sie bei der Auswahl achten sollten
- Datenmenge und Wachstum: Tausende oder Hunderte Millionen Abschnitte?
- Filterfähigkeit: Lassen sich Berechtigungen effizient während der Suche filtern?
- Hybride Suche: Wird sie nativ unterstützt?
- Betrieb: Backups, Updates, Monitoring und Hochverfügbarkeit
- Datenresidenz: Wo liegen die Vektoren, und wer hat Zugriff?
Die Vektordatenbank im RAG-Stack
Die Vektordatenbank ist ein Baustein in einer Kette: Dokumente, Chunking, Embedding-Modell, Vektordatenbank, Retrieval und Reranking, Sprachmodell, Antwort mit Quellen. Jedes Glied beeinflusst die Qualität. Eine perfekt konfigurierte Datenbank nützt wenig, wenn die Dokumente schlecht zerlegt sind. Wie Sie das Gesamtsystem aufbauen, zeigt unser Praxis-Leitfaden zur RAG-Implementierung.
Mit Secure Cloud RAG erhalten Sie alle Komponenten als betriebenes Gesamtsystem, in ISO-27001-zertifizierten Rechenzentren in Bayern und Sachsen, inklusive Monitoring, Updates und Backups. Wer eigene Komponenten betreiben möchte, findet mit Managed KI-Servern die passende GPU-Infrastruktur.
Häufige Fragen
Braucht jedes RAG-System eine eigene Vektordatenbank?
Welche Vektordatenbank ist die beste?
Braucht eine Vektordatenbank eine GPU?
Sind in der Vektordatenbank meine Dokumente gespeichert?
Verwandte Artikel
RAG-Systeme mit Multi-Modal-Daten: Bilder, PDFs und Tabellen durchsuchbar machen
Multi-Modal RAG in der Praxis: Wie Sie Tabellen, Diagramme, Scans und Bilder in PDFs erschließen – mit Parsing, Vision-Modellen und visueller Suche.
Retrieval-Augmented Generation für SAP: Unternehmenssuche der nächsten Generation
SAP RAG erklärt: Wie Sie SAP-Daten per OData und CDS-Views anbinden, Berechtigungen wahren und Fragen in natürlicher Sprache beantworten lassen.
ROI von RAG-Systemen: So rechnen Sie den Business Case
ROI von RAG-Systemen berechnen: Kennzahlen, Nutzenhebel, eine nachvollziehbare Beispielrechnung und typische Fehler für einen belastbaren Business Case.