Fine-Tuning auf eigenem GPU-Server: KI-Modelle an Ihr Unternehmen anpassen

Warum Fine-Tuning auf eigenem GPU-Server?

Ein vortrainiertes Open-Source-Modell, etwa aus den Familien Llama, Mistral oder Qwen, beherrscht Sprache und Allgemeinwissen. Ihr Unternehmen kennt es nicht: weder Ihre Produktbezeichnungen noch Ihre Formulierungsrichtlinien oder die Struktur Ihrer Prüfberichte. Fine-Tuning setzt genau hier an.

Typische Ziele sind:

• Fachterminologie: korrekte Verwendung von Begriffen aus Technik, Recht oder Medizin
• Stil und Format: Antworten im gewünschten Ton, in festen Strukturen oder als valides JSON
• Wiederkehrende Aufgaben: Klassifikation, Extraktion oder Zusammenfassung nach festen Regeln
• Kleinere Modelle, gleiche Qualität: Ein angepasstes kleines Modell kann für eine eng umrissene Aufgabe ein großes allgemeines Modell ersetzen und ist im Betrieb günstiger

Der eigene Server hat dabei zwei Vorteile: Die Trainingsdaten, oft interne Dokumente und Kundenkommunikation, verlassen Ihre Infrastruktur nicht. Und das Ergebnis, die angepassten Gewichte, gehört vollständig Ihnen.

Fine-Tuning oder RAG?

Bevor Sie trainieren, lohnt eine ehrliche Prüfung: Geht es um Wissen oder um Verhalten? Soll das Modell aktuelle Fakten aus Handbüchern, Verträgen oder Wikis kennen, ist Retrieval-Augmented Generation meist die bessere Wahl. Wissen lässt sich per RAG jederzeit aktualisieren, Antworten erhalten eine Quellenangabe. Fine-Tuning spielt seine Stärken aus, wenn das Modell etwas anders tun soll – in einem bestimmten Stil, Format oder nach festen Mustern.

In der Praxis ergänzen sich beide Ansätze häufig. Eine ausführliche Gegenüberstellung finden Sie im Beitrag RAG vs. Fine-Tuning.

LoRA und QLoRA: effizientes Fine-Tuning

Beim Full Fine-Tuning werden alle Gewichte eines Modells neu trainiert. Das braucht neben dem Modell selbst Speicher für Gradienten und Optimizer-Zustände – bei großen Modellen ein Vielfaches des Modellspeichers und damit mehrere Rechenzentrums-GPUs.

LoRA (Low-Rank Adaptation) friert das Basismodell ein und trainiert nur kleine zusätzliche Adapter-Matrizen. Der Anteil trainierbarer Parameter liegt typischerweise im niedrigen Prozentbereich oder darunter. Das senkt den Speicherbedarf erheblich, und die fertigen Adapter sind nur wenige Megabyte bis wenige hundert Megabyte groß.

QLoRA kombiniert LoRA mit einem auf 4 Bit quantisierten Basismodell. Dadurch sinkt der Speicherbedarf nochmals deutlich.

Konkret heißt das: Auf der Verda GPU L mit RTX PRO 6000 und 96 GB lassen sich 7B- bis 14B-Modelle komfortabel mit LoRA trainieren und Modelle der 70B-Klasse per QLoRA anpassen. Auf der Verda GPU S mit RTX 4000 SFF und 20 GB ist QLoRA für kleinere Modelle möglich. Die Details zur Speicherberechnung erläutert unser VRAM-Guide.

Trainingsdaten vorbereiten

Die Qualität Ihrer Trainingsdaten bestimmt die Qualität des Ergebnisses – weit stärker als Modellgröße oder Hyperparameter. Gängige Formate sind:

• Instruction-Datensätze: Anweisung und gewünschte Antwort als Paar
• Konversationen: mehrstufige Dialoge im Chat-Format des jeweiligen Modells
• Completion-Datensätze: Textanfang und gewünschte Fortsetzung

Für viele Anwendungsfälle reichen als Richtwert einige hundert bis einige tausend sorgfältig geprüfte Beispiele. Wichtig sind:

1. Konsistenz: Widersprüchliche Beispiele verwirren das Modell mehr, als sie nützen.
2. Abdeckung: Die Beispiele sollten die tatsächliche Vielfalt der späteren Anfragen widerspiegeln.
3. Datenschutz: Personenbezogene Daten vor dem Training entfernen oder pseudonymisieren. Was im Training steckt, kann das Modell später wiedergeben.
4. Zurückgehaltenes Testset: Ein Teil der Daten wird nicht trainiert, sondern ausschließlich zur Bewertung genutzt.

Training durchführen

Für das Training hat sich ein ausgereiftes Open-Source-Ökosystem etabliert:

• Hugging Face Transformers mit PEFT und TRL: flexibel, gut dokumentiert, Standard in vielen Projekten
• Axolotl: Konfiguration per YAML-Datei, gut reproduzierbar
• LLaMA-Factory: mit grafischer Oberfläche, geeignet für den Einstieg
• Unsloth: auf Speichereffizienz und Geschwindigkeit bei LoRA und QLoRA optimiert

Die Trainingsdauer hängt von Modellgröße, Datenmenge, Sequenzlänge und Anzahl der Epochen ab. Ein LoRA-Training eines 7B-Modells auf einigen tausend Beispielen liegt auf einer RTX PRO 6000 als Richtwert im Bereich weniger Stunden. Am besten betreiben Sie das Training in Containern, damit Umgebung und Ergebnis reproduzierbar sind – wie das geht, zeigt der Beitrag Docker und Kubernetes für KI.

Evaluierung und Deployment

Nach dem Training folgt der wichtigste Schritt: die Bewertung. Prüfen Sie das Modell am zurückgehaltenen Testset und vergleichen Sie es mit dem Basismodell:

• Sind die Antworten fachlich korrekt?
• Passen Stil, Format und Terminologie?
• Hat das Modell allgemeine Fähigkeiten verloren, die Sie weiterhin brauchen?

Automatische Metriken helfen, ersetzen aber nicht die Bewertung durch Fachleute aus dem jeweiligen Bereich. Hat das Modell überzeugt, können Sie die LoRA-Adapter mit dem Basismodell zusammenführen oder – etwa mit vLLM – mehrere Adapter auf einem gemeinsamen Basismodell parallel bereitstellen. Deployment und Betrieb übernehmen wir auf Wunsch auf einem Managed KI-Server.