Open Source LLMs im Vergleich 2026: Llama, Mistral, Gemma, Qwen und weitere

Open Source LLM Vergleich 2026: Was sich seit 2025 geändert hat

Das Feld hat sich in den vergangenen zwölf Monaten deutlich bewegt. Drei Entwicklungen prägen die Auswahl:

• Mixture of Experts (MoE) ist Standard. Viele neue Modelle haben sehr viele Parameter, aktivieren pro Token aber nur einen kleinen Teil. Das beschleunigt die Inferenz, der VRAM-Bedarf richtet sich jedoch nach der Gesamtgröße.
• Permissive Lizenzen setzen sich durch. Qwen, Mistral und inzwischen auch Gemma veröffentlichen unter Apache 2.0, DeepSeek unter MIT. Das vereinfacht die rechtliche Prüfung erheblich.
• Multimodalität wird Normalfall. Viele aktuelle Modelle verarbeiten neben Text auch Bilder, was für Dokumentenanalyse relevant ist.

Unter „Open Source“ sind hier offene Gewichte („Open Weights“) gemeint: Sie können das Modell herunterladen und auf eigener Infrastruktur betreiben. Trainingsdaten und -code sind meist nicht vollständig offen.

Die Modellfamilien im Überblick

Lizenzbedingungen ändern sich. Prüfen Sie vor dem Einsatz immer die Lizenz der konkreten Modellversion.

Llama (Meta)

Llama 3.3 70B (Dezember 2024) ist ein dichtes Textmodell, das in allen Inferenz-Engines stabil läuft und in 4 Bit auf eine 96-GB-GPU passt. Die Llama-4-Familie (April 2025) setzt auf MoE und Multimodalität. Wichtig für deutsche Unternehmen: Die Acceptable Use Policy von Llama 4 schließt Unternehmen mit Hauptsitz in der EU von den Nutzungsrechten an den multimodalen Modellen aus; Endnutzer eines Produkts sind davon nicht betroffen. Das macht Llama 4 für den Eigenbetrieb in der EU rechtlich heikel. Wie Sie Llama 3.3 selbst betreiben, zeigt unsere Anleitung zu Llama 3.3 70B.

Mistral

Mistral AI aus Frankreich hat mit Mistral Large 3 (Dezember 2025, MoE mit 675 Mrd. Parametern, davon 41 Mrd. aktiv) und Mistral Small 4 (März 2026, MoE mit 119 Mrd. Parametern, rund 6 Mrd. aktiv, 256.000 Tokens Kontext) zwei Modelle unter Apache 2.0 veröffentlicht. Small 4 vereint Reasoning, Bildverständnis und Coding in einem Modell. Für Unternehmen, die Wert auf einen europäischen Anbieter legen, ist Mistral oft die erste Anlaufstelle.

Gemma (Google)

Gemma 4 (April 2026) steht erstmals unter Apache 2.0 und reicht von kompakten Edge-Varianten bis zu einem dichten Modell mit rund 31 Mrd. Parametern. Die Modelle sind multimodal und unterstützen laut Google über 140 Sprachen. Gemma eignet sich besonders dort, wo ein kompaktes Modell auf einer kleineren GPU laufen soll.

Qwen (Alibaba)

Die Qwen-3.5-Familie (Februar 2026) deckt nahezu jede Größe ab: dichte Modelle von 0,8 bis 27 Mrd. Parametern und MoE-Modelle bis 397 Mrd. Parameter, alle unter Apache 2.0 und mit Bildverständnis. Qwen 3.6 (April 2026) hat einzelne Größen aktualisiert. Die Mehrsprachigkeit einschließlich Deutsch gilt als Stärke der Familie.

DeepSeek

DeepSeek veröffentlicht unter der MIT-Lizenz. Die V4-Modelle (vorgestellt im April 2026) sind sehr groß: V4 Flash hat rund 284 Mrd. Parameter, V4 Pro rund 1,6 Billionen. Für den Eigenbetrieb braucht das GPU-Cluster, keine einzelne Karte. Einen direkten Vergleich finden Sie im Beitrag DeepSeek R1 vs. Llama 3.3.

gpt-oss (OpenAI)

Mit gpt-oss-20b und gpt-oss-120b (August 2025) hat OpenAI zwei Reasoning-Modelle mit offenen Gewichten unter Apache 2.0 veröffentlicht. Die größere Variante passt dank nativer 4-Bit-Gewichte auf eine einzelne GPU mit 80 bis 96 GB VRAM.

Welches Modell passt auf welche GPU?

Für den Unternehmenseinsatz ist die Frage „passt es auf meine Hardware?“ oft entscheidender als ein Benchmark-Unterschied von wenigen Punkten. Richtwerte bei 4-Bit-Quantisierung:

Bei MoE-Modellen gilt: Die aktiven Parameter bestimmen die Geschwindigkeit, die Gesamtparameter den Speicherbedarf.

So wählen Sie das richtige Modell

1. Lizenz prüfen: Apache 2.0 und MIT sind unkompliziert, Community-Lizenzen enthalten Bedingungen und teils regionale Einschränkungen.
2. Hardware festlegen: Welche GPU steht zur Verfügung, wie viele Nutzer arbeiten gleichzeitig, welche Kontextlänge wird gebraucht?
3. Aufgaben definieren: Zusammenfassen, Korrespondenz, Dokumentensuche mit RAG, Code, Bildanalyse?
4. Mit eigenen Daten testen: Öffentliche Benchmarks sind ein Anhaltspunkt, entscheidend ist die Qualität bei Ihren deutschen Texten. Testen Sie zwei bis drei Kandidaten mit 50 bis 100 realistischen Anfragen.
5. Betrieb mitdenken: Stabilität in vLLM oder Ollama, Update-Rhythmus des Herstellers, Verfügbarkeit geprüfter Quantisierungen.

Ein häufiger Fehler ist, das jeweils neueste und größte Modell zu wählen. Für Wissensabfragen mit RAG liefert ein mittelgroßes Modell oft vergleichbare Ergebnisse bei deutlich geringerem Hardwarebedarf.

Modelle bei Verdacloud betreiben

Verdacloud stellt das passende Modell vorkonfiguriert auf dedizierter Hardware bereit, als Local LLM & Secure Gateway mit Zugriffskontrolle und Audit-Trail oder als Managed KI-Server für eigene Setups, betrieben in ISO-27001-zertifizierten Rechenzentren in Bayern und Sachsen. Bei der Modellauswahl für Ihren Anwendungsfall unterstützt Sie unsere Schwestermarke VerdaGen.ai.