Local LLM & Secure Gateway

Local LLM Hosting mit Secure Gateway

KI nutzen, ohne Daten preiszugeben.

Offene Sprachmodelle auf eigener Hardware in Deutschland — und ein Gateway, das festlegt, welche Daten wohin dürfen.

§ 01 · Ausgangslage

Warum öffentliche KI-Dienste nicht reichen.

Daten verlassen das Haus

Eingaben in öffentliche KI-Dienste werden oft außerhalb der EU verarbeitet. Ob das zu Ihrer DSGVO-Dokumentation passt, bleibt unklar.

Keine Kontrolle

Wer hat was eingegeben? Ohne Protokoll fehlt der Nachweis — für Datenschutz, Revision und EU AI Act.

Kosten schwer planbar

Abrechnung pro Token macht Budgets unberechenbar, sobald die Nutzung wächst.

§ 02 · Architektur

Drei Komponenten, ein Kontrollpunkt.

Sensible Anfragen bleiben lokal. Unkritische Aufgaben können — wenn Sie das wollen — nach Maskierung an Cloud-Modelle gehen. Oder Sie schließen die Cloud ganz aus.

Modell01 / 03

Local LLM Hosting

Offene Modelle wie Llama, Mistral, Mixtral, DeepSeek laufen auf dedizierter GPU-Hardware — nur für Sie.

Gateway02 / 03

Secure Gateway

Ein Kontrollpunkt vor jedem Modell: maskiert personenbezogene Daten, setzt Regeln durch und leitet Anfragen lokal oder in die Cloud.

Compliance03 / 03

Protokoll & Nachweis

Nachvollziehbare Protokolle aller Anfragen als Grundlage für Datenschutz-Dokumentation und EU-AI-Act-Pflichten.

§ 03 · Local LLM

Sprachmodell-Hosting.

Modell, GPU und Betrieb aus einer Hand. Keine Abrechnung pro Anfrage: Lokale Anfragen sind im Monatspreis enthalten.

Local LLM Starter

ab 1.190 €

pro Monat · netto

Ein offenes Sprachmodell auf eigener GPU — für Teams, die starten wollen.

Modelle bis ca. 14 Mrd. Parameter (quantisiert)
Chat-Oberfläche und API
Rollen und Nutzerverwaltung
Updates und Monitoring

Angebot anfragen

Local LLM Professional

Das Gateway heißt VerdaGate.

VerdaGate ist das Secure AI Gateway unserer Schwestermarke VerdaGen.ai: Maskierung personenbezogener Daten, Schutz vor Prompt-Injection, Protokollierung und Budgets — vor jedem Modell, lokal oder in der Cloud.

VerdaGate im Detail

Gateway Only: ab 490 €
pro Monat · Setup ab 2.900 €
Chat + Gateway: ab 890 €
pro Monat · Setup ab 2.900 €
LLM + Gateway: ab 1.690 €
pro Monat · Setup ab 4.900 €

Nur für Unternehmer (§ 14 BGB) · Preise netto zzgl. USt. · 12 Monate Laufzeit · zzgl. einmaligem Setup wie angegeben

§ 05 · Weiterlesen

Ratgeber & Hintergründe.

§ 06 · FAQ

Häufige Fragen.

Sind offene Modelle gut genug?

Für viele Unternehmensaufgaben — Zusammenfassen, Extrahieren, Beantworten aus Dokumenten, Entwürfe — liefern aktuelle offene Modelle gute Ergebnisse. Wir testen das vorab mit Ihren eigenen Beispielen, bevor Sie sich festlegen.

Wie viele Personen können gleichzeitig arbeiten?

Das hängt von Modellgröße, Antwortlänge und Nutzungsmuster ab. Wir dimensionieren GPU und Modell nach Ihrer erwarteten Last und skalieren bei Bedarf.

Kann ich Cloud-Modelle komplett ausschließen?

Ja. Das Gateway lässt sich so konfigurieren, dass Anfragen ausschließlich an Ihr lokales Modell auf dem dedizierten Server in Deutschland gehen und nicht an externe Cloud-Modelle.

Welche Modelle sind möglich?

Gängige offene Modellfamilien wie Llama, Mistral, Mixtral, DeepSeek. Welches Modell passt, klären wir anhand Ihrer Aufgaben. Modelle von Aleph Alpha auf Anfrage; die kommerzielle Nutzung setzt eine Lizenz des Herstellers voraus.

Beratung & Umsetzung

Sie brauchen zuerst eine Strategie oder einen Use Case?

Analyse, Konzeption und Projektumsetzung übernimmt unsere Schwestermarke VerdaGen.ai — die Infrastruktur dafür betreiben wir hier bei Verdacloud.

Zu VerdaGen.ai

Anfrage

Welches Modell passt zu Ihren Aufgaben?

Nennen Sie uns Workload, Datenmenge und Nutzerzahl — Sie erhalten ein konkretes Angebot mit Festpreis.

Anfrage stellen