Zum Inhalt springen
AKTUELL: Neuigkeiten und Termine aus dem KI:Expertisezentrum.nrw – Newsletter abonnieren
Inferenz-Angebot

Modellkatalog

In NRW gehostet

Open-Source und Open-Weight Modelle

Über KI:Connect bieten wir Zugriff auf eine Auswahl von Open-Source und Open-Weight Sprachmodellen, die auf unserer HPC-Infrastruktur in Aachen und Köln betrieben werden. Das Angebot stellt somit eine datensouveräne Alternative zu kommerziellen Providern wie OpenAI (ChatGPT) oder Anthropic (Claude) dar und ermöglicht eine sichere Verarbeitung sensibler Daten unter Einhaltung von Datenschutzbestimmungen. Alle Anfragen und Prompts werden ausschließlich in unserer hochschulautonomen Infrastruktur verarbeitet – es erfolgt keine Weitergabe an kommerzielle Anbieter. Dies garantiert maximale Privatsphäre.

Die Verarbeitung erfolgt ausschließlich in Echtzeit, wobei die Inhalte zu keiner Zeit gespeichert, protokolliert oder aufbewahrt werden. Eine Ausnahme bilden lediglich die eigenen Unterhaltungen im KI:Connect User-Interface, die Nutzende jederzeit selbst löschen können.

Nutzbar via KI:Connect

Aktuell betriebene Modelle

Die folgende Tabelle enthält Informationen über die derzeit via KI:Connect nutzbaren Modelle aus unserem Angebot und zusätzliche Informationen, wie diese bei uns gehostet werden. Standard-Parameter werden durch KI:Connect automatisch gesetzt. Die Deployment-Namen können unter Umständen in der KI:Connect-Instanz der eigenen Hochschule abweichen.

Gut zu wissen

Alle hochverfügbaren Modelle (HV) werden an beiden HPC-Standorten – Aachen und Köln – gehostet und sind langfristiger verfügbar. Zugriffsmodalitäten für experimentelle Modelle (EX), die potenziell nur an einem Standort gehostet werden, können sich auch kurzfristig ändern.

Letztes Aktualisierungsdatum: 16.09.2026

ModellHerstellerDeployment-NameEinsatzbereicheReleaseMax. Context LengthZusätzliche Eigenschaften und Limitierungen wie z.B. Quantisierung
Mistral-Small-3.2-24B (öffnet in neuem Tab)(HV)Mistral AImistralai-mistral-small-3-2-24b-instruct-2506Allgemeinwissen, Übersetzen, Zusammenfassen, Programmieren, Anweisungsbefolgung, Tool Calling, Bilderkennung, Reasoning2025-06-25128K
Mistral-Small-4-119B-2603 (öffnet in neuem Tab) (HV)Mistral AImistralai-mistral-small-4-119b-2603Allgemeinwissen, Übersetzen, Zusammenfassen, Programmieren, Anweisungsbefolgung, Tool Calling, Bilderkennung, Reasoning2026-03-16256K
gpt-oss-120B (öffnet in neuem Tab) (HV)OpenAIopenai-gpt-oss-120bAllgemeinwissen, Übersetzen, Zusammenfassen, Tool Calling, Reasoning2025-08-06128K
Qwen3-Embedding-8B (öffnet in neuem Tab)(HV)Alibaba Cloudqwen-qwen3-embedding-8bEmbeddings2025-06-0540K
Qwen3.8-27B (öffnet in neuem Tab) (HV)Alibaba Cloudqwen-qwen3-8-27bAgentische Workflows, Allgemeinwissen, Übersetzen, Zusammenfassen, Programmieren, Anweisungsbefolgung, Tool Calling, Bilderkennung, Reasoning2026-08-13256KNon-quantized BF16 version, Default reasoning_effort „medium“
E5 Mistral 7B Instruct (öffnet in neuem Tab) (HV)intfloate5-mistral-7b-instructEmbeddings

Abgekündigte oder nicht mehr angebotene Modelle

Folgende Modelle werden zeitnah nicht mehr zur Verfügung stehen oder sind bereits außer Betrieb.

ModellHerstellerEinsatzbereicheReleaseDatum der Abschaltung
Mistral-Small-3.2-24BMistral AIAllgemeinwissen, Übersetzen, Zusammenfassen, Programmieren, Anweisungsbefolgung, Tool Calling, Bilderkennung, Reasoning2025-06-252027-01-31

Modell-Rotation

Kriterien für die Auswahl und Rotation unserer Modellpalette

Die bereitgestellte Auswahl an Sprachmodellen (LLMs) wird regelmäßig überprüft und aktualisiert. Neue Modelle werden integriert, während veraltete oder nicht mehr benötigte Modelle aus der Bereitstellung genommen werden. Die Entscheidung über diese Rotation basiert auf einem umfassenden Bewertungssystem, das verschiedene technische, strategische und betriebliche Faktoren berücksichtigt. Im Folgenden sind einige der zentralen Kriterien aufgeführt, die unsere Auswahl beeinflussen:

Verfügbare Hardware-Ressourcen

Anzahl und Typen der verfügbaren GPU-Systeme (inkl. verschiedener Architekturen), verfügbare Speicherkapazitäten sowie die Möglichkeit, Modelle effizient zu hosten.

Hardware-Anforderungen der Modelle

Ressourcenbedarf pro Instanz, benötigter GPU-Speicher, Quantisierungsgrade und deren Auswirkungen auf die Modellqualität sowie die Skalierbarkeit der Bereitstellung.

Gesamtabdeckung der Modell-Features

Unterstützung der geforderten Funktionalitäten wie Textverständnis, logisches Schlussfolgern (Reasoning), Textgenerierung, multimodale Fähigkeiten (z. B. Bilder, Audio), Bildgenerierung, Code-Erstellung oder die Erzeugung von Embeddings.

Souveränität und Ethik

Verfügbarkeit und Nachvollziehbarkeit von Trainingscode und Trainingsdaten, Rechtsrahmen des Trainingsprozesses, Abwägung von ethischen Kriterien wie Nachhaltigkeit und Biases.

Nutzungsverhalten und Nachfrage

Anzahl der aktiven Nutzenden, Requests und Tokenverbrauch, zeitliche Entwicklung der Nutzung sowie Prognosen zur zukünftigen Nachfrage, insbesondere bei neuen Modellen.

Betriebseffizienz und Auslastung

GPU- und Speicherauslastung, Durchsatz, Antwortzeiten (Latenz), Auslastung während Spitzenlastphasen sowie das Verhältnis zwischen bereitgestellter und tatsächlich genutzter Kapazität.

Technische Qualität und Leistung

Antwortqualität, Genauigkeit, Reasoning-Fähigkeiten, Code-Leistung, Multimodalität sowie die maximale Kontextlänge, die das Modell verarbeiten kann.

Strategische Kooperationen und Integration

Langfristige Partnerschaften und Kooperationen, z. B. die Einbindung in Lernmanagementsysteme wie Moodle oder ILIAS, oder andere institutionelle Abkommen, die eine nachhaltige Nutzung sicherstellen.

Stabilität, Wartbarkeit und Betriebsaufwand

Zuverlässigkeit des Modells, Fehleranfälligkeit, Wartungsaufwand, Komplexität des Deployments, Verfügbarkeit geeigneter Serving-Software sowie die Möglichkeiten zur Überwachung (Monitoring) und Fehlerbehebung.

Aktuelles

Neues aus dem KI:Expertise­zentrum.nrw

News ·

Das KI:Expertise­zentrum.nrw stellt sich vor

Kompetenz, Inferenz, Apps - was steckt eigentlich hinter den Handlungsfeldern des KI:Expertisezentrum.nrw? Alle Interessierten können in den kommenden Monaten im Rahmen einer Online-Veranstaltungsreihe die…

Alle News
Termine

Veranstaltungen

11
Nov. 2026

Das KI:Expertise­zentrum.nrw stellt sich vor: Kick off

14:00 – 15:30Online
Anmelden
30
Nov. 2026

KI-Update NRW 11/2026

11:00 – 12:00Online
Anmelden
03
Dez. 2026

Betrieb von KI-Modellen _at scale_: Einblick in das HF Inferenz

10:00 – 11:00Online
Anmelden
Alle Termine