Kernbereich des Tagesgeschäfts ist der reibungslose Betrieb der KI-Modelle, welche hochverfügbar und redundant zur Verfügung stehen. Dies ermöglichen wir durch unser innovatives dezentrales Betriebsmodell, bei dem mehrere Standorte – konkret die HPCs der RWTH Aachen und Universität zu Köln – zusammenarbeiten. Dank maßgeschneiderten Mechanismen zur Überwachung der Systemlast können wir kurzfristig weitere Instanzen eines Modells in Betrieb nehmen, um temporäre Lastspitzen zu kompensieren.
Für den datenschutzkonformen Zugang zu den Modellen entwickeln und betreiben wir eine zentrale Schnittstelle. Diese verteilt die Anfragen auf die beiden Rechenzentren, um eine optimale Auslastung der Hardware und geringe Latenzen zu gewährleisten. Bereits an dieser Stelle sind die Anfragen von einzelnen Nutzenden einer Hochschule entkoppelt und werden vor Weiterleitung in das jeweilige Rechenzentrum nochmals anonymisiert. Somit eignet sich unser Angebot für eine Vielzahl von Anwendungsfällen, vom Einsatz in Studium und Lehre über Forschung und Verwaltung.
Weil der Dauerbetrieb von KI-Modellen vom klassischen batch-basierten HPC-Betriebsmodell abweicht, erproben wir an beiden Standorten verschiedene Herangehensweisen, die dort vorhandene Infrastruktur für besagten Betrieb zu nutzen. Dafür entwickeln wir unter anderem eine Softwarelösung für die automatische (De-)Provisionierung und Überwachung von Jobs, in denen die KI-Modelle laufen. Ziel ist es, die zur Verfügung stehenden Ressourcen jederzeit optimal zu verwenden und in lastarmen Zeiträumen für bspw. die Berechnung von Forschungsdaten nutzen.
