Nachricht
Was passiert, wenn die KI im Leitstand angegriffen wird
Die Lehre daraus lautet ganz klar: Kopf einschalten und nicht alle Macht an die Maschinen abgeben. KI braucht klare Leitplanken und menschliche Kontrolle.
KI-Agenten sollen nicht mehr nur Fragen beantworten, sondern handeln: Tickets anlegen, Systeme konfigurieren, Anlagen bedienen. Damit verschiebt sich die Sicherheitsfrage. Es geht nicht mehr nur darum, was eine KI sagt, sondern darum, was sie tun darf und wer das im Zweifel kontrolliert.
Um diese Frage greifbar zu machen, haben wir eine Versuchsstation gebaut: einen simulierten Reaktor-Leitstand, der über einen KI-Chat gesteuert wird. Im Normalbetrieb bleibt die Warnlampe dunkel. Die Vorführung zeigt, wie die KI im ganz normalen Dialog, ohne böse Absicht des Bedieners, einen kritischen Anlagenzustand herbeiführt, live und ohne jeden technischen Eingriff in das System.
Das Interessante daran ist, dass der Angriff keine Sicherheitslücke im klassischen Sinn braucht. Die KI macht, wofür sie gebaut wurde und arbeitet Anweisungen ab. Das Problem liegt in der Frage, wessen Anweisungen sie folgt und mit welchen Rechten sie dabei ausgestattet ist. Wer einem Agenten weitreichende Befugnisse gibt, ohne Autorisierung und Freigaben sauber zu trennen, verlagert die Kontrolle über die Anlage faktisch in das Chatfenster.
Für Unternehmen in regulierten Umgebungen ist das keine theoretische Übung. Wo KI künftig in Produktions-, Labor- oder Leitsysteme eingreift, gelten dieselben Prinzipien wie für jedes andere System: klare Rollen, nachvollziehbare Entscheidungen und es ist eine menschliche Instanz nötig, die im Ernstfall das letzte Wort hat.
„Wir wollten nicht über Risiken von KI-Agenten reden, sondern zeigen, wie schnell aus einer harmlosen Unterhaltung ein kritischer Zustand wird“, sagt Timo Becker, KI-Experte bei INOSOFT. „Die Lehre daraus lautet ganz klar: Kopf einschalten und nicht alle Macht an die Maschinen abgeben. KI braucht klare Leitplanken und menschliche Kontrolle.“
Den vollständigen Vortrag gibt es als WeeklyTalk #188 zum Nachsehen:
Die Warnlampe leuchtet: Was passiert, wenn die KI im Leitstand angegriffen wird.
Den devSec-Vortrag und weitere Hintergrundinformationen: Die Warnlampe leuchtet.