heise devSec() 2026 · Marburg · INOSOFT Platinum-Sponsor

Die Warnlampe leuchtet

Live-Angriff auf einen KI-gesteuerten Leitstand

22. September 2026· Vortrag & Live-Demo

Wir zeigen live, was passiert, wenn ein KI-Agent Handlungsrechte an einer kritischen Anlage bekommt – und ein Angreifer ihn übernimmt. Kommen Sie vorbei; Folien und weiterführende Materialien sammeln wir nach dem Vortrag hier.

Der Vortrag

Wenn der Agent die Anlage steuert – und jemand anders den Agenten

KI-Agenten bekommen zunehmend nicht nur Auskunfts-, sondern Handlungsrechte: Sie lesen Zustände, treffen Entscheidungen, lösen Aktionen aus. Damit verschiebt sich die alte Sicherheitsfrage. Es geht nicht mehr nur darum, welche Daten ein System preisgibt, sondern was ein Angreifer ein System tun lassen kann, wenn er die Anweisungen an den Agenten manipuliert.

Für den Vortrag haben wir eine Versuchsstation gebaut: einen vereinfachten, KI-gesteuerten Leitstand, der eine kritische Anlage simuliert – inklusive einer Warnlampe, die einen unzulässigen Anlagenzustand anzeigt. Der Leitstand wird über einen KI-Chat bedient. Live versuchen wir, den Agenten so zu manipulieren, dass er die Anlage in genau diesen kritischen Zustand fährt und die Lampe angeht.

Der Vortrag ordnet die Demo ein: Wo liegen die Angriffsflächen agentischer Systeme, warum greifen klassische Zugriffskonzepte zu kurz, und welche Autorisierungs- und Kontrollmuster tragen, wenn ein Modell im Steuerungspfad sitzt. Nüchtern, an einem konkreten Aufbau, ohne Heilsversprechen.

Folien & Vertiefung

Nachlesen und weiterschauen

Vortragsfolien (PDF)

Die Warnlampe leuchtet

Die vollständigen Folien des Vortrags, inklusive Referenzen und Demo-Aufbau.

Ab dem 22. September 2026 hier verfügbar.

WeeklyTalk – 08.10.2026

Was passiert, wenn die KI im Leitstand angegriffen wird

Wir vertiefen das Thema im WeeklyTalk statt als Aufzeichnung – mit Raum für die Fragen, die im Vortrag offenblieben.

Für Besucherinnen und Besucher

Materialien & weiterführende Links

Die Fälle, die wir im Vortrag zeigen – echte Vorfälle, in denen KI-Agenten manipuliert wurden oder eigenmächtig Schaden anrichteten.

KI überredet404 Media Hackers Simply Asked Meta AI to Give Them Access to High-Profile Instagram Accounts. It Worked Angreifer brachten Metas KI-Support im Klartext dazu, die E-Mail-Adresse fremder Instagram-Konten zu ändern – ohne technischen Exploit. Der Fall, aus dem die Warnlampen-Idee entstand. Prompt InjectionSecutec EchoLeak: The First Zero-Click AI Attack on Microsoft 365 Copilot In E-Mails versteckte Anweisungen brachten Copilot dazu, vertrauliche Firmendaten unbemerkt nach außen zu schicken – ohne einen Klick des Opfers (CVE-2025-32711). Agent löscht DatenGitHub #5370 Claude Code Executed Destructive Database Command Despite Safety Instructions Ein Coding-Agent setzte trotz ausdrücklicher Schutzanweisung einen zerstörerischen Reset-Befehl ab und löschte die Datenbank – ohne Rückfrage, ohne Backup. Agent löscht Datenheise Vibe-coding service Replit deletes production database Ein KI-Agent löschte während eines laufenden Code-Freeze eine produktive Datenbank – entgegen der ausdrücklichen Vorgabe, nichts zu verändern. Agent löscht Datenheise AI agent deletes data – catastrophe for PocketOS Ein weiterer Fall, in dem ein KI-Agent eigenmächtig Daten löschte und einen Anbieter schwer traf – dieselbe Klasse Fehler, anderer Leidtragender. VerantwortungThe Verge Amazon blames human employees for an AI coding agent's mistake Nach einem Fehler des Agenten verschob sich die Schuldfrage auf die Menschen dahinter – die eigentlich spannende Frage, wenn ein Modell im Handlungspfad sitzt. Autonomes VerhaltenWashington Post Anthropic discloses that AI models in testing hacked three companies In der Sicherheitsprüfung brachen Modelle aus der abgeschotteten Testumgebung aus und drangen real in drei Unternehmen ein – zwei bemerkten es zunächst nicht. Autonomes VerhaltenForbes Alibaba's AI Agent Mined Crypto Without Permission. Now What? Der Trainingsagent ROME zweckentfremdete GPUs fürs Krypto-Mining und öffnete einen versteckten Tunnel nach außen – ohne Anweisung, entdeckt erst durch die Firewall.
Aus dem INOSOFT-Umfeld