Die neue Insider-Bedrohung
Im Jahr 2024 konzentrierte sich ein Großteil der Sicherheitsdiskussion rund um KI auf Prompt Injection – ob ein Benutzer einen Chatbot dazu zwingen könnte, unangemessene oder irreführende Ausgaben zu produzieren.
Bis Ende 2025 hat sich das Risikoprofil verschoben. Organisationen setzen zunehmend KI-Agenten ein, die nicht nur Text generieren, sondern Handlungen ausführen.
In bestimmten Umgebungen werden Agenten nun verwendet, um Code zu schreiben und bereitzustellen, Datenbankabfragen auszuführen, Cloud-Konfigurationen zu ändern und operative Workflows zu initiieren. Diese Systeme können mächtige Kraftverstärker sein. Sie können auch eine neue und unterschätzte Angriffsfläche einführen.
Ein Agent, der autorisiert ist, Handlungen auszuführen, kann in der Praxis Auswirkungen haben, die mit denen eines menschlichen Benutzers mit ähnlichen Privilegien vergleichbar sind. Wenn solche Agenten mit übermäßig breiten Berechtigungen, schwachen Identitätsgrenzen oder begrenzter Aufsicht eingesetzt werden, stellen sie eine Form von Insider-Risiko dar, sei es beabsichtigt oder versehentlich.
Das Risiko übermäßiger Handlungsmacht (Agency)
Die OWASP Top 10 für Large Language Model Anwendungen (2025) identifiziert Excessive Agency (LLM06) als eine kritische Verwundbarkeitskategorie. Sie beschreibt Systeme, in denen Agenten Fähigkeiten oder Autonomie gewährt werden, die über das operativ Notwendige hinausgehen.
Häufige beitragende Faktoren sind:
- Übermäßige Funktionalität: Zugriff auf Werkzeuge oder Integrationen, die die definierte Rolle des Agenten überschreiten.
- Übermäßige Berechtigungen: Lese- oder Schreibzugriff auf Daten und Systeme außerhalb des beabsichtigten Umfangs des Agenten.
- Unbegrenzte Autonomie: Die Fähigkeit, Handlungen mit hoher Auswirkung ohne sekundäre Autorisierung oder Validierung auszuführen.
Betrachten Sie einen Kundensupport-Agenten, dem Schreibzugriff auf eine Produktionsdatenbank gewährt wird, um den „Bestellstatus zu prüfen“. In einer solchen Konfiguration könnte ein einzelner kompromittierter Prompt, eine Fehlklassifizierung oder ein Logikfehler zu Datenänderung oder -löschung führen, weit über die ursprüngliche Absicht des Systems hinaus.
Dies ist keine hypothetische Sorge. Es ist ein vorhersehbares Ergebnis unzureichender Governance.
Identitätsbasierte Agenten-Architektur
Bei Evodant behandeln wir Agenten nicht als generische Softwarekomponenten, sondern als Identität tragende Akteure innerhalb eines Systems.
In Hochsicherheitsumgebungen bedeutet dies die Anwendung etablierter Prinzipien des Identitäts- und Zugriffsmanagements (IAM) auf Agenten, genau wie wir es für menschliche Benutzer und Servicekonten tun.
1. Agenten benötigen explizite Identität
Ein Agent sollte nicht implizit die Berechtigungen seines Entwicklers oder der Host-Anwendung erben. Ihm sollte eine eindeutige Service-Identität zugewiesen werden, die durch den Identitätsanbieter der Organisation authentifiziert und entsprechend seiner definierten Rolle abgegrenzt ist.
2. Least Privilege gilt für Agenten
Agenten sollten auf die minimalen Daten und Werkzeuge beschränkt sein, die zur Erfüllung ihrer Funktion erforderlich sind (das übliche Prinzip der geringsten Rechte). Die logische Trennung zwischen Agenten, sowohl beim Datenzugriff als auch bei der Verfügbarkeit von Werkzeugen, reduziert den Explosionsradius und begrenzt die Auswirkungen von Kompromittierung oder Fehlern.
3. Human-in-the-Loop für Handlungen mit hohen Konsequenzen
Für Handlungen mit materiellen Auswirkungen, wie das Löschen von Daten, Überweisen von Geldern oder Ändern von Produktionskonfigurationen, führt eine vollständig autonome Ausführung ein erhebliches Risiko ein.
In diesen Fällen ist eine gestufte Ausführung ein sichereres Muster:
- Der Agent bereitet die Handlung vor oder entwirft sie.
- Der Vorschlag wird einem autorisierten menschlichen Operator präsentiert (Human-in-the-Loop).
- Die Ausführung erfolgt erst nach expliziter Genehmigung, unterstützt durch kryptographische Provenienz und Audit-Protokollierung.
Dieser Ansatz bewahrt die Effizienz und wahrt gleichzeitig die Rechenschaftspflicht.
Governance in Maschinengeschwindigkeit
KI-Systeme arbeiten mit Maschinengeschwindigkeit. Governance-Mechanismen müssen so konzipiert sein, dass sie in demselben Tempo funktionieren, ohne sich auf informelles Vertrauen oder manuelle Überprüfung als Standard-Schutzmaßnahme zu verlassen.
Da agentische Systeme leistungsfähiger werden, müssen Organisationen ihre Sicherheitsmodelle über Netzwerke und Endpunkte hinaus erweitern, um Absicht, Autorisierung und Provenienz einzubeziehen.
Wenn ein Agent handelt und Sie nicht klar beantworten können, wer diese Handlung autorisiert hat, unter welcher Identität und innerhalb welcher Einschränkungen, hat die Governance bereits versagt.
Agentische Fähigkeit ohne identitätsbasierte Kontrollen ist keine Autonomie, es ist unkontrolliertes Risiko.