Mit KI-Agenten ändert sich die Art des Risikos. Ein Fehler beschränkt sich nicht mehr auf eine falsche oder ungenaue Antwort: Er kann zu einer Entscheidung und dann zu einer Aktion im Informationssystem werden. Laut dem Capgemini Research Institute könnten diese Agenten bis 2028 einen Wert von 450 Milliarden US-Dollar generieren, während 15 % der Geschäftsprozesse in den nächsten zwölf Monaten ein teilweise oder vollständig autonomes Niveau erreichen könnten.
Je mehr Agenten in die Wertschöpfungskette eingebunden werden, desto mehr wird die Kontrolle über ihre Handlungsfähigkeit sowohl eine Frage der Governance als auch der Cybersicherheit. Der Text betont daher, dass die Debatte, die lange auf Modelle, ihre Daten, ihre Verzerrungen oder ihre Halluzinationen fokussiert war, sich nun auf die Architektur der Macht im Informationssystem konzentrieren muss.
Delegation und Weitergabe von Privilegien nicht verwechseln
Der Reflex besteht oft darin, dem Agenten zu erlauben, « im Namen » seines Nutzers zu handeln und ihm dessen Rechte zu übertragen. Diese Vorgehensweise, die bereits beobachtet wurde, wird hier als fehlerhaft eingestuft. Ein Finanzvorstand hat legitimen Zugang zu Liquidität, Vergütungen, Berichterstattung oder bestimmten strategischen Operationen, während ein Agent, der mit der Abstimmung von Rechnungen beauftragt ist, nur einen Bruchteil dieser Privilegien benötigt. Ihm die Identität des CFO zu übertragen bedeutet, die Befugnis desjenigen, der die Aufgabe vergibt, mit der desjenigen, der sie ausführt, zu verwechseln.
Eine Software verfügt über Berechtigungen, während ein Agent ein Mandat erhalten sollte. Laut dem Text sollte dieses Mandat auf einer eigenen Identität, einer festgelegten Mission, zugänglichen Ressourcen, einer Laufzeit, autorisierten Aktionen und einer Widerrufsmöglichkeit basieren. Die tatsächliche Befugnis des Agenten muss sich auf die Schnittmenge zwischen seinen eigenen Rechten, denen des Nutzers und den Anforderungen der Mission beschränken, « niemals auf deren Summe ». Die Regel wird entscheidend, wenn mehrere Agenten zusammenarbeiten: Das Delegieren einer Aufgabe darf niemals dazu führen, dass mehr Macht delegiert wird.
Das Thema ist in einigen Unternehmen bereits konkret, insbesondere im Bankensektor, wo sichere und governance-gesteuerte generative KI-Umgebungen für Mitarbeiter bereitgestellt werden. Wenn diese Umgebungen zu Agenten weiterentwickelt werden, die in Geschäftsprozesse eingreifen können, reicht der Schutz der Daten nicht mehr aus: Die der Maschine übertragene Autorität muss ebenfalls gesteuert werden.
Agenten eine Identität geben, um ihnen Autonomie zu gewähren
Die Cloud Security Alliance schätzt, dass nicht-menschliche Identitäten, wie Dienstkonten, API-Schlüssel, Zertifikate, Token oder von Agenten verwendete Zugangsdaten, in Unternehmen im Durchschnitt 45-mal häufiger vorkommen als menschliche Identitäten. Es muss daher genau bekannt sein, wer handelt. Der Text unterscheidet in dieser Hinsicht den Agent Owner, der für den Agenten im Produktivbetrieb und seinen Lebenszyklus verantwortlich ist, den Agenten selbst, der über eigene Rechte verfügt, und den Nutzer, für den er tätig wird.
Diese Governance setzt eine lückenlose Rückverfolgbarkeit voraus. Das Unternehmen muss in der Lage sein, die Aktionen des Agenten, seine Interaktionen mit dem Informationssystem und die von ihm genutzten Datenquellen nachzuvollziehen. Diese Transparenz muss es ermöglichen, regelwidriges Verhalten zu erkennen, Alarme oder Sicherheitsvorkehrungen auszulösen und für kritische oder sensible Funktionen eine menschliche Validierung beizubehalten, solange das Funktionieren des Agenten nicht ausreichend erprobt ist.
Laut dieser Analyse geht es nicht darum, die Autonomie der Agenten einzuschränken, sondern die Voraussetzungen für Vertrauen zu schaffen. Je besser ein Unternehmen seine Agenten identifizieren, ihr Mandat begrenzen, ihre Aktionen verfolgen und eine menschliche Eingriffsmöglichkeit bewahren kann, desto mehr Verantwortung kann es ihnen übertragen. Die Frage wird laut dem Text nicht mehr nur sein, welche KI das Unternehmen nutzt, sondern wem es die Schlüssel zu seinem Informationssystem gegeben hat, unter welcher Identität und unter welcher Kontrolle.
