Künstliche Intelligenz verändert die Sicherheitsgleichung auf zwei Ebenen: KI-Agenten handeln mit zunehmender Autonomie, während KI die Entdeckung von Schwachstellen beschleunigt. Den Security Operations Centern (SOC) obliegt die Pflicht, diese Signale zu filtern – in einem Umfeld, in dem aktuelle Berichte KI-Systeme zeigen, die unerwartete und nicht autorisierte Aktionen unternehmen, sowie böswillige Akteure, die autonome KI-Workflows in ihren Cyberoperationen einsetzen.
OpenAI hat sechs Beispiele für bösartiges oder besorgniserregendes Verhalten aus Trainingsphasen veröffentlicht: Modelle haben ohne Autorisierung auf offengelegte API-Schlüssel (Zugangsdaten zu einem Dienst) zugegriffen, externe Dateien heruntergeladen oder Repositories zur Kommunikation genutzt. Anthropic seinerseits berichtete von böswilligen Akteuren, die Schwärme von Agenten für Aufklärungs-, Ausnutzungs-, Datenextraktions- und Schwachstellensuche-Operationen einsetzen.
Organisationen können sich nicht mehr darauf beschränken, Probleme zu erkennen, nachdem sie aufgetreten sind. Die Herausforderung besteht nun darin, eine echte Aufsicht aufrechtzuerhalten, wenn Angreifer und KI-Systeme mit Maschinengeschwindigkeit und immer weniger menschlichem Eingreifen operieren können.
Die KI-gestützte Schwachstellenentdeckung erhöht Volumen und Geschwindigkeit dessen, was Teams validieren, priorisieren und beheben müssen. Sie verkürzt auch das Zeitfenster zwischen der Offenlegung einer Schwachstelle und ihrer Ausnutzung. Zu wissen, was man nutzt, Patches schnell anzuwenden und die Angriffsfläche zu reduzieren, bleiben Gebote.
Die gleiche Logik der Sichtbarkeit gilt für KI-Agenten. Da sie mit Maschinengeschwindigkeit arbeiten, benötigen sie Zugangsdaten mit begrenztem Umfang und kurzer Lebensdauer, ein rigoroses Management von Geheimnissen sowie klare Grenzen für zugängliche Ressourcen und Datenziele. Die Fähigkeit, einen Agenten jederzeit zu stoppen, stellt eine entscheidende Schicht menschlicher Aufsicht dar.
Man kann nicht schützen, was man nicht sieht
Die finale Antwort eines Agenten stellt nur einen Teil seiner Sicherheitshistorie dar. Teams müssen verstehen, wie sich KI-Systeme in ihrer Umgebung verhalten: auf welche Ressourcen sie zugreifen, welche Daten sie verarbeiten und ob diese Aktivität mit dem Erwarteten übereinstimmt. Dies setzt voraus, KI-generierte Signale mit Identitäten, Anwendungen und Infrastruktur zu verknüpfen, anstatt sie als separates Silo zu behandeln.
Ohne diesen Kontext ist es schwierig, eine anomale Aktivität von legitimen Verhalten zu unterscheiden oder die Bedingungen zu verstehen, die dazu führten. Diese Dynamik hat die Sichtbarkeit vom Status einer operativen Disziplin zu einer kritischen Sicherheitsanforderung erhoben.
Diese Sichtbarkeit beruht auch auf Grundlagen. Die von Agenten generierte Telemetrie (Prompts, Tool-Aufrufe, betroffene Ressourcen, genutzte Identitäten) muss gesammelt, aufbewahrt und vor Manipulation geschützt werden, um die durchgeführten Aktionen nachvollziehen zu können.
Selbst mit einer soliden internen Sichtbarkeit wird kein Team jede Bedrohung als erstes sehen. Die gleichen KI-Fähigkeiten, die Angriffe beschleunigen, werden gleichzeitig von mehreren Akteuren in mehreren Umgebungen genutzt. Der Austausch von Threat Intelligence und gemeinsames Lernen erscheinen daher als wesentliche Bestandteile der Reaktion. Wenn Erkenntnisse geprüft, hinterfragt und innerhalb einer größeren Gemeinschaft geteilt werden können, haben Organisationen bessere Chancen, Schwachstellen zu validieren, Patches zu entwickeln und zu handeln, bevor dieselbe Lücke woanders zum Problem wird.
Die Grundlagen müssen mit dem Tempo Schritt halten
KI kann auch auf der Verteidigungsseite eine Rolle spielen. Richtig eingesetzt, hilft sie Analysten, Signale zu korrelieren, Vorfälle zusammenzufassen, Warnungen zu priorisieren und Untersuchungen zu beschleunigen. Sie kann jedoch keine fragmentierten oder unzugänglichen Daten ausgleichen oder grundlegende Sicherheitsmaßnahmen ersetzen, die nicht implementiert wurden.
Am besten positioniert sind Organisationen, die diese Grundlagenarbeit geleistet haben. Sie wissen, welche Assets sie besitzen, was exponiert ist und wie normales Verhalten aussieht. Sie wenden das Prinzip der geringsten Rechte auf menschliche Identitäten wie auf Agenten an, halten vertrauliche Informationen außerhalb der Reichweite von Agenten und bewahren eine vor Manipulation geschützte Telemetrie.
Sie verfügen über Kontrollpunkte (Gates), um Aktionen von Agenten mit hoher Wirkung zu genehmigen, sowie über die Fähigkeit, einen Agenten zu stoppen, wenn etwas abnormal erscheint. Ihre Incident-Response-Prozesse gehen von der Annahme aus, dass Agenten sich falsch verhalten können, mit Playbooks, die das Widerrufen der Identität eines Agenten, die Rekonstruktion seiner Aktionen und die Wiederherstellung dessen, was er berührt hat, abdecken.
Leistungsfähigere KI-Fähigkeiten machen diese Grundlagen nicht obsolet; sie erhöhen die Kosten ihrer Abwesenheit. Sichtbarkeit ermöglicht zu überprüfen, dass sie halten. Mit diesen Grundlagen können Verteidiger auf das reagieren, was die KI offenbart, verstehen, was in ihren Umgebungen vor sich geht, und handeln, bevor eine Kontrolllücke zu einem Vorfall wird.
