W przypadku agentów AI zmienia się natura ryzyka. Błąd nie ogranicza się już do nieprawidłowej lub niedokładnej odpowiedzi: może stać się decyzją, a następnie działaniem w systemie informatycznym. Według Capgemini Research Institute, ci agenci mogą wygenerować do 450 miliardów dolarów wartości do 2028 roku, podczas gdy 15% procesów biznesowych może osiągnąć częściowy lub pełny poziom autonomii w ciągu najbliższych dwunastu miesięcy.
Im głębiej agenci wejdą w łańcuch tworzenia wartości, tym bardziej kontrola nad ich zdolnością do działania będzie należeć do domeny zarządzania, jak i cyberbezpieczeństwa. Tekst podkreśla, że debata, długo skupiona na modelach, ich danych, ich uprzedzeniach lub halucynacjach, musi teraz dotyczyć architektury władzy w systemie informatycznym.
Nie mylić delegowania z przekazywaniem uprawnień
Odruch często polega na umożliwieniu agentowi działania « w imieniu » użytkownika i przekazaniu mu jego praw. To działanie, już obserwowane, jest tu uznawane za błędne. Dyrektor finansowy ma uzasadniony dostęp do skarbca, wynagrodzeń, raportowania lub pewnych operacji strategicznych, podczas gdy agent zajmujący się uzgadnianiem faktur potrzebuje tylko ułamka tych przywilejów. Przekazanie mu tożsamości DAF oznacza pomylenie władzy osoby zlecającej zadanie z władzą osoby je wykonującej.
Oprogramowanie ma uprawnienia, podczas gdy agent powinien otrzymać mandat. Według tekstu, ten mandat powinien opierać się na własnej tożsamości, określonej misji, dostępnych zasobach, czasie trwania, dozwolonych działaniach i możliwości odwołania. Rzeczywista władza agenta powinna ograniczać się do przecięcia jego własnych praw, praw użytkownika i tego, czego wymaga misja, « nigdy do ich sumy ». Zasada ta staje się decydująca, gdy współpracuje wielu agentów: delegowanie zadania nigdy nie powinno pozwalać na delegowanie większej władzy.
Temat jest już konkretny w niektórych firmach, zwłaszcza w sektorze bankowym, gdzie wdrażane są bezpieczne i zarządzane środowiska generatywnej AI dla pracowników. Gdy te środowiska ewoluują w kierunku agentów zdolnych do ingerencji w procesy biznesowe, ochrona danych nie wystarcza: trzeba również zarządzać władzą powierzoną maszynie.
Nadanie agentom tożsamości, aby przyznać im autonomię
Cloud Security Alliance szacuje, że tożsamości nieludzkie, konta usługowe, klucze API, certyfikaty, tokeny lub identyfikatory używane przez agentów są średnio 45 razy liczniejsze niż tożsamości ludzkie w przedsiębiorstwach. Należy więc dokładnie wiedzieć, kto działa. Tekst wyróżnia w tym kontekście Właściciela Agenta, odpowiedzialnego za agenta w produkcji i jego cykl życia, samego agenta, obdarzonego własnymi prawami, oraz użytkownika, w którego imieniu działa.
To zarządzanie zakłada pełną identyfikowalność. Przedsiębiorstwo musi być w stanie odtworzyć działania agenta, jego interakcje z systemem informatycznym i źródła danych, które wykorzystuje. Ta widoczność musi umożliwiać wykrywanie niezgodnych zachowań, uruchamianie alertów lub zabezpieczeń oraz, dla funkcji krytycznych lub wrażliwych, utrzymywanie ludzkiej walidacji, dopóki działanie agenta nie zostanie wystarczająco sprawdzone.
Według tej analizy, celem nie jest ograniczanie autonomii agentów, ale stworzenie warunków zaufania. Im lepiej firma będzie potrafiła identyfikować swoich agentów, ograniczać ich mandat, śledzić ich działania i zachować możliwość ludzkiej interwencji, tym ważniejsze odpowiedzialności będzie mogła im powierzyć. Pytanie, jak konkluduje tekst, nie będzie już tylko brzmiało, jakiej AI używa firma, ale komu oddała klucze do swojego systemu informatycznego, pod jaką tożsamością i pod jaką kontrolą.
