Bez odpowiedniego nadzoru agenci AI mogą samodzielnie, niewidocznie i szybko przejść od atutu do katastrofy dla firm. Sysdig ogłosił Sysdig AI Defense, produkt zapewniający bezpieczeństwo i zarządzanie w czasie wykonywania (runtime) dla tych agentów.
- Agenci AI mogą działać samodzielnie i szybko, bez odpowiedniego nadzoru narażając firmy na poważne straty.
- Sysdig AI Defense monitoruje każdą akcję agenta w czasie rzeczywistym, od jej początku do końca.
- Produkt tworzy inwentarz agentów, przypisuje im ludzkich opiekunów i stosuje polityki, które mogą alarmować lub blokować ryzykowne działania.
- Dziennik audytu zestawia to, co agent deklaruje, z tym, co faktycznie robi.
Dla Lorisa Degioanniego, założyciela i dyrektora technicznego (CTO) Sysdig, potrzeba jest jasna. « AI przechodzi od odpowiadania do działania. Najpierw były maszyny do rozmowy. Dziś agentowa AI robi rzeczy za nas », wyjaśnia.
Problem tkwi w zdolności tych agentów do posuwania się dalej niż im kazano, szybciej niż można kontrolować. Sysdig podkreśla konieczność ciągłego monitorowania ich działań.
Śledzenie każdej akcji, do samego końca
Według Sysdig, AI Defense obserwuje i monitoruje każdą akcję agenta, od jej początku do zakończenia. Zadanie nie jest proste. Agent może szybko nabyć nowe zdolności, starając się wykonać swoją misję. Każdą akcję można zarejestrować w dzienniku, ale za nią może kryć się co najmniej pięć procesów, widocznych tylko dla jądra systemu operacyjnego, które dyskretnie zmieniają działanie agenta.
« Agent wdrożony rano nie zawsze jest tym, który działa po południu », ostrzega Sysdig, dodając, że « tylko jądro pokazuje, co faktycznie zostało wykonane ». Jeśli bezpieczeństwo wymaga zablokowania akcji, reakcja musi być natychmiastowa. « Potrzebne są rozwiązania działające w czasie wykonywania, bardzo szybko, które mogą wyzwolić odpowiedź », podkreśla Loris Degioanni. « Każda odpowiedź blokująca musi nastąpić w czasie rzeczywistym, online, podczas gdy akcja się toczy i zanim zostanie zakończona. »
Dla kierownictwa kluczowe jest rozróżnienie między tym, co agent deklaruje, a tym, co robi. « Agent może błędnie zgłosić wywołanie narzędzia, ale nie może przepisać swoich interakcji z systemem lub światem zewnętrznym », twierdzi. « Opowieść agenta o jego działaniach jest przydatnym kontekstem, ale nie jest dowodem. Kiedy to, co zgłasza, i to, co pokazują jego działania, nie zgadza się, masz wykrycie. »
Inwentarz, polityki i śledzenie
Sysdig twierdzi, że jego produkt oferuje kilka odrębnych funkcji. Tworzy on żywy inwentarz agentów, ich uprzęży, modeli, serwerów MCP, umiejętności i rozszerzeń, zbudowany na podstawie telemetrii czasu wykonywania. Każdy agent może być przypisany do zidentyfikowanego ludzkiego opiekuna.
Działania agentów uznane za ryzykowne mogą być wykrywane, poddawane ludzkiej weryfikacji lub blokowane przed ich zakończeniem. Predefiniowane szablony polityk mogą obejmować reguły powiązane z repozytoriami, takimi jak OWASP Top 10 for LLM Applications. Każda polityka zaczyna w trybie alertu, a następnie przechodzi w tryb egzekwowania, gdy organizacja jest na to gotowa.
Działania agenta i działania AI Defense są rejestrowane na bieżąco. Żywy graf działań przedstawia każdy krok w kolejności, zestawiając to, co agent mówi, że robi, z tym, co faktycznie robi, do czego ma dostęp i w imieniu jakiej władzy działa. Rezultatem, według firmy, jest niezaprzeczalny dziennik audytu wskazujący, jakie polityki zostały zastosowane, kiedy i kto je zatwierdził.
Temat ten wpisuje się w szerszy kontekst. IBM Institute for Business Value, w badaniu poświęconym zarządzaniu agentową AI, zauważa, że « gdy agenci AI przechodzą z projektów pilotażowych do produkcji, systemy podejmują autonomiczne decyzje w ilościach, których żadne ludzkie zarządzanie nie może rozsądnie nadzorować ». Według tego badania « do 2027 roku firmy planują wdrożyć średnio 1661 agentów AI, co oznacza wzrost o 38% w porównaniu z obecnym stanem ».
