Pretxt wychodzi z cienia z 5 milionami dolarów i narzędziem do nadzoru AI

Pretxt wychodzi z cienia z 5 milionami dolarów i narzędziem do nadzoru AI
3 min czytania

Pretxt, który ma biura w Aspen (CO) i Dublinie (Irlandia), wychodzi z anonimowości dzięki rundzie finansowania zalążkowego w wysokości 5 milionów dolarów, pozyskanej od Deciens Capital, Howdy Partners i Service Provider Capital. Młoda firma wpisuje się w nowo powstającą kategorię: technologie mające na celu zapobieganie wyjściu agentów AI poza ich ograniczenia i powodowaniu niezamierzonych szkód.

Według źródła AI jest bliższa osobie niż klasycznemu programowi komputerowemu. Otrzymuje instrukcje, interpretuje je, może je błędnie zinterpretować i na nie odpowiedzieć, czasem w sposób niejednoznaczny. To połączenie złej interpretacji i dużej swobody działania może prowadzić agentów AI, czyli systemów zdolnych do autonomicznego działania, do zboczenia z kursu i wyrządzenia szkód.

Język z natury jest niejednoznaczny, dlatego całkowite wyeliminowanie tych błędów jest niemożliwe. Ograniczenie pola manewru agentów pozostaje więc jedynym bezpośrednim rozwiązaniem, ale zbyt rygorystyczne ograniczenia mogłyby znacznie zmniejszyć wartość ekonomiczną tych narzędzi. Bez nowej formy nadzoru, według źródła, trudno byłoby mieć użytecznych agentów bez jednoczesnego posiadania potencjalnie niebezpiecznych agentów. Ta potrzeba rodzi produkty z zakresu cyberbezpieczeństwa, które próbują wykryć w trakcie wykonywania działania potencjalnie szkodliwe i kontrolować je zanim wywołają skutki.

Pretxt właśnie prezentuje produkt tego typu, nazwany AI Supervision, który opisuje jako „technologię wykonawczą zaprojektowaną do nadzorowania agentów AI podczas ich pracy, kierując ich na właściwą ścieżkę zanim błędy staną się konsekwencjami dla firmy ».

Korygować zamiast blokować

Zamiast ograniczać możliwości agenta, wyjaśnia Aaron Costello, współzałożyciel i dyrektor techniczny (CTO) Pretxt, podejście polega na przyznaniu mu takiego samego poziomu dostępu jak upoważnionemu pracownikowi, jednocześnie ciągle monitorując sposób, w jaki wchodzi w interakcje z systemami i ludźmi. Celem jest sprawdzenie, czy te interakcje przestrzegają norm firmy i pozostają zgodne z oczekiwaniami wobec pracowników.

Gdy agent przekracza swoje uprawnienia lub odbiega od swojej misji, Pretxt go nie wyłącza. Produkt „kieruje » go na właściwą drogę, co Costello ilustruje porównaniem: doświadczony nadzorca, stale siedzący obok stażysty, interweniuje tylko wtedy, gdy jest to konieczne, mówiąc mu, by postępował inaczej.

Ta korekta zależy od kontekstu. Nowi klienci łączą swojego agenta z platformą, co pozwala odczytać jego instrukcje i zrozumieć jego cel. Pretxt następnie obserwuje jego działanie, identyfikuje narzędzia, do których ma dostęp, na przykład do wysyłania e-maili, publikowania na LinkedIn czy aktualizacji bazy danych. Klient określa wreszcie zasady do przestrzegania: czego agent nigdy nie powinien robić, jakie zadania są mu zarezerwowane lub jakich danych nie powinien przeglądać. „To może być cokolwiek », dodaje Costello. Informacje te są włączane do AI Pretxt, która wykorzystuje je jako ramy akceptowalnego zachowania.

Przykład w służbie zdrowia

Costello podaje przykład agenta obsługi klienta używanego przez gabinet medyczny do pomocy pacjentom w umawianiu wizyt. Gabinet mógł wskazać Pretxt, że agent nigdy nie powinien udzielać porad medycznych. „Łączymy się za każdym razem, gdy agent wchodzi w interakcję z użytkownikiem », wyjaśnia. Dedykowany agent Pretxt analizuje wtedy wymianę w czasie rzeczywistym, by sprawdzić, czy zawiera poradę medyczną.

Jeśli tak, porada jest blokowana, ale agent nie jest zatrzymywany, ponieważ pacjenci nie mogliby wtedy umawiać wizyt. Pretxt stosuje tę samą metodę „kierowania ». Według Costello platforma wskazuje agentowi w sposób niewidoczny: „Próbowałeś udzielić porady medycznej. Kontynuuj pomoc użytkownikowi w umawianiu wizyty, ale nie próbuj już udzielać porad medycznych. »

Według źródła to właśnie jest celem zastosowania AI Supervision: nie zatrzymywać wadliwych agentów AI, lecz utrzymywać ich w bezpiecznym stanie i zapobiegać odejściu od nałożonych na nich ograniczeń.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x