Jak oceniać agentów AI w przedsiębiorstwie

Jak oceniać agentów AI w przedsiębiorstwie
3 min czytania

Agent AI, który robi wrażenie podczas demonstracji, może zawieść, gdy tylko zostanie skonfrontowany z prawdziwymi użytkownikami i prawdziwymi danymi. W przewodniku opublikowanym przez Analytics Vidhya ocena tych systemów przedstawiona jest jako proces pięciowarstwowy, który zaczyna się od weryfikacji końcowego wyniku, a kończy na monitorowaniu w produkcji.

Według przewodnika agent może wybrać niewłaściwe narzędzie, zapętlić się na interfejsie programistycznym (API), który zawodzi, ujawnić dane, których nie powinien widzieć, albo zmyślić liczbę w raporcie. Ocenianie agenta to inne zadanie niż ocena modelu językowego, ponieważ każdy etap między celem a wynikiem może zakończyć się niepowodzeniem.

Zdefiniowanie, co oznacza „sukces »

Zanim napisze się jakikolwiek test, przewodnik zaleca zdefiniowanie sukcesu. Proponuje odpowiedzieć na cztery pytania: jakie jest zadanie, co liczy się jako ukończone, co nigdy nie powinno się wydarzyć i jaki jest koszt błędu. Zła odpowiedź w wewnętrznym FAQ jest mało kosztowna, podczas gdy zła akcja w agencie płatniczym już nie.

Ten koszt ustala poziom wymagań. Agent niskiego ryzyka może zostać wdrożony przy 90% skuteczności zadań, a pozostałe przypadki są sprawdzane przez człowieka. Agent wysokiego ryzyka może wymagać 99% i więcej na kluczowych ścieżkach, a także stanowczego blokowania pewnych działań, niezależnie od woli modelu.

Pięć warstw do sprawdzenia

Pierwsza warstwa dotyczy wyniku: czy agent wykonał zadanie? Przewodnik zaleca sprawdzenie rzeczywistego stanu, na przykład kalendarza, a nie deklaracji agenta. Druga dotyczy trajektorii, czyli sekwencji działań. Dwóch agentów może dojść do tej samej odpowiedzi, jeden w czterech krokach, drugi w 19, a sama liczba kroków nie wystarczy, by ich rozróżnić. Bada się wtedy pętle, wybór narzędzi, poprawność parametrów oraz sposób, w jaki agent wychodzi z błędu.

Trzecia warstwa izoluje wadliwe komponenty: planista, wyszukiwanie dokumentów, narzędzia, pamięć i generowanie odpowiedzi. Dla systemu generowania wzmocnionego wyszukiwaniem (RAG), który opiera się na zewnętrznych dokumentach, przewodnik wymienia miary recall@k i precision@k. Czwarta warstwa dotyczy bezpieczeństwa: wstrzyknięcie złośliwych instrukcji do dokumentu odczytywanego przez agenta, wyciek danych, przestrzeganie uprawnień dostępu i zasad firmy, przetwarzanie danych osobowych. Przewodnik podkreśla jedną rzecz: uprawnienia muszą być egzekwowane w kodzie, poza modelem, i nigdy nie mogą opierać się wyłącznie na podpowiedzi (prompcie). Piąta warstwa jest operacyjna: opóźnienie, koszt na zadanie, niezawodność i wydajność pod obciążeniem.

Sędziowie, ludzie i metryki

Aby oceniać wyniki, przewodnik wyróżnia trzy metody: kontrole programowe, „LLM-as-judge », gdzie model językowy ocenia odpowiedź według siatki kryteriów, oraz weryfikację przez człowieka. Automatyczni sędziowie mają znane uprzedzenia, jak preferowanie pierwszej odpowiedzi w porównaniu czy preferowanie najdłuższej odpowiedzi.

Miary niezawodności wyróżniają dwa wskaźniki. Pass@k to prawdopodobieństwo, że przynajmniej jedna z k prób się powiedzie, podczas gdy pass^k to prawdopodobieństwo, że wszystkie się powiodą. W przykładzie z przewodnika, przy skuteczności 80% na każdą próbę (zakładając niezależność), prawdopodobieństwo, że przynajmniej jedna z pięciu prób się powiedzie, wynosi około 99,97%, w porównaniu do około 32,8% dla powodzenia wszystkich pięciu prób. Przewodnik zaleca na koniec przeglądanie niepowodzeń co tydzień i dodawanie każdego nowego przypadku do zestawu testów.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x