Gdy korporacyjny system sztucznej inteligencji dostarcza niewiarygodną odpowiedź, zwykła diagnoza wskazuje na model. Jednak według artykułu źródłowego, częstsza i trudniejsza do wykrycia porażka leży gdzie indziej: duży model językowy (LLM) może poprawnie rozumować na podstawie źle dobranego kontekstu.
Najczęstsze lekarstwa to mocniejszy model, dłuższy prompt, więcej pobranych dokumentów lub szersze okno kontekstowe, czyli ilość informacji, jaką model może przetworzyć jednocześnie. Każde z nich może pomóc, ale żadne nie rozwiązuje bezpośrednio tego problemu. W systemach analitycznych obliczenia mogą być poprawne, a wyjaśnienie spójne, a odpowiedź nadal błędna: system wybrał złe dowody, podążył za złym połączeniem między tabelami lub nadał niejednoznacznemu terminowi biznesowemu definicję, której użytkownik nie miał na myśli. Błąd następuje przed jakimkolwiek obliczeniem.
Weźmy proste pytanie: ile godzin średnio dziennie pracuje Cam? Słowo « dzień » nie jest zdefiniowane. Może oznaczać każdy dzień kalendarzowy w okresie, ustandaryzowany rok pracy, każdy wpis w harmonogramie lub każdą datę, w której Cam faktycznie pracował. Podzielenie sumy godzin przez dni kalendarzowe daje niższą średnią niż podzielenie przez dni faktycznie przepracowane, gdy tylko Cam ma dni wolne. Klasyczna kontrola, która sprawdza, czy sumy się pokrywają, niekoniecznie wykryje ten zły wybór mianownika.
Pytanie biznesowe, program analityczny
Pytanie « Która marka poprawiła zaufanie w tym kwartale? » wygląda na prostą kwerendę. Odpowiedź na nie wymaga jednak rozstrzygnięcia kilku kwestii: które pytanie z ankiety mierzy zaufanie, które fale badania tworzą « ten kwartal », jaki jest zakres respondentów, czy wyniki są ważone i co liczy się jako poprawa.
Artykuł podaje ilustrujący przypadek. Dwie tabele przestawne wydają się odpowiadać zapytaniu, z opisem różniącym się tylko kilkoma słowami. Pierwsza, ważona, dotyczy wszystkich respondentów i pokazuje niewielki wzrost. Druga, nieważona, dotyczy tylko respondentów znających markę i pokazuje niewielki spadek. Narzędzie wyszukiwania oparte na podobieństwie sklasyfikowałoby je prawie na równi. System, który wybierze pierwszy wynik, dostarcza odpowiedź opartą na źródłach i uzasadnioną, która może być błędna, bez ujawnienia dokonanego wyboru w końcowym wyniku. System oparty na ścieżce natomiast wychwytuje różnicę w populacji i ważeniu i pyta użytkownika, jaki zakres przyjąć. Koszt tego pytania o wyjaśnienie jest, według autora, znacznie niższy niż koszt błędnej liczby, która wygląda jak prawidłowa.
Benchmarki mierzące systemy
Prace badawcze idą w tym samym kierunku. Spider 2.0, korporacyjny benchmark text-to-SQL składający się z 632 problemów z rzeczywistych przepływów pracy, został opublikowany pod koniec 2024 roku. Jego najwydajniejszy system, agent zbudowany na o1-preview, rozwiązał około 17% zadań, w porównaniu z około 91% dla najlepszych systemów na oryginalnym benchmarku Spider. Ranking od tego czasu ewoluował: jego ścieżka Snow osiąga wynik 96,7%, zgłoszony przez wydawcę, pochodzący z systemu agentowego. Wyniki są przesyłane przez same zespoły, a artykuł zauważa, że najlepsze rezultaty opierają się na systemach zaprojektowanych wokół modelu, a nie na samych modelach.
Wydłużanie kontekstu również nie wystarcza. Badanie firmy Chroma, zatytułowane « Context Rot », stwierdza, że modele stają się mniej niezawodne wraz ze wzrostem długości wejścia, nawet w prostych zadaniach, a podobnie wyglądające dystraktory pogarszają problem.
Ścieżka zamiast stosu
W obliczu niepewności odruchem jest dostarczenie modelowi większej ilości informacji. Może to jednak mnożyć konkurencyjne interpretacje. Opisane podejście polega na organizowaniu kontekstu sekwencyjnie: najpierw intencja badania, potem struktura ankiety, pytania i ich definicje, segmenty, rynki, fale i reguły ważenia, a na końcu tabela przestawna zawierająca dowód. Każda warstwa dziedziczy ograniczenia poprzedniej.
Anthropic przedstawia inżynierię kontekstu jako naturalną kontynuację inżynierii promptów, definiując ją jako zarządzanie całym kontekstem agenta, traktowanym jako ograniczony zasób. Artykuł uznaje to ujęcie za trafne, ale umieszcza je o krok wcześniej: chodzi o to, co oznacza pytanie i jakie dowody mogą na nie odpowiedzieć. W przypadku zaufania do marki podejście obejmuje pięć kroków: rozstrzygnięcie intencji, zastosowanie reguł badania, zidentyfikowanie źródeł, walidację ścieżki, następnie obliczenie za pomocą autoryzowanego narzędzia i przedstawienie wyniku wraz z jego definicją, bazą respondentów, ważeniem i źródłem.
Autor podkreśla w końcu możliwość śledzenia. Każdy wynik musi być możliwy do powiązania z jego tabelą źródłową, definicją, filtrami, ważeniem, okresem i użytym obliczeniem.
