Najpierw popraw uprząż, potem kod

Najpierw popraw uprząż, potem kod
3 min czytania

Gdy agent AI wygeneruje błąd, poprawienie kodu już nie wystarcza, bo usterka może powrócić. Zespoły, które najszybciej dostarczają kod z pomocą agentów, teraz priorytetowo traktują uprząż, czyli środowisko kontrolujące model, zanim zabiorą się za poprawki w kodzie.

Czym jest uprząż?

Uprząż obejmuje wszystko, co otacza model: hooks, skills, lintery, testy i zasady CI (ciągłej integracji, czyli automatyczne kontrole kodu). To deterministyczne mechanizmy, które testują i walidują pracę agenta, zanim kod zostanie wysłany. Według źródła, to nie model robi różnicę: dobra uprząż z przeciętnym modelem jest lepsza niż doskonały model pozostawiony samemu sobie.

Kontekst inżynieryjny polega na umieszczeniu właściwej informacji we właściwym miejscu i czasie. Uprząż jest jego częścią, która budzi zaufanie do wytworzonego kodu.

Błąd to tylko symptom

Poprawianie kodu bez dotykania uprzęży to jak naprawianie przecieku bez spojrzenia na rurę. Jeśli agent przepuścił błąd, to znaczy, że brakowało reguły, hook nie istniał lub kontekst był przeładowany. Ten sam błąd powróci, w innej formie, podczas następnej sesji.

W środowisku stagingowym, poprzedzającym produkcję, metoda polega na rozpoczęciu od uprzęży: dlaczego to zawiodło, w którym miejscu, który skill zmodyfikować? Często odpowiedź mieści się w jednym zdaniu: kontekst był zbyt obszerny, zabrakło informacji. Jeśli błąd jest trywialny, można go poprawić ręcznie, pod warunkiem zarejestrowania tego, aby uprząż wyciągnęła z tego lekcję.

Śledzenie każdego błędu

Aby takie podejście się sprawdziło, trzeba wiedzieć, skąd pochodzi każdy błąd: który model, która sesja, który skill, który agent wygenerował dany commit. Bez tej możliwości śledzenia poprawia się na ślepo. Z nią można dziesięciokrotnie odtworzyć to samo zadanie i porównać konfiguracje, zarówno pod względem prędkości, jak i kosztu.

W małym zespole kilku programistów i specjalistów produktowych może wysłać kilka tysięcy pull requestów w ciągu kilku miesięcy. Znaczna część czasu inżyniera, czasem nawet trzy czwarte, upływa wtedy na pracy z uprzężą, która ewoluuje wraz z aplikacją, napływem nowych członków zespołu oraz wymaganiami kosztowymi i bezpieczeństwa.

Przegląd kodu i nowy zawód

Niektórzy już nie przeglądają większości kodu, który trafia do produkcji. To nie jest zaniedbanie, twierdzi źródło, lecz przesunięcie zaufania, które nie opiera się już na ludzkim oku, a na akumulacji zabezpieczeń. Pragmatyzm pozostaje w mocy: płatności są nadal sprawdzane, podczas gdy aplikacja mobilna czekająca kilka dni na zatwierdzenie w sklepie wymaga większej ostrożności. Poziom zabezpieczeń w uprzęży reguluje się więc według ryzyka.

Zastygła uprząż może też stać się hamulcem. Zablokowana na starej wersji modelu może tygodniami wstrzymywać zespół, który nie rozumie, dlaczego jego koledzy są zadowoleni. Wyłania się rola jeszcze bez ustalonej nazwy, gdzieś pomiędzy devexem, staff engineerem a « metabuilderem ». Doświadczeni specjaliści będą zabezpieczać uprząż, zamiast przeglądać kod, a specjaliści produktowi lub projektanci będą się do tego przyczyniać.

Wczoraj poprawiało się to, co maszyna napisała. Jutro będzie się poprawiać to, co pozwoliło jej źle napisać. Pozostaje pytanie: jeśli kod nie jest już przeglądany, kto przegląda uprząż?

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x