コードより先にハーネスを修正せよ

コードより先にハーネスを修正せよ
1 分の読書

AIエージェントがバグを生み出した時、コードを修正するだけでは不十分。欠陥が再発するリスクがあるからだ。AIエージェントを用いて最速でリリースするチームは今、コードを修正する前に、つまりモデルを管理する環境であるハーネスを優先している。

ハーネスとは何か?

ハーネスとは、モデルを取り巻く全てをまとめたものだ:hooks、skills、リンター、テスト、CI(継続的インテグレーション、つまりコードの自動チェック)のルール。これらは、コードが出荷される前にエージェントの作業をテストし検証する決定論的な仕組みである。情報筋によれば、差を生むのはモデルではない:優れたモデルを野放しにするより、平凡なモデルでも優れたハーネスを持つ方が良い。

一方、エンジニアリングにおけるコンテキストとは、適切な情報を適切な場所に適切なタイミングで配置することだ。ハーネスは、そこで生み出されるものに信頼を置けるようにするその一部である。

バグは単なる症状

ハーネスに手を付けずにコードを修正するのは、パイプを見ずに水漏れを直すようなものだ。もしエージェントがエラーを見逃したなら、それはルールが不足していたか、hookが存在しなかったか、コンテキストが飽和していたからだ。同じバグは、別の形で次のセッションで再発するだろう。

本番前のテスト環境であるステージングでは、ハーネスから始める方法が取られる:なぜ失敗したのか、どこで、どのskillを修正すべきか? 多くの場合、答えは一言で済む:コンテキストが過負荷だった、情報が不足していた。もしバグが些細なものであれば、手動で修正することもできるが、ハーネスがそこから学べるように記録しておくことが条件だ。

あらゆるエラーを追跡せよ

このアプローチを維持するためには、各エラーの発生源を知る必要がある:どのモデル、どのセッション、どのskill、どのエージェントが、どのコミットを生成したのか。この追跡可能性がなければ、闇雲に修正することになる。それがあれば、同じタスクを10回繰り返し、速度とコストの両面で設定を比較することが可能になる。

小さなチームでは、数人の開発者とプロダクト担当者が、数ヶ月で数千ものプルリクエストを送信することができる。エンジニアの時間のかなりの部分、時には4分の3が、アプリケーション、チームへの新規参入、コストとセキュリティの制約と共に進化するハーネスに費やされることになる。

レビューと新たな役割

一部の人々は、本番にプッシュするコードの大半をレビューしなくなっている。情報筋によれば、これは怠慢ではなく、人間の目に頼るのではなく、積み重ねられた安全装置に依拠する、信頼の置き所の変化だ。実用主義は依然として重要である:支払い処理はまだレビューされる一方、ストアでの承認を数日待つモバイルアプリケーションはより慎重さを要求する。したがって、ハーネスのレベルはリスクに応じて調整される。

固定化したハーネスは、障害にもなりうる。モデルの古いバージョンにロックされると、なぜ同僚が満足しているのか理解できないチームを数週間も停滞させる可能性がある。デベックス、スタッフエンジニア、「メタビルダー」の間のどこかに、まだ安定した名前のない役割が現れつつある。シニアはコードをレビューする代わりにハーネスをロックし、プロダクトやデザインの担当者もそれに貢献するだろう。

昨日までは、機械が書いたものを修正していた。明日からは、機械が誤って書くことを許したものを修正する。残る疑問は:もしコードがレビューされなくなったら、誰がハーネスをレビューするのか?

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x