人工知能システムを設計者の意図に沿わせる(アライメント)ための一つの道筋は、個人を社会のルールの枠内に留めておくメカニズムにヒントを得ることだ。プリンストン大学のコンピュータ科学教授、エラド・ハザンはこのアプローチを提唱し、社会的規範、司法制度、あるいは市場資本主義の経済的インセンティブに依拠することを提案している。
「我々は超知能AIをアライメントさせたいのです」と彼は言う。「ではまず、人間について話してみませんか? どうやって人間をアライメントさせるのでしょうか?」
社会から着想を得たルール
エラド・ハザンが提案するメカニズムは、二つの役割をモデルに交互に演じさせるものだ。「ソルバー(問題解決者)」は問題に取り組み、「オーディター(監査者)」は他者の作業を検証する。「一つのエージェントが警察の役割を、もう一つが市民の役割を演じるのです」と彼は要約する。
訓練中、モデルは結果に基づいて報酬を得る。不正が発覚したソルバーは罰せられるが、不正を見逃したオーディターも同様に罰せられる。オーディターとソルバーの間に意見の相違がある場合、その件は「裁判」に持ち込まれ、人間の専門家が裁定を下す可能性がある。
エラド・ハザンは一つのリスクを認めている。監査対象企業と監査人、あるいは汚職警官と犯罪者のように、エージェント同士が共謀する可能性だ。彼によれば、この問題は、オーディターに十分な報酬を与えることで解決できるという。つまり、不正が発覚するリスクを冒す価値がないほどにすることで、これはAIの訓練においては、現実世界の警察官の給与予算が限られている場合よりもはるかに簡単だ。また、覆面調査員のような技術を用いて、オーディター自身を監視することも提案している。
彼は、1960年代に「合理的犯罪者」の概念を導入したノーベル賞受賞経済学者、ゲーリー・ベッカーの研究に依拠している。エラド・ハザンによれば、犯罪者が法を犯すのは、彼らが根本的に悪であるからではなく、提示されたインセンティブを考慮した上で最も合理的な選択をしたからだ。この理屈によれば、犯罪は、潜在的な罰則を上回る利益が見込まれる場合にのみ意味を持つ。
エラド・ハザンにとって、アライメントはモデルの属性として考えるべきではなく、ある時点でのその振る舞いの記述として考えるべきだという。「あなたは、ある意味、善良な人物です」と彼は言う。「あなたはアライメントされていますか? わかりません。おそらくほとんどの場合はそうでしょうが、そうでない状況もあるかもしれません」。
アプローチの限界
この手法は、AIエージェントが合理的に振る舞うという仮定に基づいている。しかし、インセンティブのルールを設計する経済学の一分野であるメカニズムデザイン理論は、必ずしも経済モデルが予測するように振る舞わない人間に対しては、成果がまちまちだ。
記事は一つのパラドックスを指摘している。経済学者たちは何十年もかけて人間の行動を数学に還元しようとしてきたが、大規模言語モデルは人間の言語から機能する数学的システムであり、同様に解読が困難かもしれない。これらのモデルは、機械的というよりはむしろ人間的な振る舞いを示し、理解し説明することが難しい微妙な要因によって影響を受ける可能性がある。科学的発見の計算論的推進を目的とする非営利組織、フラットアイアン研究所のリサーチフェロー、ヘレン・クーは疑問を投げかける。「彼らがインセンティブに反応すると仮定すること自体、果たして合理的なのでしょうか?」
