AIによって完全に生成された科学論文は、学術誌の審査を通過し得るのか？ ジャーナリストで応用数学博士のベンジャミン・スクーズは、出版社IEEEで実験を試みた。IEEE Spectrumに掲載された報告によれば、現時点では出版社のチェックは機能しているが、人工コンテンツと検出ツールのいたちごっこは激しいままだ。
ベンジャミン・スクーズによる「I Used AI to Fake a Scientific Paper」と題された報告は、一応それらしく、一応科学的な文章がいかに容易に生成できるかを描いている。IEEE Spectrumの機能・AI担当編集長エリザ・ストリックランドによれば、彼はその手順の単純さに驚いたという。「彼は単に『run experiment』と『write paper』をクリックしただけです。その後、何もしていません。ただ出版システムに放り込んだだけです」と彼女は語る。
ベンジャミン・スクーズによれば、人間による査読とIEEEの研究誠実性検証プログラムの組み合わせにより、現時点では、無料ツールを前にしたいたちごっこの試みに追いつくことができている。しかし、より高度な大規模言語モデルは、無料版のような明らかな誤りを犯さなくなっている。出版社は、ますます信憑性を増すコンテンツと、それらを見つけ出すシステムとの競争に巻き込まれている。なお、大規模言語モデル（LLM）とは、言語を生成するために膨大な量のテキストで訓練されたプログラムである。
最前線に立つWikipedia
科学出版社だけが抵抗しているわけではない。Wikipediaも同じ問題に直面している。エリザ・ストリックランドは「Five Questions」コーナーの一環で、WikiProject AI Cleanup（プラットフォーム上のAI生成コンテンツを検出・削除することを目指すボランティアによる取り組み）の共同創設者エリア・ルブルーにインタビューした。彼女のチームは商業出版社と同じ困難に直面しているが、人員もツールも少ない状況だ。
エリザ・ストリックランドによれば、Wikipediaは人間によって作成された情報のリポジトリとして認識されており、同プラットフォームはその状態を維持する意向だ。「彼らがそれをどれだけ長く続けられるか、誰にもわかりません」と彼女は疑問を投げかける。
この問題は、これら2者の枠組みを超えている。もし科学文献が信頼できるもの、あるいは世界に関する基本的な事実が正確なものと、集団的に考えられなくなれば、何が現実であるかの理解は不確かなものとなる。この不確実性は、人類の知識体系を維持・更新する責務を負う機関への信頼を損なう。
エリザ・ストリックランドは、さらに懸念すべき展望にも言及する。「AIが他のAIのために文章を書く時代が来るなんて、狂っていませんか？私たちは単にその輪から外されてしまうでしょう」
