Могут ли полностью сгенерированные ИИ научные статьи пройти фильтры журналов? Журналист и доктор прикладной математики Бенджамин Скуз провёл эксперимент с издателем IEEE. Согласно опубликованному IEEE Spectrum рассказу, проверки издателя пока держатся, но гонка между искусственным контентом и инструментами обнаружения остаётся напряжённой.
Результаты эксперимента Бенджамина Скуза, озаглавленные «I Used AI to Fake a Scientific Paper», описывают, с какой лёгкостью можно создать более-менее правдоподобный и научный текст. По словам Элизы Стрикленд, главного редактора по функциям и ИИ в IEEE Spectrum, его удивила простота процесса. «Он просто нажал «run experiment» и «write paper». И после этого не сделал абсолютно ничего. Он просто запустил это в систему публикации», — рассказывает она.
По мнению Бенджамина Скуза, сочетание человеческой проверки и программ проверки целостности исследований IEEE позволяет пока успевать за такими попытками, которые представляют собой игру в кошки-мышки с бесплатными инструментами. Однако более продвинутые большие языковые модели уже не совершают грубых ошибок своих бесплатных версий. Таким образом, издатели вовлечены в гонку между всё более правдоподобным контентом и системами, призванными его выявлять. Напомним, что большая языковая модель, или LLM, — это программа, обученная на огромных объёмах текстов для генерации языка.
Википедия на передовой
Научные издатели — не единственные, кто сопротивляется. Википедия сталкивается с той же проблемой. В рамках своей рубрики «Five Questions» Элиза Стрикленд взяла интервью у Эллии Леблё, одного из основателей WikiProject AI Cleanup, инициативы волонтёров, направленной на обнаружение и удаление контента, созданного ИИ, на платформе. Её команда сталкивается с той же трудностью, что и коммерческие издатели, но с меньшим количеством людей и инструментов.
По мнению Элизы Стрикленд, Википедия признана хранилищем информации, созданной людьми, и платформа намерена оставаться таковой. «Кто знает, как долго они смогут это делать?» — задаётся она вопросом.
Вопрос выходит за рамки этих двух игроков. Если мы больше не можем коллективно считать научную литературу надёжной или базовые факты о мире точными, понимание того, что является реальным, становится неопределённым. Эта неопределённость подрывает доверие к институтам, ответственным за поддержание корпуса человеческих знаний в актуальном состоянии.
Элиза Стрикленд также упоминает более тревожную перспективу. «Разве не безумие, что у нас в какой-то момент будут ИИ, которые пишут для других ИИ? Мы просто будем исключены из цикла».
