На фоне взрывного роста публикаций в робототехнике шесть исследователей попытались прочитать значительную часть работ, вышедших в 2024 году в одной узкой области — обучении с демонстрацией (learning from demonstration, LfD). Согласно их исследованию, лишь около 20 % статей являются значительным вкладом, в то время как остальные предлагают в основном постепенные улучшения существующих методов или новые области применения.
В этом методе роботы учатся выполнять задачи под руководством экспертов-людей. Авторы — Од Бийар, Рено Детри, Надия Фигероа, Максимилиан Форист, Донхёй Ли и Куньпэн Яо — напоминают, что исследователи должны читать новые публикации в своей области, чтобы оставаться в курсе, задача, которая быстро становится невыполнимой. Например, IEEE опубликовала 46 968 статей по «robotics» или «automation» только за 2024 год, притом что публикации IEEE представляют лишь часть исследований, доступных в сети.
Непрерывный рост числа подаваемых статей
Согласно исследованию, количество заявок в журналы по робототехнике растет каждый год на протяжении десятилетия, с заметным ускорением: +26 % в 2023 и +31 % в 2024. Авторы называют несколько вероятных причин, включая растущий интерес государственного и частного секторов, а также доступность инструментов ИИ, помогающих писать статьи и код. Количество публикуемых статей следует этой тенденции, несмотря на усилия редакционных комитетов сдержать рост, снижая процент принятия.
Конференции демонстрируют ту же динамику. Так, конференция ICRA удвоила количество публикуемых статей за десять лет, достигнув примерно 1800 в 2024 году. В то же время давление со стороны научного сообщества с целью быстрой публикации сократило на 50 % срок между подачей статьи и её публикацией.
Автоматизированные инструменты с четкими ограничениями
Авторы оценили задачу двумя способами: ручное прочтение всех статей и использование скриптов и больших языковых моделей (LLM, систем, способных обрабатывать и генерировать текст). По их мнению, эти инструменты дают общую количественную оценку приемлемой точности. Однако они не способны оценить реальную значимость исследования: они не выявляют статью, повторяющую уже решенную работу, ни преувеличенные заявления в аннотации по сравнению с реальным вкладом.
Среди более чем 300 проанализированных статей авторы отмечают, что наиболее заметные вклады не обязательно соответствуют количеству загрузок или цитирований. Однако эти «жемчужины» крайне важны, чтобы новые работы не остались незамеченными и чтобы ограничить дублирование исследований.
Исследование формулирует несколько рекомендаций. Авторы, в частности, предлагают разработать поисковую систему, ранжирующую статьи на основе оценок и статуса рецензирования журнальными и конференцными комитетами, вместо Google Scholar или IEEEXplore, которые ставят все публикации в равное положение. Они также предлагают рассмотреть модель слепой публикации, где имена авторов и их учреждений были бы второстепенны. Наконец, они рекомендуют использовать LLM для того, что они умеют делать хорошо, а именно — резюмировать работу и собирать точные количественные данные, не считая их способными оценить реальную новизну статьи. Авторы, однако, отмечают, что если эти инструменты когда-нибудь достигнут этого, это может повлиять на способность людей предоставлять такую экспертизу.
Феномен не ограничивается IEEE: согласно исследованию, журналы IJRR, а также конференции RSS и CoRL следуют той же тенденции.
