Face à explosão de publicações em robótica, seis investigadores tentaram ler uma grande parte dos trabalhos publicados em 2024 num único subdomínio, a aprendizagem por demonstração (learning from demonstration, LfD). Segundo o seu estudo, apenas cerca de 20% dos artigos seriam contribuições maiores, sendo o resto sobretudo melhorias progressivas de métodos existentes ou novas áreas de aplicação.
Neste método, os robôs aprendem a executar tarefas sendo guiados por especialistas humanos. Os autores, Aude Billard, Renaud Detry, Nadia Figueroa, Maximilian Foriest, Dongheui Lee e Kunpeng Yao, recordam que os investigadores devem ler as novas publicações da sua área para se manterem atualizados, uma tarefa que rapidamente se torna irrealizável. A título de exemplo, a IEEE publicou 46.968 artigos sobre «robotics» ou «automation» apenas em 2024, sendo que as publicações da IEEE representam apenas uma parte da investigação disponível online.
Um crescimento contínuo das submissões
De acordo com o estudo, o número de submissões às revistas de robótica tem aumentado todos os anos desde há uma década, com uma aceleração clara: +26% em 2023 e +31% em 2024. Os autores referem várias causas prováveis, incluindo o interesse crescente dos sectores público e privado, bem como a disponibilidade de ferramentas de IA que ajudam a redigir artigos e código. O número de artigos publicados segue esta tendência, apesar dos esforços dos comités editoriais para conter o aumento reduzindo as taxas de aceitação.
As conferências conhecem a mesma evolução. A conferência ICRA duplicou assim o número de artigos publicados em dez anos, para atingir cerca de 1.800 em 2024. Ao mesmo tempo, a pressão da comunidade para publicar rapidamente reduziu em 50% o prazo entre a submissão de um artigo e a sua publicação.
Ferramentas automatizadas com limites marcados
Os autores avaliaram a tarefa de duas formas: uma leitura humana de todos os artigos e o uso de scripts e de grandes modelos de linguagem (LLM, sistemas capazes de processar e gerar texto). Segundo eles, estas ferramentas fornecem uma avaliação quantitativa geral de uma fidelidade aceitável. Por outro lado, falham na avaliação da importância real de uma investigação: não detetam um artigo que retoma um trabalho já resolvido, nem as afirmações exageradas de um resumo face à contribuição real.
Entre mais de 300 artigos analisados, os autores constatam que as contribuições mais notáveis não correspondem necessariamente ao número de downloads ou de citações. Ora, estas «pérolas» são essenciais para evitar que trabalhos novos passem despercebidos e para limitar as duplicações de investigação.
O estudo formula várias recomendações. Os autores propõem nomeadamente desenvolver um motor de busca que classifique os artigos de acordo com as avaliações e o estado de revisão pelos comités de revistas e conferências, em vez do Google Scholar ou do IEEEXplore, que colocam todas as publicações em pé de igualdade. Sugerem também considerar um modelo de publicação cega, onde os nomes dos autores e das suas instituições seriam secundários. Por fim, recomendam usar os LLM para o que fazem bem, nomeadamente resumir um trabalho e recolher informações quantitativas precisas, sem os considerar capazes de avaliar a novidade real de um artigo. Os autores notam, no entanto, que se estas ferramentas um dia o conseguissem, isso poderia ter repercussões na capacidade humana de fornecer essa especialização.
O fenómeno não se limita à IEEE: segundo o estudo, as revistas IJRR, bem como as conferências RSS e CoRL, seguem a mesma tendência.
