Face au déluge d’articles, une étude d’un an explore l’apprentissage par démonstration

Face au déluge d’articles, une étude d’un an explore l’apprentissage par démonstration
3 min de lecture

Face à l’explosion des publications en robotique, six chercheurs ont tenté de lire une grande partie des travaux parus en 2024 dans un seul sous-domaine, l’apprentissage par démonstration (learning from demonstration, LfD). Selon leur étude, seuls environ 20 % des articles seraient des contributions majeures, le reste proposant surtout des améliorations progressives de méthodes existantes ou de nouveaux domaines d’application.

Dans cette méthode, des robots apprennent à effectuer des tâches en étant guidés par des experts humains. Les auteurs, Aude Billard, Renaud Detry, Nadia Figueroa, Maximilian Foriest, Dongheui Lee et Kunpeng Yao, rappellent que les chercheurs sont censés lire les nouvelles publications de leur domaine pour rester à jour, une tâche qui devient vite irréalisable. À titre d’exemple, IEEE a publié 46 968 articles sur « robotics » ou « automation » rien qu’en 2024, alors que les publications IEEE ne représentent qu’une partie de la recherche disponible en ligne.

Une croissance continue des soumissions

D’après l’étude, le nombre de soumissions aux revues de robotique progresse chaque année depuis une décennie, avec une accélération nette : +26 % en 2023 et +31 % en 2024. Les auteurs évoquent plusieurs causes probables, dont l’intérêt croissant des secteurs public et privé, ainsi que la disponibilité d’outils d’IA aidant à rédiger des articles et du code. Le nombre d’articles publiés suit cette tendance, malgré les efforts des comités éditoriaux pour contenir la hausse en réduisant les taux d’acceptation.

Les conférences connaissent la même évolution. La conférence ICRA a ainsi doublé le nombre d’articles publiés en dix ans, pour atteindre environ 1 800 en 2024. Dans le même temps, la pression de la communauté pour publier rapidement a réduit de 50 % le délai entre la soumission d’un article et sa publication.

Des outils automatisés aux limites marquées

Les auteurs ont évalué la tâche de deux façons : une lecture humaine de l’ensemble des articles, et l’usage de scripts et de grands modèles de langage (LLM, des systèmes capables de traiter et de générer du texte). Selon eux, ces outils fournissent une évaluation quantitative générale d’une fidélité acceptable. En revanche, ils échouent à évaluer l’importance réelle d’une recherche : ils ne repèrent pas un article qui reprend un travail déjà résolu, ni les affirmations exagérées d’un résumé par rapport à la contribution réelle.

Parmi plus de 300 articles analysés, les auteurs constatent que les contributions les plus notables ne correspondent pas forcément au nombre de téléchargements ou de citations. Or, ces « pépites » sont essentielles pour éviter que des travaux nouveaux passent inaperçus et pour limiter les doublons de recherche.

L’étude formule plusieurs recommandations. Les auteurs proposent notamment de développer un moteur de recherche classant les articles selon les évaluations et le statut de relecture par les comités de revues et de conférences, à la place de Google Scholar ou d’IEEEXplore, qui placent toutes les publications sur un pied d’égalité. Ils suggèrent aussi d’envisager un modèle de publication en aveugle, où les noms des auteurs et de leurs institutions seraient secondaires. Enfin, ils recommandent d’utiliser les LLM pour ce qu’ils font bien, à savoir résumer un travail et recueillir des informations quantitatives précises, sans les considérer comme capables d’évaluer la nouveauté réelle d’un article. Les auteurs notent toutefois que, si ces outils y parvenaient un jour, cela pourrait avoir des répercussions sur la capacité humaine à fournir cette expertise.

Le phénomène ne se limite pas à IEEE : selon l’étude, les revues IJRR, ainsi que les conférences RSS et CoRL, suivent la même tendance.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x