Di fronte all’esplosione delle pubblicazioni in robotica, sei ricercatori hanno tentato di leggere gran parte dei lavori pubblicati nel 2024 in un solo sottodominio, l’apprendimento per dimostrazione (learning from demonstration, LfD). Secondo il loro studio, solo circa il 20% degli articoli rappresenterebbero contributi maggiori, mentre il resto propone soprattutto miglioramenti progressivi di metodi esistenti o nuovi campi di applicazione.
In questo metodo, i robot imparano a eseguire compiti guidati da esperti umani. Gli autori, Aude Billard, Renaud Detry, Nadia Figueroa, Maximilian Foriest, Dongheui Lee e Kunpeng Yao, ricordano che i ricercatori dovrebbero leggere le nuove pubblicazioni del loro campo per rimanere aggiornati, un compito che diventa rapidamente irrealizzabile. A titolo di esempio, IEEE ha pubblicato 46.968 articoli su «robotics» o «automation» solo nel 2024, mentre le pubblicazioni IEEE rappresentano solo una parte della ricerca disponibile online.
Una crescita continua delle submission
Secondo lo studio, il numero di submission alle riviste di robotica progredisce ogni anno da un decennio, con un’accelerazione netta: +26% nel 2023 e +31% nel 2024. Gli autori evocano diverse cause probabili, tra cui l’interesse crescente dei settori pubblico e privato, nonché la disponibilità di strumenti di IA che aiutano a redigere articoli e codice. Il numero di articoli pubblicati segue questa tendenza, nonostante gli sforzi dei comitati editoriali per contenere l’aumento riducendo i tassi di accettazione.
Le conferenze conoscono la stessa evoluzione. La conferenza ICRA ha così raddoppiato il numero di articoli pubblicati in dieci anni, raggiungendo circa 1.800 nel 2024. Nello stesso tempo, la pressione della comunità per pubblicare rapidamente ha ridotto di 50% il tempo tra la submission di un articolo e la sua pubblicazione.
Strumenti automatizzati dai limiti marcati
Gli autori hanno valutato il compito in due modi: una lettura umana dell’insieme degli articoli e l’uso di script e grandi modelli linguistici (LLM, sistemi capaci di elaborare e generare testo). Secondo loro, questi strumenti forniscono una valutazione quantitativa generale di una fedeltà accettabile. Al contrario, falliscono nel valutare l’importanza reale di una ricerca: non individuano un articolo che riprende un lavoro già risolto, né le affermazioni esagerate di un riassunto rispetto al contributo reale.
Tra oltre 300 articoli analizzati, gli autori constatano che i contributi più notevoli non corrispondono necessariamente al numero di download o di citazioni. Eppure, queste « pepite » sono essenziali per evitare che lavori nuovi passino inosservati e per limitare i duplicati di ricerca.
Lo studio formula diverse raccomandazioni. Gli autori propongono in particolare di sviluppare un motore di ricerca che classifichi gli articoli in base alle valutazioni e allo stato di revisione da parte dei comitati di riviste e conferenze, al posto di Google Scholar o IEEEXplore, che pongono tutte le pubblicazioni sullo stesso piano. Suggeriscono anche di considerare un modello di pubblicazione in cieco, dove i nomi degli autori e delle loro istituzioni sarebbero secondari. Infine, raccomandano di utilizzare gli LLM per ciò che fanno bene, ovvero riassumere un lavoro e raccogliere informazioni quantitative precise, senza considerarli capaci di valutare la novità reale di un articolo. Gli autori notano tuttavia che, se questi strumenti vi riuscissero un giorno, ciò potrebbe avere ripercussioni sulla capacità umana di fornire questa competenza.
Il fenomeno non si limita a IEEE: secondo lo studio, le riviste IJRR, così come le conferenze RSS e CoRL, seguono la stessa tendenza.
