Tegenover de explosie van publicaties in de robotica hebben zes onderzoekers geprobeerd een groot deel van het werk dat in 2024 in één subdomein verscheen, leren door demonstratie (learning from demonstration, LfD), te lezen. Volgens hun studie zouden slechts ongeveer 20% van de artikelen belangrijke bijdragen zijn, waarbij de rest vooral incrementele verbeteringen van bestaande methoden of nieuwe toepassingsgebieden voorstelt.
Bij deze methode leren robots taken uit te voeren door begeleiding van menselijke experts. De auteurs, Aude Billard, Renaud Detry, Nadia Figueroa, Maximilian Foriest, Dongheui Lee en Kunpeng Yao, herinneren eraan dat onderzoekers verondersteld worden nieuwe publicaties in hun vakgebied te lezen om op de hoogte te blijven, een taak die al snel onuitvoerbaar wordt. Ter illustratie: IEEE publiceerde alleen al in 2024 46.968 artikelen over ‘robotics’ of ‘automation’, terwijl IEEE-publicaties slechts een deel van het online beschikbare onderzoek vertegenwoordigen.
Een voortdurende groei van inzendingen
Volgens de studie neemt het aantal inzendingen bij robotica-tijdschriften elk jaar toe sinds een decennium, met een duidelijke versnelling: +26% in 2023 en +31% in 2024. De auteurs noemen verschillende waarschijnlijke oorzaken, waaronder de groeiende interesse van de publieke en private sector, en de beschikbaarheid van AI-tools die helpen bij het schrijven van artikelen en code. Het aantal gepubliceerde artikelen volgt deze trend, ondanks de inspanningen van redactiecomités om de stijging te beperken door acceptatiepercentages te verlagen.
Conferenties kennen dezelfde ontwikkeling. De ICRA-conferentie heeft het aantal gepubliceerde artikelen bijvoorbeeld verdubbeld in tien jaar tijd, tot ongeveer 1.800 in 2024. Tegelijkertijd heeft de druk vanuit de gemeenschap om snel te publiceren de tijd tussen de inzending van een artikel en de publicatie ervan met 50% verkort.
Geautomatiseerde tools met duidelijke beperkingen
De auteurs hebben de taak op twee manieren geëvalueerd: een menselijke lezing van alle artikelen, en het gebruik van scripts en grote taalmodellen (LLM’s, systemen die tekst kunnen verwerken en genereren). Volgens hen leveren deze tools een algemene kwantitatieve beoordeling van een acceptabele betrouwbaarheid. Daarentegen slagen ze er niet in het werkelijke belang van een onderzoek te beoordelen: ze herkennen geen artikel dat reeds opgelost werk herhaalt, noch de overdreven beweringen in een samenvatting ten opzichte van de werkelijke bijdrage.
Onder meer dan 300 geanalyseerde artikelen constateren de auteurs dat de meest opmerkelijke bijdragen niet noodzakelijk overeenkomen met het aantal downloads of citaties. Deze ‘pareltjes’ zijn echter essentieel om te voorkomen dat nieuw werk onopgemerkt blijft en om onderzoeksdubbelingen te beperken.
De studie formuleert verschillende aanbevelingen. De auteurs stellen onder meer voor een zoekmachine te ontwikkelen die artikelen rangschikt op basis van beoordelingen en de status van peer review door tijdschrift- en conferentiecomités, in plaats van Google Scholar of IEEEXplore, die alle publicaties op gelijke voet plaatsen. Ze suggereren ook een blind publicatiemodel te overwegen, waarbij de namen van auteurs en hun instellingen secundair zouden zijn. Ten slotte raden ze aan LLM’s te gebruiken voor wat ze goed kunnen, namelijk een werk samenvatten en nauwkeurige kwantitatieve informatie verzamelen, zonder ze te beschouwen als in staat de werkelijke nieuwigheid van een artikel te beoordelen. De auteurs merken echter op dat, als deze tools dat ooit zouden kunnen, dit gevolgen zou kunnen hebben voor het menselijk vermogen om deze expertise te leveren.
Het fenomeen beperkt zich niet tot IEEE: volgens de studie volgen de tijdschriften IJRR, evenals de conferenties RSS en CoRL, dezelfde trend.
