Google Research a publié Agile Deliberation, un cadre de travail qui associe un humain à la construction de classificateurs d’images fondés sur des notions subjectives, comme « alimentation saine » ou le clickbait en modération de contenus. La plupart des outils supposent que l’utilisateur connaît déjà la frontière du concept, alors que ce cadre part de l’hypothèse inverse et l’aide à la trouver.
- Google Research publie Agile Deliberation, un cadre qui aide un humain à définir des concepts subjectifs pour classer des images.
- Le système transforme une notion floue en définition écrite, utilisée comme invite d’un VLM, et conserve celle qui obtient le meilleur score F1.
- Sur deux concepts et 18 sessions, le score F1 gagne 10,5 points par rapport au zero-shot, mais le rappel recule de 15 à 17 points.
- Le code est publié sur GitHub sous licence Apache 2.0, avec un notebook qui nécessite une clé d’API Gemini.
Le dispositif transforme une notion floue en définition écrite, à la fois lisible par un humain et utilisée comme invite (prompt) d’un VLM, un modèle de vision-langage capable de classer des images à partir d’un texte. À chaque tour, la définition qui obtient le meilleur score F1, une mesure combinant précision et rappel, sur les étiquettes de l’utilisateur est conservée. Le design s’appuie sur des entretiens avec des experts en modération de contenus, qui commençaient par délimiter le concept avant de le raffiner sur des images limites, une tâche décrite comme la partie la plus lente.
Un processus en deux étapes
La première étape découpe le concept en trois unités au plus, à l’aide de Gemini 2.5 Pro. Pour « alimentation saine », les exemples positifs peuvent être des salades ou des bols de céréales, et les négatifs des aliments transformés ou des ingrédients bruts. L’utilisateur garde, inverse ou écarte chacun d’eux.
La seconde étape ne repose pas sur les scores de confiance du classificateur, souvent non calibrés. Le système cherche plutôt des images ambiguës par leur sens. Gemini 2.5 Flash rédige des requêtes limites, comme « salades avec sauce mayonnaise très épaisse », et les images récupérées sont regroupées en grappes. Un algorithme de type bandit manchot, qui arbitre entre plusieurs options, choisit ensuite la grappe suivante, en privilégiant celles où l’utilisateur a corrigé le modèle. Un VLM résume chaque image en une phrase, puis l’utilisateur étiquette les images et note ses désaccords. Un LLM, grand modèle de langage, transforme ces notes en définitions candidates.
Une évaluation en conditions réelles
Les concepts subjectifs n’ayant pas de vérité de référence fixe, l’équipe a renoncé aux benchmarks statiques. Elle a mené 18 sessions d’environ 90 minutes avec 9 participants sans expérience professionnelle de modération, qui ont chacun utilisé Agile Deliberation lors d’une session et une délimitation manuelle lors de l’autre. Chaque participant a passé environ 45 minutes à définir un concept, puis a étiqueté 200 images de test mises de côté. Les deux concepts étaient « paid to play » et « healthy food ».
Selon le tableau 1 de l’article présenté à la conférence CVPR 2026, le score F1 atteint 0,59 pour « paid to play », contre 0,48 en zero-shot (sans exemples d’entraînement), et 0,58 pour « healthy food », contre également 0,48. En moyenne, le gain s’élève à 10,5 points de F1 par rapport à Gemini 2.5 Flash en zero-shot, sur deux concepts et 18 sessions. Le rappel recule toutefois de 17 points sur « paid to play », de 0,80 à 0,63, et de 15 points sur « healthy food ». Les utilisateurs ont rapporté un effort et un stress nettement inférieurs à ceux de l’édition manuelle des invites.
Le code est publié sur GitHub sous licence Apache 2.0, avec un notebook de démonstration qui nécessite une clé d’API Gemini et utilise par défaut gemini-2.5-pro et gemini-2.5-flash. Un index FAISS, bibliothèque de recherche de similarité, construit sur des embeddings CLIP de LAION-400M, pèse environ 260 Mo pour les deux fragments par défaut, et environ 13 Go pour les 100 fragments.
