Tencent a publié WeVisOne-VL, un modèle de vision et langage ouvert, disponible en versions de 2B et 4B paramètres, selon l’équipe WeChat Vision de l’entreprise. Un seul modèle y assure la détection, la désignation, le comptage, le pointage, la reconnaissance de texte (OCR), la segmentation et le détourage fin (alpha matting). Les sorties au niveau du pixel sont produites par un décodeur de 9,6 millions de paramètres, sans recours à un modèle SAM distinct.
- Tencent publie WeVisOne-VL, un modèle ouvert de vision et langage en versions 2B et 4B.
- Le modèle réalise détection, OCR, segmentation et détourage sans recourir à SAM.
- Selon Tencent, il dépasse LocateAnything-3B, mais son taux de rejet chute à 52,6 % sur PR-Bench.
- Les poids sont disponibles sous licence Apache 2.0, et le code de fine-tuning arrivera plus tard.
WeVisOne-VL, dont le nom signifie « WeChat Vision All-in-One », est construit sur Qwen3-VL. Il est conçu pour la localisation fine d’éléments dans une image plutôt que pour la conversation libre. L’utilisateur choisit le type de sortie souhaité : points, boîtes, masques binaires ou matte alpha continue. Lorsque l’objet recherché est absent de l’image, le modèle répond « None » au lieu de proposer une boîte au hasard.
Fonctionnement et entraînement
Chaque tâche est traitée comme une prédiction structurée du prochain token, c’est-à-dire de la prochaine unité de texte ou d’image que le modèle génère. Les coordonnées des boîtes et des points sont exprimées par des tokens allant de à . Pour les tâches liées aux pixels, le modèle émet un token après chaque boîte prédite, dont l’état caché sert de requête au décodeur. Ce dernier comprend un adaptateur de caractéristiques visuelles, qui réutilise les caractéristiques multi-niveaux du ViT de Qwen3-VL, un décodeur de requêtes guidé par les boîtes, composé de 6 blocs d’attention croisée déformable, et une tête de prédiction dense qui affine le résultat jusqu’à un masque ou un matte en pleine résolution.
Le modèle a été entraîné grâce à un moteur de données piloté par un graphe de connaissances, qui a annoté plus de 100 millions d’images avec environ 3,6 milliards de boîtes. Les régions ont été proposées par SAM3, Rex-Omni et un détecteur interne à Tencent, puis vérifiées par Qwen3-VL. L’entraînement comprend trois étapes de SFT (ajustement supervisé) et une étape finale de GRPO, sur 178 000 exemples filtrés selon leur incertitude, comme le décrit l’article de recherche associé.
Performances annoncées et mise en œuvre
Tous les chiffres suivants sont fournis par Tencent. Pour la version 4B, le modèle obtient un score F1 moyen de 71,3 sur Dense200, la détection dense, contre 58,7 pour LocateAnything-3B. Sur RefCOCOg test, il atteint 81,8 contre 77,6 pour LocateAnything-3B. Le taux de rejet, qui mesure la capacité à ne pas proposer de boîte pour un objet absent, atteint 96,4 % sur WeRef-Bench, un benchmark interne de Tencent comptant 2 880 requêtes, contre 73,0 %. Selon la source, le taux de rejet est en revanche de 52,6 % sur PR-Bench, où de nombreuses requêtes sur des cibles absentes reçoivent encore une boîte.
Les poids des modèles 2B et 4B sont disponibles sur Hugging Face, sous licence Apache 2.0. Le modèle 2B affiche 2,44 milliards de paramètres, et le modèle 4B 4,83 milliards. Selon la source, l’exécution se fait sur un seul GPU, via Transformers ou vLLM, en BF16. Une version GGUF communautaire a traité des tâches au niveau de l’objet sur une carte RTX 2060 de 6 Go. Tencent a également publié Mask2Alpha, l’outil d’annotation de détourage de son moteur de données. Le code de fine-tuning reste à venir.
