Tencent представила WeVisOne-VL — открытую модель для работы с изображениями и текстом, доступную в версиях на 2 и 4 миллиарда параметров, как сообщает команда WeChat Vision компании. Единая модель выполняет задачи детекции, обозначения, подсчета, указания, распознавания текста (OCR), сегментации и точного матирования (alpha matting). Выходные данные на уровне пикселей генерируются декодером на 9,6 миллиона параметров без использования отдельной модели SAM.
WeVisOne-VL, название которой расшифровывается как «WeChat Vision All-in-One», построена на основе Qwen3-VL. Она предназначена для точной локализации элементов на изображении, а не для свободного диалога. Пользователь выбирает желаемый тип вывода: точки, ограничивающие рамки, бинарные маски или непрерывный альфа-мат. Если искомый объект отсутствует на изображении, модель отвечает «None» вместо того, чтобы предлагать случайную рамку.
Принцип работы и обучение
Каждая задача обрабатывается как структурированное предсказание следующего токена, то есть следующей единицы текста или изображения, которую генерирует модель. Координаты рамок и точек выражаются токенами от до . Для задач, связанных с пикселями, модель выдает токен после каждой предсказанной рамки, чье скрытое состояние служит запросом для декодера. Последний включает адаптер визуальных признаков, который повторно использует многоуровневые признаки ViT от Qwen3-VL, декодер запросов, управляемый рамками, состоящий из 6 блоков деформируемой перекрестной внимательности, и плотный прогнозирующий заголовок, который уточняет результат до маски или мата в полном разрешении.
Модель была обучена с помощью движка данных, управляемого графом знаний, который аннотировал более 100 миллионов изображений примерно 3,6 миллиардами рамок. Области были предложены моделями SAM3, Rex-Omni и внутренним детектором Tencent, а затем проверены Qwen3-VL. Обучение включает три этапа SFT (Supervised Fine-Tuning) и финальный этап GRPO на 178 000 примерах, отфильтрованных по неопределенности, как описано в соответствующей исследовательской статье.
Заявленная производительность и реализация
Все следующие цифры предоставлены Tencent. Для версии на 4 миллиарда параметров модель получает средний F1-скор 71,3 на Dense200 (плотная детекция) против 58,7 у LocateAnything-3B. На RefCOCOg test она достигает 81,8 против 77,6 у LocateAnything-3B. Коэффициент отказа, измеряющий способность не предлагать рамку для отсутствующего объекта, достигает 96,4% на WeRef-Bench, внутреннем бенчмарке Tencent с 2880 запросами, против 73,0%. Согласно источнику, коэффициент отказа на PR-Bench составляет, однако, 52,6%, где многие запросы на отсутствующие цели все еще получают рамку.
Веса моделей на 2 и 4 миллиарда параметров доступны на Hugging Face под лицензией Apache 2.0. Модель на 2 миллиарда показывает 2,44 миллиарда параметров, а модель на 4 миллиарда — 4,83 миллиарда. По данным источника, выполнение происходит на одном GPU через Transformers или vLLM в формате BF16. Сообщество создало версию GGUF, которая обрабатывала задачи на уровне объектов на видеокарте RTX 2060 с 6 ГБ памяти. Tencent также выпустила Mask2Alpha — инструмент аннотирования матирования для своего движка данных. Код для тонкой настройки пока не опубликован.
