Tencent opublikował WeVisOne-VL, otwarty model wizyjno-językowy, dostępny w wersjach o 2B i 4B parametrach, jak poinformował zespół WeChat Vision firmy. Jeden model zapewnia wykrywanie, nazywanie, liczenie, wskazywanie, rozpoznawanie tekstu (OCR), segmentację i precyzyjne wycinanie (alpha matting). Wyniki na poziomie pikseli są generowane przez dekoder o 9,6 miliona parametrów, bez użycia oddzielnego modelu SAM.
WeVisOne-VL, którego nazwa oznacza „WeChat Vision All-in-One », jest zbudowany na bazie Qwen3-VL. Został zaprojektowany do precyzyjnej lokalizacji elementów na obrazie, a nie do swobodnej konwersacji. Użytkownik wybiera żądany typ wyniku: punkty, ramki, maski binarne lub ciągłą matte alfa. Gdy poszukiwany obiekt nie występuje na obrazie, model odpowiada „None » zamiast proponować losową ramkę.
Działanie i trenowanie
Każde zadanie jest traktowane jako strukturalna predykcja następnego tokena, czyli następnej jednostki tekstu lub obrazu generowanej przez model. Współrzędne ramek i punktów są wyrażane za pomocą tokenów od do . W zadaniach związanych z pikselami model emituje token po każdej przewidywanej ramce, którego stan ukryty służy jako zapytanie do dekodera. Ten ostatni zawiera adapter cech wizualnych, który ponownie wykorzystuje cechy wielopoziomowe z ViT Qwen3-VL, dekoder zapytań sterowany ramkami, składający się z 6 bloków zdeformowanej uwagi krzyżowej, oraz gęstą głowicę predykcyjną, która dopracowuje wynik do pełnej rozdzielczości maski lub matte.
Model został wytrenowany za pomocą silnika danych sterowanego grafem wiedzy, który opatrzył adnotacjami ponad 100 milionów obrazów z około 3,6 miliarda ramek. Regiony zostały zaproponowane przez SAM3, Rex-Omni oraz wewnętrzny detektor Tencenta, a następnie zweryfikowane przez Qwen3-VL. Trening obejmuje trzy etapy SFT (dostrajania nadzorowanego) i końcowy etap GRPO, na 178 000 przykładów przefiltrowanych według ich niepewności, jak opisano w powiązanym artykule badawczym.
Ogłoszone osiągi i implementacja
Wszystkie poniższe liczby pochodzą od Tencenta. Dla wersji 4B model uzyskuje średni wynik F1 równy 71,3 na Dense200 (gęste wykrywanie), w porównaniu do 58,7 dla LocateAnything-3B. Na RefCOCOg test osiąga 81,8 wobec 77,6 dla LocateAnything-3B. Wskaźnik odrzuceń, mierzący zdolność do nieproponowania ramki dla nieobecnego obiektu, osiąga 96,4% na WeRef-Bench, wewnętrznym benchmarku Tencenta z 2880 zapytaniami, w porównaniu do 73,0%. Według źródła, wskaźnik odrzuceń wynosi jednak 52,6% na PR-Bench, gdzie wiele zapytań o nieobecne cele nadal otrzymuje ramkę.
Wagi modeli 2B i 4B są dostępne na Hugging Face na licencji Apache 2.0. Model 2B ma 2,44 miliarda parametrów, a model 4B 4,83 miliarda. Według źródła, uruchomienie odbywa się na pojedynczym GPU, za pośrednictwem Transformers lub vLLM, w BF16. Społecznościowa wersja GGUF obsłużyła zadania na poziomie obiektu na karcie RTX 2060 z 6 GB pamięci. Tencent opublikował również Mask2Alpha, narzędzie do adnotacji wycinania ze swojego silnika danych. Kod do dostrajania pozostaje do udostępnienia.
