Tencent WeVisOne-VL、検出・OCR・セグメンテーション・切り抜きを統合

Tencent WeVisOne-VL、検出・OCR・セグメンテーション・切り抜きを統合
1 分の読書

Tencentは、オープンなビジョンと言語モデル「WeVisOne-VL」を公開した。同社のWeChat Visionチームによると、パラメータ数2B版と4B版が利用可能だ。単一のモデルで、検出、指定、カウント、ポイント指定、テキスト認識(OCR)、セグメンテーション、高精度な切り抜き(アルファマット)を実現する。画素レベルの出力は、960万パラメータのデコーダによって生成され、別個のSAMモデルを必要としない。

「WeChat Vision All-in-One」を意味するWeVisOne-VLは、Qwen3-VLを基盤としている。自由な会話よりも、画像内の要素の高精度な位置特定を目的として設計されている。ユーザーは、希望する出力タイプ(ポイント、バウンディングボックス、バイナリマスク、連続的なアルファマット)を選択する。探しているオブジェクトが画像に存在しない場合、モデルはランダムなボックスを提案する代わりに「None」と応答する。

動作と学習

各タスクは、次に生成するトークン(テキストまたは画像の単位)の構造化された予測として処理される。ボックスやポイントの座標は、 から までの範囲のトークンで表現される。画素関連のタスクでは、モデルは各予測ボックスの後にトークンを出力し、その隠れ状態がデコーダへのクエリとして機能する。デコーダは、Qwen3-VLのViTからのマルチレベル特徴量を再利用する視覚特徴量アダプター、6つの変形可能クロスアテンションブロックで構成されるボックス誘導クエリデコーダ、および結果をフル解像度のマスクまたはマットにまで洗練する高密度予測ヘッドを含む。

モデルは、知識グラフ駆動のデータエンジンを用いて学習され、約1億枚の画像に約36億個のバウンディングボックスでアノテーションが施された。領域はSAM3、Rex-Omni、およびTencent内部の検出器によって提案され、その後Qwen3-VLによって検証された。学習は、関連する研究論文で説明されているように、不確実性に基づいてフィルタリングされた178,000の例を用いた、3段階のSFT(教師ありファインチューニング)と最終的なGRPO段階を含む。

発表された性能と実装

以下の数値はすべてTencentによるものだ。4B版では、モデルは高密度検出ベンチマークDense200で平均F1スコア71.3を獲得し、LocateAnything-3Bの58.7を上回った。RefCOCOg testでは81.8を達成し、LocateAnything-3Bの77.6を上回った。存在しないオブジェクトに対してボックスを提案しない能力を測る拒否率は、Tencent内部の2,880のクエリを含むベンチマーク「WeRef-Bench」で96.4%に達し、比較対象の73.0%を上回った。一方、情報源によれば、PR-Benchでは拒否率は52.6%であり、対象不在の多くのクエリに対して依然としてボックスが返されている。

2Bおよび4Bモデルの重みは、Apache 2.0ライセンスの下、Hugging Faceで公開されている。2Bモデルは24.4億パラメータ、4Bモデルは48.3億パラメータを表示する。情報源によれば、実行はTransformersまたはvLLMを介して単一のGPU上でBF16形式で行われる。コミュニティ版GGUFは、6GBのRTX 2060カード上でオブジェクトレベルのタスクを処理した。Tencentはまた、そのデータエンジンの切り抜きアノテーションツール「Mask2Alpha」も公開している。ファインチューニングのコードはまだ公開されていない。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x