A NVIDIA publicou Nemotron-Labs-Sigma, uma coleção de 14 pontos de controlo abertos, disponíveis em versões de 3B e 8B parâmetros. Esta família de modelos de linguagem pertence à difusão contínua: remove ruído do texto num espaço latente suave de 16 dimensões. Segundo a equipa da NVIDIA, esta abordagem torna mais viáveis, para o texto, a destilação em poucas etapas e o controlo das trajetórias de geração.
A maioria dos modelos de difusão, como LLaDA ou Dream, trabalha com tokens discretos, ou seja, unidades de texto tratadas como estados distintos. O Sigma opera num espaço contínuo: cada token é representado por um ponto num espaço de embedding, uma representação numérica aprendida pelo modelo. Durante o treino, é adicionado ruído gaussiano a estas representações, e o modelo aprende a removê-lo. A geometria deste espaço é aprendida em simultâneo com o removedor de ruído.
Uma arquitetura e um treino em várias fases
A geração é feita por blocos. Cada bloco limpo de ruído é guardado numa cache KV, uma memória que conserva os cálculos já efetuados, antes de o seguinte começar. Por predefinição, os blocos têm 64 tokens. A arquitetura baseia-se num descodificador Transformer do tipo Ministral, com atenção a consultas agrupadas, SwiGLU e embeddings rotativos.
O treino começa com um pré-treinamento autorregressivo, ou seja, uma geração palavra a palavra, em cerca de 1T tokens. Prossegue com cerca de 0,3T tokens de treino por difusão. Para inferência, a ficha do modelo recomenda uma orientação sem classificador de 3 e uma temperatura de pontuação de 0,3, com 32 etapas DDIM. A janela de contexto do modelo base é de 4.096 tokens, e de 8.192 tokens para o Sigma-8B-instruct.
Na suite de benchmarks de seis tarefas da NVIDIA, o Sigma-8B base apresenta uma média de 71,16, à frente do NLD-8B (70,22), do Dream-7B (58,74) e do LLaDA-8B (41,78). O Qwen3-8B, em modo autorregressivo, obtém 68,91. O modelo destaca-se em programação, com 65,12 no HumanEval contra 62,80 do NLD-8B, mas fica atrás no MBPP, com 65,74 contra 67,00.
Após afinação supervisionada, o Sigma-8B-instruct obtém 91,96 no GSM8K, 78,40 no MATH-500 e 82,50 no HumanEval. O raciocínio difícil continua limitado, com 23,33 no AIME24 e 17,00 no AIME25. A sua média em dez tarefas atinge 59,14, ligeiramente abaixo da do NLD-8B, que é de 59,92. Estes resultados são avaliações realizadas pela NVIDIA.
Velocidade e implementação
A variante destilada Sigma-distill-8B-nfe8 descodifica cada bloco de 32 tokens em oito chamadas do removedor de ruído, mais uma leitura final. A sua ficha indica uma média de 70,34 em seis tarefas, com 88,44 no GSM8K e 65,18 no HumanEval. As variantes distill-spec adicionam uma descodificação especulativa: uma cabeça de difusão propõe um bloco de 32 tokens, que a cabeça autorregressiva do modelo verifica. Segundo a NVIDIA, o resultado é idêntico ao de uma descodificação autorregressiva gananciosa.
Num GB200 com SGLang, o modelo 8B especulativo é em média 3,46 vezes mais rápido que a descodificação autorregressiva, contra 3,04 vezes para o NLD-8B. Os picos atingem 4,20 vezes para o 8B e 3,18 vezes para o 3B. Estas medições são auto-declaradas pela NVIDIA.
Os 14 pontos de controlo estão disponíveis no Hugging Face sob a licença NVIDIA Nemotron Open Model, cujas fichas indicam que autoriza uso comercial. Exigem uma GPU CUDA em bfloat16, entre as arquiteturas Ampere, Lovelace, Hopper ou Blackwell, e não suportam inferência em CPU. Num H100, o modelo base gera cerca de 120 a 140 tokens por segundo. A NVIDIA não aloja nenhuma API.
