A quantização dos pesos apenas consiste em armazenar certos parâmetros de um modelo de transformador como inteiros, mantendo as ativações em FP16 ou BF16. Esta técnica visa reduzir o espaço ocupado na memória e o custo de leitura dos pesos, que pesa muito durante a geração de texto. Um tutorial recentemente publicado detalha o seu princípio matemático e as ferramentas para aplicá-la com PyTorch e outros motores de inferência.
Durante a geração, o modelo lê os seus pesos a cada novo token, ou seja, cada unidade de texto que produz. Com lotes pequenos, a movimentação destes pesos pode demorar mais tempo do que o cálculo em si. Um peso em INT8 ocupa metade do espaço de um peso em FP16 ou BF16. A quantização também pode acelerar o cálculo, pois muitos GPU dedicados à IA executam operações matriciais em baixa precisão mais rapidamente do que em FP16. O ganho real depende, contudo, do hardware, dos núcleos de cálculo e da forma dos modelos.
O princípio da escala e do ponto zero
O método apresentado baseia-se numa correspondência afim assimétrica, que utiliza uma escala e um ponto zero. A escala define o intervalo entre dois valores representáveis, enquanto o ponto zero é o código inteiro correspondente ao zero real. Incluir o zero no intervalo de valores permite representá-lo exatamente. O tutorial especifica que este exemplo ilustra o cálculo e não um armazenamento eficiente: um tensor em uint8 ocupa um byte por elemento, mesmo para menos de oito bits. As quantizações por canal ou por grupo preservam frequentemente melhor a qualidade dos pesos de um grande modelo de linguagem, uma vez que cada canal ou grupo dispõe do seu próprio intervalo.
Com PyTorch, a função quantize_() da biblioteca TorchAO substitui no local os pesos dos módulos torch.nn.Linear. Aplicada a um modelo já treinado, enquadra-se na quantização pós-treino, sem etapa de treino adicional. O tutorial mostra uma configuração INT8 assimétrica por canal, com ativações mantidas em BF16. O TorchAO propõe também pré-configurações adaptadas ao hardware, como Int4WeightOnlyConfig, e a biblioteca transformers pode aplicar tal configuração ao carregar um modelo. O autor recomenda efetuar medições de desempenho em todo o modelo, pois uma configuração matematicamente válida não é necessariamente a mais rápida.
Gptq, awq e gguf
Os métodos GPTQ e AWQ utilizam dados de calibração para reduzir o efeito dos erros de quantização nas saídas do modelo. O GPTQ quantifica os pesos camada por camada e ajusta os pesos restantes para compensar os erros anteriores. A biblioteca transformers baseia-se agora no GPT-QModel como motor GPTQ. O AWQ, para Activation-aware Weight Quantization, identifica os pesos importantes com base em ativações representativas e procura fatores de escala que os protejam antes da quantização em baixa precisão. Para este método, o tutorial utiliza a implementação de referência llm-awq, cujas instruções de instalação próprias devem ser seguidas, e o modelo TinyLlama/TinyLlama-1.1B-Chat-v1.0. A procura dos parâmetros baseia-se em 128 amostras da partição de validação de mit-han-lab/pile-val-backup, treinadas em sequências de 512 tokens.
O formato GGUF, utilizado no ecossistema llama.cpp, serve de contentor para os metadados, o tokenizer e os tensores quantificados, mas não é um algoritmo de quantização por si só. O fluxo decorre em duas etapas: conversão do modelo original para GGUF de alta precisão, em bfloat16, seguida de quantização com o tipo Q4_K_M. Este tipo é misto, pois utiliza codificações diferentes consoante os tensores. O seu tamanho de ficheiro não corresponde, portanto, exatamente a quatro bits por parâmetro. O tutorial recorda que é necessário quantificar a partir da melhor fonte disponível, pois uma requantificação acumula os erros de aproximação.
Segundo o tutorial, a avaliação deve incidir sobre entradas representativas, com a perplexidade, a precisão nas tarefas visadas e a comparação de gerações lado a lado. O script fornecido mede, numa GPU CUDA, a memória alocada no pico e a duração mediana de geração do modelo FP16 e da versão GPTQ de facebook/opt-125m. O tutorial conclui que a quantização só é útil se o formato, o esquema numérico, o arranjo dos dados comprimidos e o núcleo de inferência funcionarem em conjunto.
