A quantização das ativações, os valores calculados durante a inferência de um modelo de linguagem, revela-se mais delicada do que a dos pesos, que ficam fixos após o treino. Segundo o artigo do Machine Learning Mastery, o método SmoothQuant e o formato FP8 oferecem duas respostas a este problema, e a biblioteca LLM Compressor, do projeto vLLM, permite aplicá-las.
Porque é que as ativações são difíceis de quantizar
Os pesos de uma rede são fixos uma vez terminado o treino: podem ser quantizados uma única vez, antes da implementação. As ativações, por outro lado, dependem do token processado, da sua posição na sequência e das camadas anteriores. As suas gamas de valores podem mudar de um pedido para outro, e alguns canais podem conter valores extremos persistentes.
Duas abordagens coexistem. A quantização estática utiliza escalas calculadas durante uma fase de calibração, o que é rápido, mas uma entrada situada fora da gama calibrada pode ser truncada. A quantização dinâmica mede cada tensor no momento da execução: adapta-se a cada entrada, mas adiciona um custo computacional. O artigo apresenta nomeadamente uma quantização dinâmica por token, em INT8 simétrico assinado, onde cada vetor da dimensão final recebe a sua própria escala.
A escolha da gama também coloca um compromisso. Cobrir o conjunto dos valores torna o passo de quantização grosseiro para os valores comuns, enquanto o truncamento melhora a sua precisão à custa dos valores extremos. A melhor opção depende da forma como os pesos seguintes utilizam esse vetor.
SmoothQuant e o formato W8A8
A sigla W8A8 designa pesos e ativações em INT8 para a multiplicação matricial. Quando o hardware processa eficientemente estes cálculos inteiros, esta configuração pode reduzir as transferências de memória e aumentar o débito computacional. Os *bias*, a normalização ou os resíduos podem permanecer numa precisão mais elevada.
O SmoothQuant trata os valores extremos deslocando parte da dificuldade das ativações para os pesos. O princípio baseia-se numa transformação matematicamente equivalente antes da quantização: os canais de ativação importantes são divididos por escalas maiores, enquanto as colunas de peso correspondentes são multiplicadas pelas mesmas escalas. O artigo precisa que esta transformação apenas demonstra uma equivalência exata, a implementação real derivando as escalas das magnitudes dos pesos e das ativações de calibração.
O autor indica que uma configuração W8A8 não está assegurada de ser mais rápida do que um formato W4A16 ou BF16. O W8A8 pode tirar partido do cálculo matricial inteiro, em particular durante o pré-preenchimento e para grandes lotes, enquanto o W4A16 lê menos bytes de pesos e pode ser adequado para a descodificação com pequenos lotes. O artigo recomenda medir as duas fases.
A quantização em vírgula flutuante
O FP8 não consiste em retirar simplesmente bits a um valor FP32. Num esquema FP8 com escala, o tensor é dividido por uma escala, e depois cada resultado é arredondado a um valor FP8 representável. Ao contrário do INT8, os valores do FP8 não são espaçados regularmente: são mais finos perto de zero e mais espaçados para os grandes valores.
O artigo distingue nomeadamente o E4M3, com quatro bits de expoente e três bits de mantissa, e o E5M2, com cinco bits de expoente e dois bits de mantissa. O E4M3 oferece mais precisão, enquanto o E5M2 oferece uma gama mais alargada. A escolha depende do hardware e do motor de inferência.
Uma receita LLM Compressor chamada FP8_DYNAMIC converte um modelo para o formato Hugging Face, quantizando os pesos por arredondamento ao mais próximo e calculando as escalas de ativação durante a inferência. Uma variante combinando SmoothQuant e FP8 é também proposta. Segundo o artigo, as versões atuais do vLLM suportam o FP8 nas GPUs NVIDIA Ada Lovelace, Hopper e Blackwell, bem como em alguns aceleradores AMD, e recomenda verificar a matriz de compatibilidade para o hardware visado.
