Ativação e quantização em vírgula flutuante : os fundamentos a conhecer

Ativação e quantização em vírgula flutuante : os fundamentos a conhecer
4 min de leitura

A quantização das ativações, os valores calculados durante a inferência de um modelo de linguagem, revela-se mais delicada do que a dos pesos, que ficam fixos após o treino. Segundo o artigo do Machine Learning Mastery, o método SmoothQuant e o formato FP8 oferecem duas respostas a este problema, e a biblioteca LLM Compressor, do projeto vLLM, permite aplicá-las.

Porque é que as ativações são difíceis de quantizar

Os pesos de uma rede são fixos uma vez terminado o treino: podem ser quantizados uma única vez, antes da implementação. As ativações, por outro lado, dependem do token processado, da sua posição na sequência e das camadas anteriores. As suas gamas de valores podem mudar de um pedido para outro, e alguns canais podem conter valores extremos persistentes.

Duas abordagens coexistem. A quantização estática utiliza escalas calculadas durante uma fase de calibração, o que é rápido, mas uma entrada situada fora da gama calibrada pode ser truncada. A quantização dinâmica mede cada tensor no momento da execução: adapta-se a cada entrada, mas adiciona um custo computacional. O artigo apresenta nomeadamente uma quantização dinâmica por token, em INT8 simétrico assinado, onde cada vetor da dimensão final recebe a sua própria escala.

A escolha da gama também coloca um compromisso. Cobrir o conjunto dos valores torna o passo de quantização grosseiro para os valores comuns, enquanto o truncamento melhora a sua precisão à custa dos valores extremos. A melhor opção depende da forma como os pesos seguintes utilizam esse vetor.

SmoothQuant e o formato W8A8

A sigla W8A8 designa pesos e ativações em INT8 para a multiplicação matricial. Quando o hardware processa eficientemente estes cálculos inteiros, esta configuração pode reduzir as transferências de memória e aumentar o débito computacional. Os *bias*, a normalização ou os resíduos podem permanecer numa precisão mais elevada.

O SmoothQuant trata os valores extremos deslocando parte da dificuldade das ativações para os pesos. O princípio baseia-se numa transformação matematicamente equivalente antes da quantização: os canais de ativação importantes são divididos por escalas maiores, enquanto as colunas de peso correspondentes são multiplicadas pelas mesmas escalas. O artigo precisa que esta transformação apenas demonstra uma equivalência exata, a implementação real derivando as escalas das magnitudes dos pesos e das ativações de calibração.

O autor indica que uma configuração W8A8 não está assegurada de ser mais rápida do que um formato W4A16 ou BF16. O W8A8 pode tirar partido do cálculo matricial inteiro, em particular durante o pré-preenchimento e para grandes lotes, enquanto o W4A16 lê menos bytes de pesos e pode ser adequado para a descodificação com pequenos lotes. O artigo recomenda medir as duas fases.

A quantização em vírgula flutuante

O FP8 não consiste em retirar simplesmente bits a um valor FP32. Num esquema FP8 com escala, o tensor é dividido por uma escala, e depois cada resultado é arredondado a um valor FP8 representável. Ao contrário do INT8, os valores do FP8 não são espaçados regularmente: são mais finos perto de zero e mais espaçados para os grandes valores.

O artigo distingue nomeadamente o E4M3, com quatro bits de expoente e três bits de mantissa, e o E5M2, com cinco bits de expoente e dois bits de mantissa. O E4M3 oferece mais precisão, enquanto o E5M2 oferece uma gama mais alargada. A escolha depende do hardware e do motor de inferência.

Uma receita LLM Compressor chamada FP8_DYNAMIC converte um modelo para o formato Hugging Face, quantizando os pesos por arredondamento ao mais próximo e calculando as escalas de ativação durante a inferência. Uma variante combinando SmoothQuant e FP8 é também proposta. Segundo o artigo, as versões atuais do vLLM suportam o FP8 nas GPUs NVIDIA Ada Lovelace, Hopper e Blackwell, bem como em alguns aceleradores AMD, e recomenda verificar a matriz de compatibilidade para o hardware visado.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x