A compressão dos modelos de IA vai além da mera quantização

A compressão dos modelos de IA vai além da mera quantização
3 min de leitura

A quantização não é a única forma de comprimir um modelo de IA. Um artigo do Machine Learning Mastery apresenta duas outras abordagens, a poda e a distilação de conhecimento, que reduzem o número de valores ou o tamanho das estruturas em vez do seu formato. Um modelo mais pequeno pode acelerar a inferência, desde que mantenha o comportamento esperado pela aplicação.

A quantização altera a forma como os valores do modelo são representados. A poda, por sua vez, coloca a zero certos parâmetros ou remove estruturas mais amplas. A distilação treina um modelo pequeno, chamado « aluno », para reproduzir o comportamento de um modelo maior, chamado « professor ».

A poda e a esparsidade

O método denominado « por magnitude » baseia-se numa hipótese simples: os pesos de baixo valor absoluto teriam menos efeito na saída. O exemplo de código fornecido aplica este princípio a uma matriz de 1024 × 1024 com uma taxa de 0,5, ou seja, metade dos pesos visados para eliminação.

Uma matriz podada continua, no entanto, a ser armazenada de forma densa. O formato CSR (compressed sparse row) conserva apenas os valores não nulos, acompanhados por metadados de posição. Segundo o artigo, só reduz a memória se esses metadados custarem menos do que os dados removidos, e só acelera o cálculo se a forma da matriz, o nível de esparsidade, o tipo de dados e o hardware dispuserem de um núcleo de cálculo esparso eficiente.

A poda estruturada e a distilação

A poda estruturada remove unidades inteiras, como cabeças de atenção, canais MLP, camadas ou blocos. O resultado pode frequentemente ser expresso como um modelo denso mais pequeno, mais fácil de acelerar em diferentes hardwares. Num MLP de transformador, cada canal intermédio é produzido por uma linha da projeção ascendente e consumido por uma coluna da projeção descendente: remover uma implica remover a outra.

O artigo especifica que o parâmetro keep_channels designa um número de canais, não uma fração. Fixá-lo em 2048 reduz assim uma largura intermédia de 8192 para 2048 canais. O código garante a compatibilidade das formas dos tensores, mas não prova que os canais retidos são os menos importantes: um método real avalia as saídas das camadas e procede a um afinamento de recuperação. Remover cabeças de atenção exige modificações coordenadas, e com o GQA, uma variante em que várias cabeças de consulta partilham a mesma cabeça KV, uma remoção arbitrária pode romper esses agrupamentos.

A distilação, por sua vez, treina o aluno a partir dos sinais do professor: distribuição de saída, representações intermédias ou dados gerados. A perda baseia-se numa temperatura T e na divergência de Kullback-Leibler, nula quando as duas distribuições coincidem. O exemplo de código faz com que dois modelos pequenos do tipo GPT-2, inicializados aleatoriamente, treinem num único passo. O artigo especifica que não produz um modelo útil: uma experiência real exige um professor pré-treinado e um texto representativo.

Para uma comparação séria, o artigo recomenda medir, nas mesmas consultas e no mesmo hardware, a qualidade em dados reservados, o tamanho dos parâmetros em bytes, a memória máxima, a latência de pré-preenchimento e o débito de descodificação. Podar ou destilar pode alterar o comportamento do modelo, mesmo quando o número de parâmetros diminui fortemente.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x