Num texto de blogue, um investigador de IA explica porque é que a engenharia de modelos deve acelerar nos próximos anos, sem que isso transforme a sua natureza. Segundo ele, os modelos tornar-se-ão, dentro de alguns anos, engenheiros de GPU sobre-humanos, capazes de tornar a experimentação muito mais fácil. Estima também que vários projetos, como a eficiência dos cálculos e a qualidade dos ambientes de aprendizagem por reforço, oferecem progressos ao alcance da mão.
Uma investigação cada vez mais fácil
O autor nota que investigadores da indústria lhe dizem frequentemente que a IA fará melhor do que eles no seu trabalho dentro de alguns anos. Atribui esta aceleração às capacidades crescentes dos modelos em matéria de infraestrutura e engenharia, um ponto com o qual concorda. Acrescenta, no entanto, que estes progressos não tornarão os modelos radicalmente diferentes na sua natureza.
Segundo ele, Ilya tinha, em certos aspetos, anunciado demasiado cedo a era da investigação em IA. A investigação é hoje muito mais simples graças aos agentes de programação, ferramentas capazes de escrever e modificar código de forma autónoma. O texto vê nisso o início de um período em que as boas ideias poderão valer mais do que a boa execução de software.
O autor recorda que o equilíbrio entre investigação e engenharia já se alterou no passado. Antes do surgimento do deep learning, a IA era sobretudo uma questão de investigação. Hoje, os melhores investigadores são avaliados pela sua capacidade de implementar e escalar as suas ideias em infraestruturas complexas. Evoca uma aceleração « de alguns anos » em que o estrangulamento será cada vez menos a engenharia.
Eficiência e custo da inteligência
Uma grande parte das etapas de treino e inferência, ou seja, a utilização de um modelo para responder, pode ser medida com precisão. O texto cita o número de tokens processados por segundo e por GPU, o número de tokens por pedido, os FLOPs por token ou ainda o custo por resposta. O autor estima que estes indicadores são muito otimizáveis e que os agentes de IA poderão ajudar a melhorar todo o processo dentro de alguns anos.
Os ganhos de eficiência já foram importantes, segundo o texto, com, por exemplo, economias « da ordem de 10 a 30% » no custo de serviço de um modelo após o seu anúncio a um determinado preço. O autor espera que o custo efetivo da inteligência dos modelos baixe de forma quase exponencial, potencialmente mais rápido do que as tendências recentes. Prevê também que a conceção conjunta dos aceleradores e dos modelos trará ganhos adicionais, em escalas de tempo mais longas.
O texto avança ainda que um paradoxo de Jevons, segundo o qual um ganho de eficiência pode fazer aumentar a procura, deverá atuar plenamente para os modelos agentes. O autor cita o agente Muse da Meta como um sinal precoce deste movimento, e prevê mais experiências deste tipo para diferentes públicos.
Dados e ambientes de aprendizagem
O texto evoca finalmente o mercado dos dados destinados à aprendizagem por reforço, estes ambientes onde um modelo aprende por tentativas e recompensas. Várias empresas deste setor terão ultrapassado o limiar de « 100 milhões de dólares » ou de « 1 milhar de milhões de dólares » de volume de negócios, um número mais elevado, segundo o autor, do que imaginava. Constata, no entanto, que a qualidade média destas produções é « notavelmente baixa », e que muitos investigadores consideram que uma parte do que compram é de má qualidade.
Os grandes laboratórios obtêm, no entanto, um retorno do investimento claro com estas compras, nota o texto. Para o autor, a fraqueza de muitos ambientes é claramente corrigível.
