Os grandes treinos de inteligência artificial já não se limitam a um único datacenter. Google, Microsoft, AWS, Meta e CoreWeave já estenderam os seus cálculos a vários locais, o que coloca a rede que liga esses locais no centro do desempenho. Num artigo patrocinado pela Cisco, publicado por The AI / news, a empresa detalha os desafios desta arquitetura, chamada «scale-across».
- O treino de IA já se estende a vários datacenters, ligados pela arquitetura «scale-across».
- A rede torna-se o principal estrangulamento, porque um atraso num grupo de GPU atrasa todo o treino síncrono.
- Estas ligações exigem muito mais largura de banda do que as interconexões DCI tradicionais, com óticas coerentes de 400 ou 800 Gb/s.
- A distância aumenta a latência, pelo que a Cisco defende silício com memória tampão profunda, e a adoção deverá levar alguns anos.
A Google indicou que o Gemini foi treinado de forma síncrona em clusters localizados em vários locais. A Microsoft ligou centros de dados do estado do Wisconsin e da Geórgia para criar, nas suas palavras, um supercomputador de IA distribuído. A AWS ligou clusters de computação em áreas amplas para permitir que a Anthropic desenvolvesse os seus modelos Claude. A Meta construiu interconexões de datacenters de alta capacidade, enquanto a CoreWeave e a Google Cloud anunciaram um treino inter-nuvem baseado numa interconexão privada, sendo que a Azure deverá seguir mais tarde este ano.
Esta dispersão geográfica explica-se em parte pelos limites dos datacenters isolados, cuja alimentação elétrica e espaço podem estar saturados. A Cisco estima que o treino dos modelos atuais pode exigir clusters de dezenas de milhares de processadores gráficos (GPU). Até 2030, segundo investigadores da Epoch AI, os maiores treinos de modelos de ponta poderão consumir 4-16GW de eletricidade. Distribuir o cálculo permite, portanto, construir em locais com mais eletricidade ou espaço.
Uma rede que se torna um estrangulamento
No centro de um grande modelo de linguagem (LLM) está uma rede neuronal com milhares de milhões de parâmetros, ou pesos, ajustados durante o treino. Os GPU processam cada um uma parte dos dados ou do modelo, mas têm de trocar periodicamente os seus resultados e sincronizar-se antes da etapa seguinte. São sobretudo grandes volumes de dados numéricos, como os gradientes, que transitam pela rede. «Se olhar para qualquer treino, trata-se essencialmente de uma repetição de cálculo e sincronização», explica Ramesh Sivakolundu, da equipa de arquitetura Silicon One da Cisco. Estas trocas produzem rajadas de tráfego, que podem provocar fenómenos de «incast», quando muitos emissores convergem para o mesmo destino.
Num treino síncrono, um grupo de GPU não pode ignorar um grupo mais lento. Um atraso na rede transforma-se, portanto, num atraso no cálculo. Sivakolundu resume o objetivo: «Não queremos que a rede seja o estrangulamento do treino.» Uma perda de pacotes não bloqueia necessariamente todo o treino, mas pode impor uma retransmissão e deixar outros aceleradores à espera.
Uma interconexão de outro tipo
«Dentro de um único datacenter, pode-se assumir que se dispõe de uma rede completa a ligar as bancadas de GPU, com a largura de banda prevista», afirma Itamar Gold, diretor de gestão de produtos da Cisco. Entre dois locais, o tráfego pode ser canalizado num tubo mais estreito, que pode tornar-se um ponto de congestionamento temporário. As interconexões tradicionais entre datacenters, ditas DCI, servem sobretudo para a redundância e a distribuição de cargas, com fluxos assíncronos. O scale-across, por sua vez, faz da rede inter-sítios uma parte do cálculo distribuído em si.
Segundo a Cisco, em grande escala, a largura de banda necessária pode atingir cerca de 14 vezes uma base DCI convencional. Dois locais de 100 megawatts poderão necessitar entre 12 000 e 32 000 portas óticas coerentes ao nível scale-across, contra cerca de 1 000 a 2 000 para uma DCI clássica entre instalações comparáveis. Estas distâncias impõem óticas coerentes, capazes de manter sinais a 400 ou 800 Gb/s em redes de fibras metropolitanas ou regionais.
A latência e os tampões
A distância também acrescenta latência: o sinal de congestionamento demora mais tempo a regressar ao emissor. A Cisco calcula que, numa ligação de 800 Gb/s a cobrir 100 quilómetros, cerca de 100 MB de dados podem estar em trânsito durante este intervalo. Para absorver estas rajadas, a empresa defende silício de encaminhamento com memória tampão profunda. «Quanto maior for a distância, mais precisa de tampões profundos, porque não recebe retorno sobre a transferência dos pacotes durante mais tempo», explica Sivakolundu.
A Cisco destaca o seu processador de encaminhamento programável Silicon One P200, com capacidade de 51,2 Tb/s, integrado nas plataformas Cisco 8223 e Cisco N9000. Segundo a empresa, a solução Open Transport 3000 reduz em 75% o consumo por canal e em 80% o espaço em bancada, números avançados pela Cisco. Gold resume a situação: «Vemos hoje as primeiras implementações, mas é um processo que, penso, levará alguns anos.»
