I grandi addestramenti di intelligenza artificiale non si limitano più a un singolo data center. Google, Microsoft, AWS, Meta e CoreWeave hanno già esteso i loro calcoli a più siti, ponendo la rete che collega questi siti al centro delle prestazioni. In un articolo sponsorizzato da Cisco, pubblicato da The Next Platform, l’azienda dettaglia le sfide di questa architettura, chiamata «scale-across».
- I grandi addestramenti IA si estendono ormai su più data center.
- La rete tra i siti diventa il collo di bottiglia delle prestazioni.
- Cisco propone lo scale-across, con buffer profondi per assorbire il traffico.
- Le prime installazioni sono in corso, ma serviranno alcuni anni.
Google ha indicato che Gemini è stato addestrato in modo sincrono su cluster situati in più località. Microsoft ha collegato centri dati del Wisconsin e della Georgia per crearne, secondo le sue parole, un supercomputer IA distribuito. AWS ha connesso cluster di calcolo su vaste aree per consentire ad Anthropic di sviluppare i suoi modelli Claude. Meta ha costruito interconnessioni di data center ad alta capacità, mentre CoreWeave e Google Cloud hanno annunciato un addestramento inter-cloud basato su un’interconnessione privata, con Azure che dovrebbe seguirli più avanti nell’anno.
Questa dispersione geografica si spiega in parte con i limiti dei data center isolati, la cui alimentazione elettrica e spazio possono essere saturi. Cisco stima che l’addestramento dei modelli attuali possa richiedere cluster di decine di migliaia di processori grafici (GPU). Entro il 2030, secondo ricercatori di Epoch AI, i più grandi addestramenti di modelli all’avanguardia potrebbero consumare 4-16GW di elettricità. Distribuire il calcolo permette quindi di costruire in luoghi con maggiore disponibilità di elettricità o spazio.
Una rete che diventa un collo di bottiglia
Al centro di un grande modello linguistico (LLM) c’è una rete neurale con miliardi di parametri, o pesi, regolati durante l’addestramento. Le GPU elaborano ciascuna una parte dei dati o del modello, ma devono periodicamente scambiare i loro risultati e sincronizzarsi prima del passo successivo. Sono soprattutto grandi volumi di dati numerici, come i gradienti, a transitare sulla rete. «Se osservi qualsiasi addestramento, si tratta essenzialmente di una ripetizione di calcolo e sincronizzazione», spiega Ramesh Sivakolundu del team di architettura Silicon One di Cisco. Questi scambi producono raffiche di traffico, che possono causare fenomeni di «incast», quando molti trasmettitori convergono verso una stessa destinazione.
In un addestramento sincrono, un gruppo di GPU non può ignorare un gruppo più lento. Un ritardo di rete si trasforma quindi in un ritardo di calcolo. Sivakolundu riassume l’obiettivo: «Non vuoi che la rete sia il collo di bottiglia dell’addestramento». Una perdita di pacchetti non blocca necessariamente tutto l’addestramento, ma può imporre una ritrasmissione e lasciare altri acceleratori in attesa.
Un’interconnessione di tipo diverso
«All’interno di un singolo data center, puoi presumere di disporre di una rete completa che collega i rack di GPU, con la banda prevista», afferma Itamar Gold, direttore della gestione prodotti di Cisco. Tra due siti, il traffico può essere incanalato in un tubo più stretto, che può diventare un punto di congestione temporaneo. Le interconnessioni tradizionali tra data center, dette DCI, servono soprattutto per la ridondanza e il bilanciamento del carico, con flussi asincroni. Lo scale-across, invece, rende la rete inter-siti parte del calcolo distribuito stesso.
Secondo Cisco, su larga scala, la banda richiesta può raggiungere circa 14 volte una base DCI convenzionale. Due siti da 100 megawatt potrebbero necessitare tra 12.000 e 32.000 porte ottiche coerenti a livello scale-across, contro circa 1.000-2.000 per una DCI classica tra strutture comparabili. Queste distanze impongono ottiche coerenti, capaci di mantenere segnali a 400 o 800 Gb/s su reti di fibre metropolitane o regionali.
La latenza e i buffer
La distanza aggiunge anche latenza: il segnale di congestione impiega più tempo a tornare al trasmettitore. Cisco calcola che, su una connessione da 800 Gb/s che copre 100 chilometri, circa 100 MB di dati possono essere in transito durante questo intervallo. Per assorbire queste raffiche, l’azienda propone chip di routing con buffer profondi. «Più aumenta la distanza, più hai bisogno di buffer profondi, perché non ricevi feedback sul trasferimento dei pacchetti per un tempo più lungo», spiega Sivakolundu.
Cisco mette in evidenza il suo processore di routing programmabile Silicon One P200, con una capacità di 51,2 Tb/s, integrato nelle piattaforme Cisco 8223 e Cisco N9000. Secondo l’azienda, la soluzione Open Transport 3000 riduce del 75% il consumo per canale e dell’80% lo spazio in rack, cifre avanzate da Cisco. Gold riassume la situazione: «Oggi vediamo i primi dispiegamenti, ma è un processo che, penso, richiederà alcuni anni».
