Hugging Face annuncia il supporto nativo per Trainium, il chip di AWS, grazie a TorchNeuron, un nuovo backend per PyTorch. Transformers, Diffusers e Kernels possono ora essere eseguiti direttamente su questo chip, il che dovrebbe facilitare l’esecuzione dei modelli su Trainium e la loro condivisione sull’Hub di Hugging Face. Secondo la fonte, una versione beta pubblica sarà disponibile a partire dal 20 ottobre 2026.
- Hugging Face integra Trainium in PyTorch tramite il backend TorchNeuron.
- Transformers, Diffusers e Kernels girano direttamente su Trainium, con beta pubblica dal 20 ottobre 2026.
- Hugging Face consiglia ora di usare queste librerie al posto di Optimum Neuron.
- L’addestramento con TRL richiede pochi adattamenti e produce checkpoint standard Transformers.
TorchNeuron è un’estensione di PyTorch, la libreria di riferimento per lo sviluppo di modelli di apprendimento automatico. Aggiunge a PyTorch un backend dedicato a Trainium, con la modalità di esecuzione « eager », torch.compile (uno strumento di ottimizzazione del codice) e le API distribuite native come FSDP e TP. Ricercatori e sviluppatori potranno installarla con il comando pip install torch-neuronx.
Un cambio di approccio per le librerie Hugging Face
Finora, l’utilizzo di Trainium e Inferentia, due chip progettati da AWS, uno per l’addestramento economico dei modelli e l’altro per l’inferenza su larga scala, passava attraverso la libreria optimum-neuron. Questa si basava sul pacchetto torch-neuronx, a sua volta basato su PyTorch XLA, il che imponeva di ragionare « come un compilatore »: tensori pigri, forme statiche soltanto e ricompilazione a ogni interruzione del grafo. Hugging Face indica che optimum-neuron serviva a mascherare questa complessità grazie a codice mantenuto specificamente.
TorchNeuron modifica questo approccio integrandosi direttamente in PyTorch, che vede Neuron come un dispositivo nativo. Trainium diventa così un acceleratore come un altro per Transformers, Diffusers, Accelerate, PEFT e TRL, con le stesse classi e script. Hugging Face raccomanda ora agli utenti di Neuron di passare attraverso queste librerie piuttosto che Optimum Neuron.
Per la generazione di testo, il supporto è ampio: secondo Hugging Face, 89 % delle 100 architetture di modelli di generazione di testo più utilizzate sono compatibili immediatamente, contro 46 % con Optimum Neuron v0.4.5. Basta passare l’argomento device_map=neuron per spostare il modello sui dispositivi Neuron.
Addestramento, diffusione e kernel di calcolo
Per l’addestramento, uno script standard di fine-tuning con TRL funziona su un’istanza Trainium con alcuni aggiustamenti specifici per Neuron. Hugging Face precisa che l’esempio pubblicato utilizza Qwen/Qwen3-8B e il dataset HuggingFaceH4/ultrachat_200k, e che è stato eseguito su 8 chip Trainium2, ovvero 32 NeuronCores, cioè la metà di un’istanza trn2.48xlarge. Il punto di salvataggio prodotto è un checkpoint Transformers standard, utilizzabile su altri hardware.
Diverse pipeline di Diffusers sono compatibili con TorchNeuron, sia in modalità « eager » che compilata. FLUX.1-dev, FLUX.2, Qwen-Image, Qwen-Image-2.1 e H3 supportano anche il parallelismo dei tensori, che distribuisce ogni strato del modello su più core. Hugging Face indica che altre pipeline saranno progressivamente compatibili e che una guida permette di aggiungere autonomamente questo supporto.
Infine, la libreria Kernels ospiterà kernel di calcolo ottimizzati per Neuron, scritti con la Neuron Kernel Interface (NKI). Un kernel destinato ai transformers di visione, pubblicato sull’Hub, permette secondo la fonte un’accelerazione « fino a x2.4 » su Trainium. Hugging Face ringrazia il team di AWS per il lavoro su TorchNeuron e la sua reattività ai feedback della comunità.
