Hugging Face ogłasza natywne wsparcie dla Trainium, układu AWS, dzięki TorchNeuron, nowemu backendowi dla PyTorch. Transformers, Diffusers i Kernels mogą teraz działać bezpośrednio na tym układzie, co ma ułatwić uruchamianie modeli na Trainium i ich udostępnianie w Hubie Hugging Face. Według źródła publiczna wersja beta będzie dostępna od 20 października 2026.
TorchNeuron jest rozszerzeniem PyTorch, referencyjnej biblioteki do rozwoju modeli uczenia maszynowego. Dodaje ona do PyTorch backend dedykowany Trainium, z trybem wykonania « eager », torch.compile (narzędziem optymalizacji kodu) oraz natywnymi rozproszonymi API takimi jak FSDP i TP. Badacze i deweloperzy będą mogli ją zainstalować poleceniem pip install torch-neuronx.
Zmiana podejścia dla bibliotek Hugging Face
Do tej pory korzystanie z Trainium i Inferentii, dwóch układów zaprojektowanych przez AWS, jednego do ekonomicznego trenowania modeli, drugiego do inferencji na dużą skalę, odbywało się przez bibliotekę optimum-neuron. Opierała się ona na pakiecie torch-neuronx, który z kolei bazował na PyTorch XLA, co wymagało myślenia « jak kompilator »: leniwe tensory, wyłącznie statyczne kształty i rekompilacja przy każdym przerwaniu grafu. Hugging Face wskazuje, że optimum-neuron służyło do ukrycia tej złożoności dzięki kodowi utrzymywanemu specjalnie.
TorchNeuron zmienia to podejście, integrując się bezpośrednio z PyTorch, który widzi Neuron jako natywne urządzenie. Trainium staje się wtedy akceleratorem jak każdy inny dla Transformers, Diffusers, Accelerate, PEFT i TRL, z tymi samymi klasami i skryptami. Hugging Face zaleca teraz użytkownikom Neuron przejście przez te biblioteki zamiast przez Optimum Neuron.
Dla generowania tekstu wsparcie jest szerokie: według Hugging Face 89% ze 100 najczęściej używanych architektur modeli generujących tekst jest od razu kompatybilnych, wobec 46% z Optimum Neuron v0.4.5. Wystarczy przekazać argument device_map=neuron, aby przenieść model na urządzenia Neuron.
Trenowanie, dyfuzja i jądra obliczeniowe
Dla trenowania standardowy skrypt strojenia (fine-tuning) z TRL działa na instancji Trainium przy kilku dostosowaniach specyficznych dla Neuron. Hugging Face precyzuje, że opublikowany przykład używa Qwen/Qwen3-8B i zbioru danych HuggingFaceH4/ultrachat_200k, i został wykonany na 8 układach Trainium2, czyli 32 NeuronCores, co stanowi połowę instancji trn2.48xlarge. Wygenerowany punkt kontrolny to standardowy checkpoint Transformers, używalny na innych sprzętach.
Kilka potoków (pipelines) Diffusers jest kompatybilnych z TorchNeuron, zarówno w trybie « eager », jak i skompilowanym. FLUX.1-dev, FLUX.2, Qwen-Image, Qwen-Image-2.1 i H3 wspierają także równoległość tensorową, która rozkłada każdą warstwę modelu na wiele rdzeni. Hugging Face wskazuje, że inne potoki będą stopniowo zyskiwać kompatybilność, a dostępny przewodnik pozwala samodzielnie dodać to wsparcie.
Wreszcie, biblioteka Kernels będzie gościć jądra obliczeniowe zoptymalizowane dla Neuron, napisane z użyciem Neuron Kernel Interface (NKI). Jądro przeznaczone dla transformerów wizyjnych, opublikowane w Hubie, pozwala według źródła na przyspieszenie « do x2.4 » na Trainium. Hugging Face dziękuje zespołowi AWS za pracę nad TorchNeuron i za reaktywność na uwagi społeczności.
