Hugging Face объявляет о нативной поддержке Trainium, чипа AWS, благодаря TorchNeuron, новому бэкенду для PyTorch. Transformers, Diffusers и Kernels теперь могут выполняться напрямую на этом чипе, что должно упростить запуск моделей на Trainium и их обмен на Hub Hugging Face. По данным источника, публичная бета-версия будет доступна с 20 октября 2026.
TorchNeuron — это расширение PyTorch, эталонной библиотеки для разработки моделей машинного обучения. Оно добавляет в PyTorch бэкенд, предназначенный для Trainium, с режимом выполнения « eager », torch.compile (инструментом оптимизации кода) и нативными распределёнными API, такими как FSDP и TP. Исследователи и разработчики смогут установить его командой pip install torch-neuronx.
Изменение подхода для библиотек Hugging Face
До сих пор использование Trainium и Inferentia, двух чипов, созданных AWS, — одного для экономичного обучения моделей, другого для крупномасштабного вывода — осуществлялось через библиотеку optimum-neuron. Она опиралась на пакет torch-neuronx, который, в свою очередь, был основан на PyTorch XLA, что требовало мыслить « как компилятор »: ленивые тензоры, только статические формы и перекомпиляция при каждом разрыве графа. Hugging Face указывает, что optimum-neuron служила для сокрытия этой сложности с помощью специально поддерживаемого кода.
TorchNeuron меняет этот подход, интегрируясь напрямую в PyTorch, который видит Neuron как нативное устройство. Trainium становится таким же ускорителем, как и другие, для Transformers, Diffusers, Accelerate, PEFT и TRL, с теми же классами и скриптами. Hugging Face теперь рекомендует пользователям Neuron использовать эти библиотеки вместо Optimum Neuron.
Поддержка генерации текста широка: по данным Hugging Face, 89 % из 100 наиболее используемых архитектур моделей генерации текста совместимы сразу, против 46 % с Optimum Neuron v0.4.5. Достаточно передать аргумент device_map=neuron, чтобы переместить модель на устройства Neuron.
Обучение, диффузия и вычислительные ядра
Для обучения стандартный скрипт тонкой настройки с TRL работает на инстансе Trainium при условии некоторых настроек, специфичных для Neuron. Hugging Face уточняет, что опубликованный пример использует Qwen/Qwen3-8B и набор данных HuggingFaceH4/ultrachat_200k и был выполнен на 8 чипах Trainium2, то есть 32 NeuronCores, что составляет половину инстанса trn2.48xlarge. Получаемая контрольная точка — это стандартный чекпойнт Transformers, пригодный для использования на другом оборудовании.
Несколько пайплайнов Diffusers совместимы с TorchNeuron как в режиме « eager », так и в скомпилированном. FLUX.1-dev, FLUX.2, Qwen-Image, Qwen-Image-2.1 и H3 также поддерживают тензорный параллелизм, который распределяет каждый слой модели на несколько ядер. Hugging Face сообщает, что другие пайплайны будут постепенно становиться совместимыми, и руководство позволяет самостоятельно добавлять эту поддержку.
Наконец, библиотека Kernels будет включать вычислительные ядра, оптимизированные для Neuron, написанные с использованием Neuron Kernel Interface (NKI). Ядро, предназначенное для трансформеров в компьютерном зрении, опубликованное на Hub, по данным источника, обеспечивает ускорение « до x2.4 » на Trainium. Hugging Face благодарит команду AWS за работу над TorchNeuron и её оперативность в ответ на отзывы сообщества.
