The AI / news

OVHcloud запускает LLM с Olala, небольшой открытой моделью

OVHcloud запускает LLM с Olala, небольшой открытой моделью
3 мин чтения

До сих пор OVHcloud продавала в основном инфраструктуру для искусственного интеллекта, включая аренду GPU (графических процессоров, используемых для обучения и запуска моделей). С Olala французская компания теперь создает собственные модели, первая из которых, Olala mini 7A1B, должна быть опубликована в четверг, 19 ноября.

«Мы хотим показать, что Европа имеет свое место во всех слоях искусственного интеллекта», — заявил генеральный директор OVHcloud Октав Клаба агентству AFP.

Olala mini, компактная модель для локального использования

Olala mini 7A1B основана на архитектуре с экспертами: только часть ее параметров, то есть внутренних настроек, работает при каждом запросе. По словам OVHcloud, такая организация снижает требования к памяти и позволяет модели работать локально, в том числе на простом процессоре.

Модель насчитывает 7 миллиардов параметров, из которых 1 миллиард активируется на запрос, распределенных между 256 экспертами на слой. Ее гибридная архитектура чередует слои внимания (Differential-TPA) и слои Mamba-3, разработанные для ограничения необходимой памяти. Для работы требуется GPU с минимум 8 ГБ памяти, и она достигает скорости 160 токенов в секунду (единиц текста, обрабатываемых моделью) на RTX A4500, против 50 на одном процессоре. Ее контекстное окно, то есть объем текста, который она может обработать за раз, составляет 32 000 токенов.

Модель будет опубликована на Hugging Face под лицензией Apache 2.0 в день OVHcloud AI Summit. OVH предоставляет веса, предобученную базовую модель, технический отчет и документацию о соответствии AI Act. По словам компании, Qwant уже использует ее для быстрых ответов своего поисковика, которые стали на 20% быстрее и в три раза дешевле, чем с предыдущей моделью.

Дорожная карта к более чем 100 миллиардам параметров

Модель обучалась на трех европейских публичных суперкомпьютерах: Jupiter, MeluXina и Jean Zay. Эта помощь, эквивалентная 7 миллионам евро вычислительного времени, привела к созданию OVHai LLM, ее агентной лаборатории. «Знания в области обучения моделей стали широко доступны, а стоимость обучения за 3 года снизилась в 20 раз», — подчеркивает Октав Клаба в пресс-релизе.

Версия 1.1, ожидаемая до конца года, должна увеличить контекстное окно до 128 000 токенов и улучшить математические рассуждения. Версия 2.0 превысит 100 миллиардов параметров и будет представлена в виде специализированных моделей: агентная для бизнеса, предназначенная для OVHai Workspace; DevOps cloud для разработчиков, архитекторов и эксплуатационных команд; и кибербезопасность, как оборонительная, так и наступательная. В беседе с AFP Октав Клаба также упомянул инструменты для помощи в написании кода, подобные Claude Code или Codex, и поставил цель в 100 миллионов пользователей без конкретных сроков.

Прямая конкуренция с Mistral AI

Olala ставит OVHcloud в прямую конкуренцию с Mistral AI, но с другой бизнес-моделью. Французский стартап, оцененный более чем в 21 миллиард евро, привлек 3 миллиарда евро в сентябре. Прибыльная OVHcloud не планирует привлекать средства для финансирования своей стратегии в области ИИ.

Ее руководитель уже отмечал в интервью La Tribune, что OVH и Mistral «очень разные», сравнивая, в частности, выручку и количество клиентов обеих компаний. «Мы не начинаем с нуля. У нас есть клиентская база, бренд OVH», — настаивал он в разговоре с AFP.

Технически Olala mini попадает в категорию Ministral 3, компактных моделей Mistral AI (3, 8 и 14 миллиардов параметров), также предназначенных для локального использования. Она значительно уступает Mistral Small 4 с его 119 миллиардами параметров и контекстным окном в восемь раз шире, и тем более Mistral Large 4.

OVH не опубликовала никаких бенчмарков: в пресс-релизе указаны скорости обработки, но нет оценок качества, что пока не позволяет провести количественное сравнение с моделями Mistral AI.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x