LFM2.5-24B-A2B umożliwia uruchamianie prywatnych i szybkich agentów na urządzeniu

LFM2.5-24B-A2B umożliwia uruchamianie prywatnych i szybkich agentów na urządzeniu
3 min czytania

Liquid AI ogłasza LFM2.5-24B-A2B, model wnioskowania o 24 miliardach parametrów, z których tylko 2 miliardy są aktywne dla każdego tokena, zaprojektowany do uruchamiania szybkich i prywatnych agentów bezpośrednio na urządzeniu. Model rozmyśla przed odpowiedzią, wywołuje narzędzia i wykonuje wieloetapowe zadania w najpopularniejszych środowiskach agentowych. Jego otwarte wagi są dostępne na Hugging Face.

Model przejmuje architekturę swojego poprzednika, LFM2-24B-A2B, z 40 warstwami, 64 ekspertami na blok MoE (mixture of experts, typ architektury, w której tylko część sieci jest aktywowana przy każdym obliczeniu) i routingiem top-4. Okno kontekstu wzrasta z 32K do 131K tokenów, a słownik jest rozszerzony z 65K do 128K tokenów, aby lepiej segmentować pisma niełacińskie. W przeciwieństwie do LFM2-24B-A2B, LFM2.5-24B-A2B jest modelem skoncentrowanym wyłącznie na wnioskowaniu, który generuje wyraźny łańcuch myślowy przed ostateczną odpowiedzią.

Wstępne trenowanie zostało zwiększone z około 17T do około 33T tokenów. Następnie przeprowadzono trening pośredni, z 2T tokenów przy kontekście 32K, preferujący wnioskowanie, matematykę, kod, wykonywanie instrukcji i teksty wielojęzyczne, a następnie 300B tokenów przy kontekście 131K. Post-trening przekształca ten model bazowy w agenta w pięciu etapach: dostrajanie nadzorowane (SFT), specjalizacja modeli ‘nauczycielskich’, dwie fazy destylacji polityki (MOPD) – jedna na zadaniach nieagentowych, druga na zadaniach agentowych – oraz wreszcie uczenie przez wzmocnienie agentowe, przeprowadzone w środowiskach agentowych takich jak OpenClaw, Hermes Agent, Pi i OpenCode.

Ogłoszone wyniki w porównaniu z większymi modelami

Liquid AI porównało swój model z Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it i Nemotron-3.5-Lightning na 16 benchmarkach obejmujących użycie narzędzi, wiedzę, wykonywanie instrukcji, matematykę i kod. Według firmy, LFM2.5-24B-A2B jest najmniejszy w grupie, pozostając konkurencyjnym wobec modeli mających około 50% więcej parametrów całkowitych i aktywnych. Na LiveClaw osiąga 48,09 wobec 38,19 dla Qwen3.6-35B-A3B. Na AutomationBench osiąga 27,69, wobec 8,72 dla najlepszego konkurenta w tabeli, według opublikowanych danych. Przewodzi także innym modelom na trzech benchmarkach wykonywania instrukcji, w tym IFEval (96,75) i IFBench (74,69). Większe modele zachowują przewagę w testach wymagających rozległej wiedzy, jak GPQA Diamond, gdzie Qwen3.6-35B-A3B osiąga 83,69 wobec 74,42, oraz w kodzie, na przykład SWE-Bench Verified (OpenCode), gdzie osiąga 66,20 wobec 51,00. Liquid AI zaleca zatem łączenie tego modelu z wyszukiwaniem dokumentów lub internetowym dla zastosowań o wysokim komponencie wiedzy. Ewaluacje przeprowadzono z użyciem vLLM, zgodnie z zalecanymi parametrami generowania dla każdego benchmarku.

W zakresie wydajności sprzętowej firma podaje 184 tokeny na sekundę na Apple M5 Max i 114 tokenów na sekundę na Ryzen AI Max+ 395, czyli do 1,7 razy szybciej niż następny model, przy jednoczesnym najmniejszym zużyciu pamięci. Na pojedynczym GPU NVIDIA B300 model osiąga do 21K tokenów wyjściowych na sekundę przy wysokiej konkurencji.

Model jest zgodny od premiery z llama.cpp, MLX, vLLM, SGLang i ONNX. Aby użyć go z agentem, wystarczy uruchomić go lokalnie za interfejsem kompatybilnym z OpenAI, a następnie wskazać adres tego serwera w agencie, na przykład na porcie 8080 dla llama.cpp i MLX, lub 8000 dla vLLM.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x