Welkom Beam, een open source model van 501B dat je kunt bezitten, aanpassen en op grote schaal inzetten

Welkom Beam, een open source model van 501B dat je kunt bezitten, aanpassen en op grote schaal inzetten
2 min lezen

Het Amerikaanse lab Reflection brengt Beam, zijn eerste model, uit onder een open licentie. Dit taalmodel van het type ‘mixture of experts’ (MoE, een architectuur waarbij slechts een deel van het netwerk elke token, dat wil zeggen elk tekstfragment, verwerkt) telt 501 miljard parameters, waarvan er 23 miljard worden geactiveerd voor elke token. Het accepteert tekst als invoer, heeft een contextvenster van 1M tokens en wordt gedistribueerd onder de Apache 2.0-licentie op Hugging Face.

Beam is gericht op code en agentisch gebruik, dat wil zeggen systemen die acties kunnen aaneenschakelen met tools. Het richt zich op teams die een model van deze omvang op hun eigen hardware, op hun eigen infrastructuur of in de cloud willen draaien en aan hun behoeften willen aanpassen. Het wordt geleverd met een open source ‘harnas’ geschreven in Rust, een softwareomgeving die het model aanstuurt.

Een architectuur met experts

Beam bestaat uit 52 lagen, met 256 experts per MoE-laag, waarvan er 8 worden aangesproken voor elke token. De 256 experts blijven in het geheugen: voor de implementatie is dus het geheugen van een model met 501 miljard parameters nodig, maar de berekening gebeurt met de snelheid van een model van 23 miljard. Het BF16-checkpoint weegt ongeveer 1 TB in safetensors-formaat, terwijl de NVFP4-versie, die de meeste parameters in 4 bits opslaat, daalt tot ongeveer 280 GB. Volgens de documentatie ondersteunen Blackwell-chips dit formaat native, terwijl oudere GPU’s zoals de H200 dat niet kunnen. De FP8-checkpoints zijn geschikt voor Hopper- en Ampere-generaties.

Het model biedt vijf niveaus van redeneervermogen: « low », « medium » (standaard), « high », « xhigh » en « max ». Reflection rapporteert op basis van eigen resultaten een score van 81,6% op de SWE Bench Verified-benchmark in BF16, tegenover 80,2% in FP8 en 80,7% in NVFP4. De score van 97,7% behaald op AIME 2026 staat ook tussen de cijfers die de uitgever heeft gedeeld. Hugging Face heeft bovendien vijf kwalitatieve tests uitgevoerd op specifieke taken, die het presenteert als « vibe »-evaluaties en niet als benchmarks.

Implementatie en aanpassing

Beam wordt vanaf de lancering ondersteund door de bibliotheken transformers, SGLang en vLLM. Hugging Face biedt ook recepten voor supervised fine-tuning (SFT, waarbij een model wordt getraind op geannoteerde voorbeelden) en reinforcement learning (RL). In een voorbeeld leverde fine-tuning met LoRA-adapters, die slechts een klein deel van de gewichten wijzigen, een antwoord op in de gevraagde taal voor 16 van de 16 prompts, tegenover 3 van de 16 voor het basismodel. Deze test meet de naleving van de taal, niet de juistheid van het redeneren. Beam is ook toegankelijk via Inference Providers, met de aanbieders Baseten, Fireworks en Together.

Reflection kondigt verder 10.000 dollar aan credits aan op de Hub, die worden verdeeld onder de beste projecten die met Beam zijn gebouwd. Deelnemers moeten een demo, een gekwantiseerd model, een synthetische dataset, een reinforcement learning-omgeving of een benchmark publiceren en vervolgens de link delen in het discussietabblad van de modelpagina.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x