Het Apertus-project kondigt Apertus 1.5 aan, een bijgewerkte versie van zijn 8B- en 70B-modellen. Het voegt begrip van afbeeldingen en audio toe, een optionele redeneermodus, een contextvenster dat vier keer langer is en betere prestaties in het volgen van instructies en het gebruik van tools. De gewichten van de 8B- en 70B-modellen zijn op 24 juli 2026 op Hugging Face gepubliceerd onder de Apache 2.0-licentie.
Apertus 1.5 verlengt de training van de eerste generatie. Volgens het project zijn er 4.000 miljard tokens aan tekst en multimodale gegevens toegevoegd aan het 8B-model, en 2.000 miljard aan het 70B-model, wat een totaal maakt van 19T voor het eerste en 17T voor het tweede. Een token is een teksteenheid, opgedeeld door het model voor verwerking. Net als bij eerdere versies beweert het project dat de modellen volledig open zijn: gewichten, gegevens, waardencharter en trainingsdetails zijn gepubliceerd.
Afbeeldingen, audio en uitgebreide context
Afbeeldingen en audio komen het model binnen als discrete tokens, geplaatst in dezelfde reeks als de tekst, en niet via een aparte visuele encoder. Afbeeldingen worden opgedeeld met de Emu3.5-tokenizer, waarbij een afbeelding van 512×512 pixels 1.024 tokens wordt, en audio met WavTokenizer, tegen 40 tokens per seconde. Het project preciseert dat de modellen afbeeldingen en audio begrijpen maar alleen tekst genereren. Ondersteuning voor spraak blijft experimenteel.
Het contextvenster, dat wil zeggen de hoeveelheid informatie die het model in één keer kan verwerken, bereikt 262.144 tokens, tegenover vier keer minder voor Apertus 1.0. De optionele redeneermodus stelt het model in staat na te denken voor het antwoord, wat volgens het project de resultaten op logische problemen verbetert.
Post-training en evaluaties
De post-training verloopt in vijf stappen: een supervised fine-tuning (SFT) op 3,7 miljoen tekstvoorbeelden, aangevuld met afbeeldings- en spraakgegevens, een tweede fine-tuning op lange context, reinforcement learning met verifieerbare beloningen (RLVR) op ongeveer 350.000 verzoeken, direct preference optimization (DPO), en vervolgens een afstemming op het Apertus-waardencharter.
Volgens het project overtreft het 8B-model vergelijkbare open modellen in het volgen van instructies en meertalige taken, terwijl het achterblijft bij de beste open state-of-the-art modellen. De multimodale prestaties zouden die van Gemma 4 12B benaderen. Op de Last Translation Benchmark zou het 8B-model gelijk zijn aan GPT-OSS-20B in machinale vertaling en Claude Haiku 4.5 en Google Translate overtreffen, volgens de gepubliceerde resultaten.
Verschillende partijen bieden Apertus 1.5 al aan. De applicaties Proton Lumo en Infomaniak Euria hebben het geïntegreerd, en Swisscom, Infomaniak en Phoeniqs hebben API-toegang aangekondigd. Het project geeft ook aan vijf miljoen downloads te hebben overschreden volgens zijn Hugging Face-statistieken. Tijdens de AI+X-top in Zürich presenteerde het team de roadmap voor Apertus 2.0, die gebaseerd moet zijn op een sparse MoE-architectuur, ongeveer 600 miljard parameters in totaal bevatten en prioriteit geven aan agents, wiskunde en code.
