AnyLanguageModel 1.0 : een jaar lokale modellen op Apple-platforms

AnyLanguageModel 1.0 : een jaar lokale modellen op Apple-platforms

Hugging Face kondigt versie 1.0 aan van AnyLanguageModel, een bibliotheek die het framework Foundation Models van Apple rechtstreeks vervangt en ontwikkelaars in staat stelt het model en de leverancier te kiezen die hun app gebruikt. Hij wordt gepubliceerd met swift-huggingface 1.0 en swift-xet 1.0.

Het project ontstond uit feedback van app-ontwikkelaars die geïnteresseerd waren in lokaal uitgevoerde modellen, zonder altijd te weten hoe ze dit moesten aanpakken. Ze wilden ook de complexiteit van ondersteuning voor meerdere inferentie-leveranciers vermijden. Lokale modellen en gehoste modellen hebben elk hun sterke punten, en een gemeenschappelijke API moet de keuze van het juiste model voor elke taak vergemakkelijken.

Een compatibele API en nieuwe functies

Het uitgangspunt blijft hetzelfde: de Foundation Models API gebruiken met het model dat bij de app past. Om te migreren volstaat het om de regel import FoundationModels te vervangen door import AnyLanguageModel, waarna dezelfde sessiecode werkt met het systeemmodel, met open modellen uitgevoerd via llama.cpp, MLX en Core ML, en met gehoste leveranciers.

Er zijn verschillende functies toegevoegd. Tool calling werkt met alle leveranciers, net als de gestuurde generatie, inclusief met geneste @Generable types en arrays van deze types. Ondersteuning voor afbeeldingen maakt het mogelijk om afbeeldingen aan verzoeken te koppelen volgens de syntax van Foundation Models 27, ook met het systeemmodel op iOS, macOS en visionOS 27. Onder OS 27 werkt de bibliotheek ook met elk model dat voldoet aan het LanguageModel protocol van Foundation Models, met name de Core AI-modellen.

Aan de gehoste kant ondersteunt de bibliotheek de Chat Completions en Responses API’s van OpenAI, Open Responses, de Messages API van Anthropic, met de opties voor adaptieve reflectie en effort, de Gemini API van Google en Ollama. Hij ondersteunt ook Private Cloud Compute onder OS 27, evenals Hugging Face Inference Providers en andere OpenAI-compatibele eindpunten, zoals OpenRouter, via een aangepaste basis-URL. Dankzij Inference Providers kunnen open modellen die te groot zijn voor het apparaat worden gebruikt met dezelfde code, bijvoorbeeld openai/gpt-oss-120b.

Gehoste leveranciers profiteren van dezelfde functies als lokale modellen: gestuurde generatie, streaming tool calling en tokentelling in antwoorden. Redeneren maakt nu deel uit van de transcriptie. Bij het wisselen van leverancier worden redeneerblokken automatisch uit verzoeken verwijderd als de nieuwe leverancier ze niet kan herhalen. API-sleutels worden ook geleverd via een functie in plaats van een tekenreeks, zodat de app kortlevende tokens van zijn eigen server kan ophalen. Ten slotte werkt de bibliotheek onder Linux, waardoor dezelfde code aan serverzijde kan worden gebruikt.

Krachtigere open modellen

Onder de meest gedownloade modellen op de Hub op dit moment noemt het artikel Gemma 4 E2B van Google, in GGUF-formaat, ongeveer 3,4 GB in Q4_0 met quantisatiegevoelige training, en LFM2.5 2.6B van Liquid AI, ongeveer 1,7 GB in Q4_K_M. Qwen3.8 27B voor MLX, van Alibaba, weegt ongeveer 16 GB in 4 bits. Volgens het artikel passen de eerste twee op een iPhone, en werkt Qwen3.8 27B op een Mac met minimaal 32 GB geheugen.

Voor de zwaarste configuraties neemt GLM-5.3 van Z.ai ongeveer 1,5 TB in beslag in BF16, volgens de tekst, en blijft toegankelijk via Inference Providers. Hugging Face geeft verder aan dat functies voor ‘beslissende modellen’ en ‘luisterende modellen’ binnenkort beschikbaar komen.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x