AnyLanguageModel 1.0 : rok lokalnych modeli na platformach Apple

AnyLanguageModel 1.0 : rok lokalnych modeli na platformach Apple

Hugging Face ogłasza wersję 1.0 AnyLanguageModel, biblioteki, która bezpośrednio zastępuje framework Foundation Models od Apple i pozwala deweloperom wybrać model oraz dostawcę wykorzystywanego przez ich aplikację. Publikowana jest wraz z swift-huggingface 1.0 i swift-xet 1.0.

  • Hugging Face wydaje AnyLanguageModel 1.0, która zastępuje framework Foundation Models od Apple.
  • Migracja wymaga jedynie zmiany importu, a ten sam kod działa z modelami lokalnymi i hostowanymi.
  • Biblioteka obsługuje dostawców takich jak OpenAI, Anthropic, Google, Ollama oraz Hugging Face Inference Providers.
  • Modele takie jak Gemma 4 E2B czy LFM2.5 działają lokalnie na iPhone’ie, a większe modele korzystają z dostawców hostowanych.

Projekt narodził się z uwag deweloperów aplikacji zainteresowanych modelami działającymi lokalnie, którzy nie zawsze wiedzieli, jak się za to zabrać. Chcieli oni również uniknąć złożoności obsługi wielu dostawców inferencji. Modele lokalne i modele hostowane mają swoje zalety, a wspólne API ma ułatwić wybór modelu odpowiedniego do danego zadania.

Zgodne API i nowe funkcje

Zasada działania pozostaje ta sama: użycie API Foundation Models z modelem odpowiednim dla aplikacji. Aby przeprowadzić migrację, wystarczy zamienić linię import FoundationModels na import AnyLanguageModel, po czym ten sam kod sesji będzie działał z modelem systemowym, z modelami otwartymi uruchamianymi przez llama.cpp, MLX i Core ML, a także z dostawcami hostowanymi.

Dodano kilka funkcji. Wywoływanie narzędzi działa ze wszystkimi dostawcami, podobnie jak generowanie sterowane, w tym z zagnieżdżonymi typami @Generable i tablicami tych typów. Obsługa obrazów pozwala na dołączanie ich do zapytań zgodnie ze składnią Foundation Models 27, także z modelem systemowym na iOS, macOS i visionOS 27. W OS 27 biblioteka działa również z każdym modelem zgodnym z protokołem LanguageModel z Foundation Models, w tym z modelami Core AI.

Po stronie hostowanej biblioteka obsługuje API Chat Completions i Responses od OpenAI, Open Responses, API Messages od Anthropic z opcjami adaptacyjnej refleksji i wysiłku, API Gemini od Google oraz Ollama. Obsługuje także Private Cloud Compute w OS 27, a także Hugging Face Inference Providers i inne punkty końcowe zgodne z OpenAI, jak OpenRouter, poprzez niestandardowy adres bazowy. Dzięki Inference Providers modele otwarte zbyt duże dla urządzenia mogą być używane z tym samym kodem, na przykład openai/gpt-oss-120b.

Dostawcy hostowani korzystają z tych samych funkcji co modele lokalne: generowania sterowanego, strumieniowego wywoływania narzędzi i zliczania tokenów w odpowiedziach. Rozumowanie jest teraz częścią transkrypcji. Przy zmianie dostawcy bloki rozumowania są automatycznie usuwane z zapytań, jeśli nowy dostawca nie może ich odtworzyć. Klucze API są również dostarczane przez funkcję zamiast ciągu znaków, co pozwala aplikacji pobierać krótkotrwałe tokeny z własnego serwera. Wreszcie, biblioteka działa pod Linuxem, co pozwala na użycie tego samego kodu po stronie serwera.

Wydajniejsze modele otwarte

Wśród najczęściej pobieranych obecnie modeli na Hubie artykuł wymienia Gemma 4 E2B od Google, w formacie GGUF, o rozmiarze około 3,4 GB w Q4_0 z kwantyzacją wrażliwą na trening, oraz LFM2.5 2.6B od Liquid AI, o rozmiarze około 1,7 GB w Q4_K_M. Qwen3.8 27B dla MLX od Alibaby waży około 16 GB w 4 bitach. Według artykułu pierwsze dwa mieszczą się na iPhone’ie, a Qwen3.8 27B działa na Macu z co najmniej 32 GB pamięci.

W przypadku najcięższych konfiguracji, GLM-5.3 od Z.ai zajmuje około 1,5 TB w BF16, według tekstu, i pozostaje dostępny przez Inference Providers. Hugging Face informuje ponadto, że wkrótce pojawią się funkcje « modeli podejmujących decyzje » i « modeli nasłuchujących ».

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x