AnyLanguageModel 1.0:Appleプラットフォームにおけるローカルモデルの1年

AnyLanguageModel 1.0:Appleプラットフォームにおけるローカルモデルの1年

Hugging Faceは、AppleのFoundation Modelsフレームワークを直接置き換え、開発者がアプリケーションで使用するモデルとプロバイダーを選択できるようにするライブラリ、AnyLanguageModelのバージョン1.0を発表した。これはswift-huggingface 1.0およびswift-xet 1.0と共に公開される。

このプロジェクトは、ローカル実行されるモデルに関心を持ちながらも、具体的な方法が分からないアプリ開発者からのフィードバックから生まれた。また、複数の推論プロバイダーをサポートする複雑さを避けたいという要望もあった。ローカルモデルとホスト型モデルにはそれぞれ利点があり、共通APIにより各タスクに適したモデルを選択しやすくする。

互換性のあるAPIと新機能

基本的な考え方は変わらない:アプリに適したモデルでFoundation Models APIを使用する。移行には、import FoundationModelsをimport AnyLanguageModelに置き換えるだけでよく、同じセッションコードがその後、システムモデル、llama.cpp、MLX、Core MLを介して実行されるオープンモデル、およびホスト型プロバイダーで動作する。

いくつかの機能が追加された。ツール呼び出しはすべてのプロバイダーで動作し、ガイド付き生成も同様で、ネストされた@Generable型やその型の配列もサポートされる。画像サポートにより、Foundation Models 27の構文に従ってリクエストに画像を添付でき、iOS、macOS、visionOS 27上のシステムモデルも含まれる。OS 27では、このライブラリはFoundation ModelsのLanguageModelプロトコルに準拠するあらゆるモデル、特にCore AIモデルでも動作する。

ホスト型に関しては、このライブラリはOpenAIのChat CompletionsおよびResponses API、Open Responses、AnthropicのMessages API(適応的思考と努力のオプション付き)、GoogleのGemini API、Ollamaをサポートする。また、OS 27上のPrivate Cloud Compute、Hugging Face Inference Providers、およびOpenRouterなどのOpenAI互換エンドポイント(カスタムベースURL経由)も扱う。Inference Providersにより、デバイスには大きすぎるオープンモデル(例:openai/gpt-oss-120b)を同じコードで使用できる。

ホスト型プロバイダーは、ローカルモデルと同じ機能を享受する:ガイド付き生成、ストリーミングツール呼び出し、レスポンス内のトークンカウント。思考はトランスクリプションの一部となった。プロバイダーを変更する際、新しいプロバイダーが思考ブロックを再生できない場合、それらは自動的にリクエストから削除される。APIキーも文字列ではなく関数によって提供されるため、アプリケーションは自社サーバーから短期間のトークンを取得できる。最後に、このライブラリはLinux上で動作し、サーバー側で同じコードを使用できる。

より高性能なオープンモデル

現在Hubで最もダウンロードされているモデルとして、記事はGoogleのGemma 4 E2B(GGUF形式、量子化トレーニング対応、Q4_0で約3.4GB)、Liquid AIのLFM2.5 2.6B(Q4_K_Mで約1.7GB)を挙げている。AlibabaのQwen3.8 27B for MLXは、4ビットで約16GB。記事によると、最初の2つはiPhoneに収まり、Qwen3.8 27Bは少なくとも32GBメモリを搭載したMacで動作する。

より大規模な構成では、Z.aiのGLM-5.3はBF16で約1.5TBを占めるが、Inference Providers経由でアクセス可能と記事は述べている。Hugging Faceはまた、「決定するモデル」と「聴くモデル」の機能が近日中に追加されると述べている。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x