ローカルaiかapiか：採算分岐点

自宅でモデルを動かすためのマシンを購入するか、GPUをレンタルするか、APIを利用するか：どの利用量で各選択肢が最もコスト効率が良くなるのか？このツールは、あなたの実際の使用状況に基づいて3つの選択肢を比較します。

使い方

1. 月間の入力トークン数と出力トークン数を百万単位で入力し、比較対象のAPIモデルを選択してください。
2. あなたのマシンの仕様を記入します：価格、償却期間、消費電力、電気代、生成スループット、必要に応じてアイドル時の消費電力も。
3. GPUレンタルの時間単価を入力します。
4. 3つの月間コスト、マシンの稼働率、および結論の文章を確認します。

計算の背後にある原則

• APIコストは、月間利用量に選択したモデルの価格を掛け、ユーロに換算したものです。
• 計算時間はスループットから算出します：出力トークン数 ÷ 生成スループット、さらに入力トークン数 ÷ (スループット × プロンプト読み込みの倍率)。
• ローカルコストは、償却費（価格 ÷ 月数）とその計算時間中に消費した電気代、必要に応じてアイドル時の電気代を合計したものです。レンタルコストは計算時間（時間）に時間単価を掛けて算出します。
• 採算分岐点は、ハードウェアの価格を、API利用と比較した月間の節約額（電気代を差し引いた後）で割ったものです。稼働率は、計算時間を月の720時間と比較して算出します。

知っておくべき限界

ローカルモデルは最先端のAPIモデルと同等であることは稀です：同じクラスのモデルと比較してください。この計算では、あなたの時間、メンテナンス、サービス品質、負荷のピーク、キャッシュ、長いコンテキストは考慮されていません。