Kupić maszynę do uruchomienia modelu u siebie, wynająć GPU czy płacić za API: od jakiej skali każda opcja staje się najtańsza? To narzędzie porównuje wszystkie trzy na podstawie twojego faktycznego użycia.
Jak korzystać
- Wprowadź swoje miesięczne tokeny wejściowe i wyjściowe (w milionach) oraz wybierz model API do porównania.
- Opisz swoją maszynę: cenę, okres amortyzacji, moc, cenę prądu, szybkość generowania oraz ewentualne zużycie w trybie czuwania.
- Podaj stawkę godzinową za wynajem GPU.
- Sprawdź trzy miesięczne koszty, stopień wykorzystania maszyny oraz werdykt.
Zasady obliczeń
- Koszt API to miesięczna ilość tokenów pomnożona przez ceny wybranego modelu, przeliczona na euro.
- Czas obliczeń wynika z szybkości generowania: wyjście ÷ szybkość generowania, plus wejście ÷ (szybkość × współczynnik odczytu promptu).
- Koszt lokalny to suma amortyzacji (cena ÷ miesiące) i energii zużytej w tym czasie obliczeń, plus ewentualne zużycie w trybie czuwania; koszt wynajmu to godziny obliczeń pomnożone przez stawkę godzinową.
- Próg rentowności to cena sprzętu podzielona przez miesięczne oszczędności w porównaniu z API po odjęciu kosztów energii. Stopień wykorzystania porównuje godziny obliczeń z 720 godzinami w miesiącu.
Znane ograniczenia
Model lokalny rzadko jest równoważny z najnowocześniejszym modelem API: porównuj z modelem tej samej klasy. Obliczenia pomijają twój czas, konserwację, jakość usług, skoki obciążenia, cache i długi kontekst.
