Marktechpost uruchomił GPU Leaderboard, darmowe narzędzie porównujące ceny wynajmu procesorów graficznych (GPU) w chmurze, przeznaczone do inferencji modeli AI, czyli ich uruchamiania po przeszkoleniu. Stronie towarzyszy rozszerzenie dla Chrome, GPU Leaderboard: Deploy It, które wykorzystuje te same dane. Według wydawcy celem jest udzielenie w jednym miejscu odpowiedzi na pytanie: « jakiego GPU potrzebuję i gdzie jest ono najtańsze? »
Tablica wyników klasyfikuje GPU dostępne do wynajęcia w chmurze według ceny za godzinę-GPU. Dane są odczytywane ze stron z cennikami każdego dostawcy, zarówno dla stałych stawek (on-demand), jak i dla cen spot, czyli mocy sprzedawanych po obniżonej cenie i podlegających przerwaniom. Wersja 1 obejmuje cztery widoki. Pierwszy, « Inference pricing », to kalkulator kosztów dla pełnego wykonania, a nie tylko prostej stawki godzinowej. Drugi, « Leaderboard », przedstawia wszystkie oferty uszeregowane w dolarach za godzinę-GPU, z możliwością filtrowania według GPU, serii, regionu i dostępności. Trzeci, « Cheapest Inference », wskazuje najniższe stałe minimum (on-demand) dla każdego śledzonego GPU. Czwarty to katalog dostawców, z liczbą instancji, regionami, incydentami zgłoszonymi na stronach statusu oraz historią weryfikacji cen.
Kalkulator dla kosztu pełnego uruchomienia
Użytkownik wybiera akcelerator, liczbę GPU, czas trwania i stopień wykorzystania. Kalkulator wycenia wtedy to konkretne wykonanie u każdego dostawcy, a opcjonalne pole dla modelu pozwala zawęzić listę. Domyślny przykład to 8 H100 przez 72 godziny przy 90% wykorzystania, czyli 576 godzin-GPU. Najtańszy wynik to 967,68 USD u Latitude, przy 1,68 USD za godzinę-GPU. Mediana dla 15 dostawców wynosi 1716,48 USD, a najdroższa oferta to CoreWeave za 3545,28 USD.
Kalkulator pokazuje również « rzeczywisty » koszt za efektywnie wykorzystaną godzinę-GPU. Czas bezczynności nadal jest naliczany: według artykułu 1,68 USD za godzinę-GPU staje się więc 1,87 USD przy 90% wykorzystania. Według strony jest to liczba najczęściej pomijana w budżetach.
Rozszerzenie do wyboru modelu
Rozszerzenie Deploy It ma na celu przybliżenie tych danych do miejsc, w których deweloperzy wybierają swoje modele. Według jego opisu w Chrome Web Store działa w trzech miejscach. Na stronach modeli Hugging Face wykrywa rozmiar modelu i szacuje potrzebną pamięć wideo, zwaną VRAM, w formatach FP16, INT8 i INT4 – formatach precyzji numerycznej, które redukują wymaganą pamięć. Następnie wyświetla najtańsze godzinowe GPU, które mogą obsłużyć model. W repozytoriach GitHub rozpoznaje odwołania do modeli i dostarcza szacunków sprzętowych bezpośrednio na stronie. Wreszcie, wyszukiwanie z paska narzędzi przeglądarki pozwala na zapytanie o dowolny model lub GPU.
Strona wymienia 201 ofert GPU dostępnych online, oferowanych przez 24 dostawców. Według artykułu zakres pokrycia i codzienna aktualizacja danych stanowią główne różnice w stosunku do starszych narzędzi śledzących.
