- Narzędzie wskazuje modele AI, które mieszczą się na Twoim komputerze, z najdokładniejszą możliwą kwantyzacją.
- Obliczenia wykonywane są w przeglądarce, a dane pochodzą z publicznych konfiguracji Hugging Face.
- Wybierasz kartę graficzną lub Maca, a dla innego sprzętu wpisujesz pamięć i przepustowość.
- Wyniki są szacunkami, a model, który się mieści, może działać wolno, gdy część trafia do RAM.
Jaki model AI będzie działał na moim komputerze? Wybierz swoją kartę graficzną, Maca lub wprowadź ilość pamięci: narzędzie wyświetla otwarte modele, które się mieszczą, z jak najdokładniejszą kwantyzacją, zajętą pamięcią i szacowaną prędkością w tokenach na sekundę. Wszystko obliczane jest w twojej przeglądarce.
Jak używać
- Wybierz swój komputer z listy lub « Inny komputer », aby wprowadzić jego pamięć i przepustowość.
- Podaj liczbę identycznych kart i ilość pamięci RAM systemowej: służy ona do przechowywania części modelu, gdy karta nie wystarcza.
- Wybierz zastosowanie (rozmowa, wizja, rozumowanie, długi kontekst) i żądany kontekst.
- Przeczytaj tabelę: najpierw wyświetlane są modele, które mieszczą się komfortowo, potem te które mieszczą się z trudem, a następnie te wymagające przejścia na RAM, co jest wolne.
Jak obliczana jest pamięć
Pamięć modelu to suma trzech części: wag (parametrów pomnożonych przez bity kwantyzacji, podzielonych przez 8), cache KV, który rośnie wraz z kontekstem i liczbą jednoczesnych żądań, oraz narzutu wykonania. Dla każdego modelu narzędzie wybiera najdokładniejszą kwantyzację, która mieści się w pamięci. Parametry, liczba warstw i głowy KV pochodzą z publicznych konfiguracji modeli na Hugging Face, odczytanych w dacie wyświetlonej pod tabelą, a nie z wartości zakładanych.
Aby zacząć od konkretnego modelu, a nie od swojego komputera, użyj narzędzia pamięć VRAM dla AI lokalnej; aby sprawdzić, czy lokalne rozwiązanie jest opłacalne, AI lokalna czy API.
Znane ograniczenia
Te liczby są szacunkami, nie skalibrowanymi na publicznych pomiarach: oprogramowanie wykonawcze (llama.cpp, Ollama, LM Studio, MLX, vLLM), sterownik i format modelu zmieniają rzeczywisty wynik. Prędkość jest zakresem, od 50 do 70% przepustowości pamięci podzielonej przez wagi odczytywane dla każdego tokena. Dla modeli eksperckich (MoE) prędkość zależy od aktywnych parametrów, które znamy tylko wtedy, gdy nazwa modelu je wskazuje; w przeciwnym razie wyświetlana prędkość jest dolnym ograniczeniem. Dla modeli z hybrydową uwagą lub oknem przesuwnym wyświetlany cache (oznaczony « ≤ ») jest górnym ograniczeniem. Wyświetlane są tylko modele z czytelną publiczną konfiguracją, a licencje pokazywane są tak jak zadeklarowane: sprawdź je przed użyciem komercyjnym. Narzędzie nie mierzy ani jakości w języku francuskim, ani rzeczywistej wydajności na twoim komputerze.
Częste pytania
Dlaczego model, który « się mieści », jest wolny?
Wygenerowanie tokena wymaga ponownego odczytu aktywnych wag w pamięci. Jeśli część modelu jest przeniesiona na RAM systemowy, którego przepustowość jest znacznie niższa niż karty, prędkość spada: narzędzie sygnalizuje to jako « Mieści się po przeniesieniu na RAM (wolne) ».
Mój sprzęt nie jest na liście, co robić?
Wybierz « Inny komputer » i wprowadź pamięć (w GB) i przepustowość pamięci (w GB/s) podane przez producenta.