Marktechpost ha lanzado GPU Leaderboard, un comparador gratuito de precios de alquiler de unidades de procesamiento gráfico (GPU) en la nube, destinado a la inferencia de modelos de IA, es decir, a su ejecución una vez entrenados. El sitio se acompaña de una extensión para Chrome, GPU Leaderboard: Deploy It, que recoge los mismos datos. Según el editor, el objetivo es responder en un solo lugar a la pregunta: « ¿qué GPU necesito y dónde es más barata? »
El panel clasifica las GPU alquilables en la nube por precio por hora-GPU. Los datos se leen en las páginas de precios de cada proveedor, tanto para tarifas bajo demanda (on-demand) como para tarifas spot, es decir, capacidades vendidas a precio reducido y sujetas a interrupción. La versión 1 incluye cuatro vistas. La primera, « Inference pricing », es un calculador de coste para una ejecución completa y no para una simple tarifa horaria. La segunda, « Leaderboard », presenta todas las ofertas clasificadas en dólares por hora-GPU, filtrables por GPU, gama, región y disponibilidad. La tercera, « Cheapest Inference », indica el mínimo bajo demanda más bajo para cada GPU seguido. La cuarta es un directorio de proveedores, con el número de instancias, regiones, incidentes reportados en las páginas de estado y el historial de verificaciones de precios.
Un calculador para el coste de una ejecución completa
El usuario elige un acelerador, un número de GPU, una duración y una tasa de utilización. El calculador cifra entonces esta ejecución precisa en cada proveedor, y un campo opcional para el modelo permite reducir la lista. El ejemplo propuesto por defecto es el de 8 H100 durante 72 horas al 90% de utilización, es decir, 576 horas-GPU. El resultado más barato es de $967.68 en Latitude, a $1.68 por hora-GPU. La mediana en 15 proveedores asciende a $1,716.48, y la oferta más cara es la de CoreWeave, a $3,545.28.
El calculador muestra también un coste « real » por hora-GPU efectivamente utilizada. El tiempo de inactividad sigue facturándose: según el artículo, los $1.68 por hora-GPU se convierten así en $1.87 al 90% de utilización. Se trata, según el sitio, de la cifra que los cuadros presupuestarios omiten con mayor frecuencia.
Una extensión para elegir su modelo
La extensión Deploy It pretende acercar estos datos a los lugares donde los desarrolladores eligen sus modelos. Según su ficha en Chrome Web Store, funciona en tres lugares. En las páginas de modelos de Hugging Face, detecta el tamaño del modelo y estima la memoria de vídeo necesaria, llamada VRAM, en formatos FP16, INT8 e INT4, formatos de precisión numérica que reducen la memoria requerida. Muestra luego las GPU horarias más baratas que pueden alojar el modelo. En los repositorios GitHub, detecta las referencias a modelos y proporciona una estimación de hardware directamente en la página. Por último, una búsqueda desde la barra de herramientas del navegador permite consultar cualquier modelo o GPU.
El sitio recopila 201 ofertas de GPU en línea, ofrecidas por 24 proveedores. Según el artículo, la cobertura y la actualización diaria de los datos constituyen las principales diferencias respecto a herramientas de seguimiento más antiguas.
