Marktechpost lançou o GPU Leaderboard, um comparador gratuito dos preços de aluguer de processadores gráficos (GPU) na cloud, destinado à inferência dos modelos de IA, ou seja, à sua execução após treino. O site é acompanhado por uma extensão para o Chrome, GPU Leaderboard: Deploy It, que utiliza os mesmos dados. Segundo o editor, o objetivo é responder num único local à pergunta: « de que GPU preciso e onde é mais barato? »
- O Marktechpost lança o GPU Leaderboard, um comparador gratuito de preços de GPUs na cloud para inferência de IA.
- A extensão Deploy It usa os mesmos dados e estima a VRAM necessária nas páginas da Hugging Face e do GitHub.
- A calculadora revela que o tempo de inatividade continua faturado, o que eleva o custo real por hora-GPU.
- O site acompanha 201 ofertas de 24 fornecedores, com dados atualizados diariamente.
O painel de controlo classifica as GPUs alugáveis na cloud por preço por hora-GPU. Os dados são recolhidos nas páginas de preços de cada fornecedor, tanto para tarifas sob pedido (on-demand) como para tarifas spot, ou seja, capacidades vendidas a preço reduzido e sujeitas a interrupção. A versão 1 inclui quatro visualizações. A primeira, « Inference pricing », é uma calculadora de custo para uma execução completa e não para uma simples tarifa horária. A segunda, « Leaderboard », apresenta todas as ofertas classificadas em dólares por hora-GPU, filtráveis por GPU, gama, região e disponibilidade. A terceira, « Cheapest Inference », indica o preço mínimo on-demand mais baixo para cada GPU monitorizada. A quarta é um diretório de fornecedores, com o número de instâncias, regiões, incidentes reportados nas páginas de estado e o histórico de verificações de preços.
Uma calculadora para o custo de uma execução completa
O utilizador escolhe um acelerador, um número de GPUs, uma duração e uma taxa de utilização. A calculadora calcula então essa execução específica em cada fornecedor, e um campo opcional para o modelo permite reduzir a lista. O exemplo apresentado por defeito é o de 8 H100 durante 72 horas a 90% de utilização, ou seja, 576 horas-GPU. O resultado mais barato é de $967.68 na Latitude, a $1.68 por hora-GPU. A mediana entre 15 fornecedores é de $1.716,48, e a oferta mais cara é a da CoreWeave, a $3.545,28.
A calculadora mostra também um custo « real » por hora-GPU efetivamente utilizada. O tempo de inatividade continua a ser faturado: segundo o artigo, os $1.68 por hora-GPU passam assim a $1.87 a 90% de utilização. Trata-se, de acordo com o site, do valor que os orçamentos omitem com mais frequência.
Uma extensão para escolher o seu modelo
A extensão Deploy It visa aproximar estes dados dos locais onde os programadores escolhem os seus modelos. De acordo com a sua ficha na Chrome Web Store, funciona em três locais. Nas páginas de modelos da Hugging Face, deteta o tamanho do modelo e estima a memória de vídeo necessária, chamada VRAM, nos formatos FP16, INT8 e INT4, formatos de precisão numérica que reduzem a memória necessária. Mostra depois as GPUs horárias mais baratas capazes de alojar o modelo. Nos repositórios GitHub, identifica referências a modelos e fornece uma estimativa de hardware diretamente na página. Por fim, uma pesquisa a partir da barra de ferramentas do navegador permite consultar qualquer modelo ou GPU.
O site lista 201 ofertas de GPU online, propostas por 24 fornecedores. Segundo o artigo, a cobertura e a atualização diária dos dados constituem as principais diferenças face a ferramentas de monitorização mais antigas.
