Marktechpost запустил GPU Leaderboard — бесплатный сервис сравнения цен на аренду графических процессоров (GPU) в облаке, предназначенный для инференса моделей ИИ, то есть для их выполнения после обучения. Сервис сопровождается расширением для Chrome GPU Leaderboard: Deploy It, которое использует те же данные. По словам издателя, цель — дать ответ в одном месте на вопрос: «какой GPU мне нужен и где он самый дешёвый?»
Таблица лидеров ранжирует арендуемые в облаке GPU по цене за GPU-час. Данные собираются со страниц с ценами каждого провайдера, как для тарифов по требованию (on-demand), так и для спотовых тарифов, то есть мощностей, продаваемых со скидкой и подверженных прерыванию. Версия 1 включает четыре представления. Первое, «Inference pricing», — это калькулятор стоимости полного выполнения, а не просто почасового тарифа. Второе, «Leaderboard», представляет все предложения, отсортированные по долларам за GPU-час, с фильтрацией по GPU, серии, региону и доступности. Третье, «Cheapest Inference», показывает минимальную цену по требованию для каждого отслеживаемого GPU. Четвёртое — это каталог провайдеров с количеством инстансов, регионами, инцидентами, о которых сообщалось на страницах статуса, и историей проверок цен.
Калькулятор для стоимости полного запуска
Пользователь выбирает ускоритель, количество GPU, продолжительность и уровень утилизации. Затем калькулятор рассчитывает стоимость именно этого выполнения у каждого провайдера, а дополнительное поле для модели позволяет сократить список. Пример по умолчанию — 8 H100 на 72 часа с утилизацией 90%, что составляет 576 GPU-часов. Самый дешёвый результат — $967.68 у Latitude, по $1.68 за GPU-час. Медиана по 15 провайдерам составляет $1,716.48, а самое дорогое предложение — у CoreWeave, $3,545.28.
Калькулятор также показывает «реальную» стоимость за фактически использованный GPU-час. Время простоя всё равно оплачивается: согласно статье, $1.68 за GPU-час превращаются в $1.87 при утилизации 90%. По словам сайта, это цифра, которую чаще всего упускают в бюджетных таблицах.
Расширение для выбора модели
Расширение Deploy It призвано приблизить эти данные к местам, где разработчики выбирают свои модели. Согласно его описанию в Chrome Web Store, оно работает в трёх местах. На страницах моделей Hugging Face оно определяет размер модели и оценивает необходимую видеопамять (VRAM) в форматах FP16, INT8 и INT4 — числовых форматах точности, которые сокращают требуемую память. Затем оно показывает самые дешёвые почасовые GPU, способные разместить модель. В репозиториях GitHub оно находит ссылки на модели и предоставляет оценку аппаратных требований прямо на странице. Наконец, поиск из панели инструментов браузера позволяет запросить любую модель или GPU.
Сайт отслеживает 201 предложение GPU в режиме онлайн от 24 провайдеров. Согласно статье, охват и ежедневное обновление данных являются основными отличиями от более старых инструментов отслеживания.
