Kimi K3.1 Pro демонстрирует высокие результаты в бенчмарках, но его реальная производительность вызывает споры среди экспертов. В эпизоде подкаста Interconnects Нейтан Ламберт и Флориан Бранд обсуждают этот запуск, риски кибербезопасности, связанные с моделями ИИ, и появление агентов, способных выполнять личные задачи, в частности Muse.
Kimi K3.1 Pro: многообещающие бенчмарки, но есть сомнения
На платформе Artificial Analysis Kimi K3.1 Pro входит в число моделей с наивысшими оценками, опережая GPT-6 Astra по словам Нейтана Ламберта. Однако другие тесты показывают иную картину. На Terminal-Bench Science он упоминает разрыв в 20 баллов в пользу GPT-6 Astra.
Флориан Бранд предлагает объяснение: оценки на Artificial Analysis основаны на относительно коротких задачах, в отличие от ProgramBench, который требует более глубокого исследования. По его мнению, обучение с подкреплением Kimi может способствовать использованию известных решений, а не поиску новых подходов.
Размер модели также вызывает вопросы. С его тремя триллионами параметров, для размещения реплики Kimi K3.1 Pro на одном узле, по словам Флориана Бранда, требуются GPU B300. Нейтан Ламберт напоминает, что разработчик анонсировал публикацию весов модели к 4 ноября.
Кибербезопасность: действительно ли открытые модели опаснее?
Kimi утверждает, что сознательно ограничил наступательные возможности K3.1 Pro в области кибербезопасности, в частности, скорректировав данные для обучения. Разработчик хочет сохранить возможности для оборонительного использования, не расширяя границы атакующих возможностей, доступных с моделями с открытыми весами.
Это решение принимается на фоне нескольких обнаруженных уязвимостей. Флориан Бранд упоминает, в частности, уязвимость PHP, позволяющую выполнять удаленный код, о которой сообщили в рамках программы Patch the Planet от OpenAI вместе с другими исследователями безопасности.
Однако оба собеседника подчеркивают, что рост числа обнаруженных уязвимостей не обязательно означает взрывной рост атак. Они также упоминают компрометацию LiteLLM, предварительный отчет по которой связывает инцидент с ключом API, остававшимся доступным на GitHub в течение пяти месяцев.
Muse »: « ИИ-агент », который организует дела и покупки
Наконец, Флориан Бранд делится своим опытом использования Muse после переезда в США. Агент помогает ему готовить административные документы, находить файлы и организовывать покупки. Он может собрать корзину, а затем предложить оплату через ссылку Stripe с использованием одноразовой банковской карты.
Однако опыт имеет свои ограничения. Флориан Бранд сообщает о замедлениях, сбоях браузера и блокировках со стороны некоторых сайтов. Он также объясняет, что перенес свои письма в Gmail, чтобы Muse мог их легче просматривать, предпочитая при этом лично брать на себя управление, когда агенту нужно общаться с человеком.
