Snorkel AI протестировала Grok 4.5 от SpaceXAI на ~2000 экспертных рабочих задач — новая модель опережает GPT 5.5 и Claude Opus 4.8 по среднему проценту прохождения в большинстве отраслей.
Snorkel AI опубликовала результаты бенчмарка Grok 4.5, в которых новейшая модель SpaceXAI прошла около 2000 экспертно оценённых профессиональных рабочих задач — и цифры показывают, что Grok 4.5 превосходит и GPT 5.5, и Claude Opus 4.8 в реальных рабочих результатах. Используя набор данных GDPval+ из Snorkel Data Series (SDS), отраслевые эксперты создали задания и критерии оценки для юридических документов, таблиц, презентаций и других результатов, отражающих реальные профессии экономики США. Каждая передовая модель выполняла каждое задание один раз через Harbor — открытый фреймворк Snorkel для оценки LLM и агентов — а верификаторы LLMaJ оценивали результаты по экспертным критериям.
Grok 4.5 достиг среднего показателя прохождения 29% на выборке оценочных задач, опередив GPT 5.5 с 22% и Opus 4.8 с 21%. Улучшения сконцентрировались в работе, требующей глубокого профессионального суждения: юридические задачи (40% против 27–28% у конкурентов), образование (58% против 35–42%), здравоохранение (35% против 23–25%) и QA-анализ (37% против 19–27%). GPT 5.5 по-прежнему лидировал в строительстве, а Opus 4.8 — в сценариях для финансовых менеджеров, но в большинстве профессий и отраслей Grok 4.5 был впереди — часто с большим отрывом. По запросу SpaceXAI Grok 4.5 был связан с агентом Grok Build внутри Harbor; GPT 5.5 и Opus 4.8 использовали настроенного агента Stirrup, оптимизированного для задач в стиле GDPVal.
Анализ ошибок подтвердил главный вывод. Grok 4.5 показал наименьшую распространённость во всех шести отслеживаемых категориях ошибок. Самый частый тип сбоя — отсутствие отраслевого анализа — снизился до 40% образцов против 51–52% у конкурентов. Конкретные примеры включают задачу по ответственности за оплату труда и рабочее время, где только Grok 4.5 выполнил все экспертные критерии, и задание по коммерческой недвижимости, где модель дала дифференцированные рекомендации по конкретным объектам вместо обобщённых советов. Тем не менее экспертная работа остаётся сложной: ни одна модель не проходит больше одного из трёх критериев, что подчёркивает, сколько ещё предстоит сделать на профессиональном ИИ-фронтире.
Подробнее: Snorkel AI — результаты тестирования Grok 4.5.
Оригинальные источники
Отказ от ответственности
Это статья с кратким обзором от ИИ на основе авторитетных источников. Если вы хотите удалить ваш контент, пожалуйста, .
