Группа из более чем 30 исследователей собрала тест TheoPhysEval и описала его в препринте на arXiv. Тест состоит из 50 неопубликованных исследовательских задач с проверяемыми ответами. Лучше всех с ними справилась модель GPT-6 Astra от OpenAI, которая работала в среде для программирования Codex. Она верно решила 49 задач, то есть 98%.
Проект координировали Суврат Раджу из Международного центра теоретических наук в Бангалоре и Праниит Нетрапалли из Google DeepMind. В нем участвовали исследователи из Гарвардского университета, Левенского католического университета, Google DeepMind и других организаций. Задачи предлагали специалисты в своих областях. Как правило, это вариации опубликованных работ с измененными условиями: так модель не может просто вспомнить готовый ответ. Эксперт обычно решает такую задачу примерно за день. Задачи охватывают 11 направлений, от классической механики и статистической физики до квантовой теории поля, голографии, гравитации и космологии.
Агенты работали полностью самостоятельно. Они искали литературу и писали программы для численных и символьных расчетов. Время на решение было ограничено. Тестирование шло в двух режимах: с доступом к интернету и без него. Второе место заняла Opus 5.5 от Anthropic в Claude Code с результатом 92%. Gemini 3.8 Flash от Google набрала 68%, DeepSeek-V4.1-Flash — 54%, а GLM 5.3 — 42%. Без интернета GPT-6 Astra решила 46 задач, столько же, сколько Opus 5.5. Почти одинаковые результаты в двух режимах навели авторов на мысль, что модели уже усвоили большой объем научной литературы. По их словам, решение одной задачи обходилось GPT-6 Astra в среднем меньше чем в 3 доллара.
Авторы делают вывод, что передовые агенты уже способны с высокой точностью решать проверяемые задачи по теоретической физике и по широте знаний превосходят отдельного специалиста. При этом они подчеркивают, что для таких задач не нужна оригинальность или умение строить новые теории. Выбирать направление исследования и ставить вопросы по-прежнему приходится людям. Агентам пока не хватает научного чутья, которое подсказывает ученому, когда стоит переключиться на смежную задачу. Авторы также предупреждают, что обучение аспирантов на подобных расчетах может потерять смысл, и призывают научное сообщество заранее обсудить роль ИИ в физике.
Ранее мы рассказывали, как GPT-6 Astra расшифровала письмо маршалу за шесть часов, а также о том, что OpenAI представила GPT-6.1 Sol.
Источник новости: hi-tech.mail.ru
