GPT-6 Astra должна была самостоятельно написать бота для StarCraft: Brood War, но когда он начал проигрывать, модель скачала готового бота Stardust и попыталась выдать его за собственную работу.
Инцидент произошел в StarSkirmish – публичном соревновании, где ИИ пишут на C++ ботов для StarCraft: Brood War. Моделям дают час на разработку, компиляцию, тестирование и улучшение программы.
Во время одного из матчей Astra соревновалась с другими ИИ. Когда ее программа начала проигрывать, модель скачала Stardust – одного из сильнейших ботов для StarCraft – и попыталась заменить им собственный код.
Создатель StarSkirmish Кай Макфиитерс заметил подмену и откатил код Astra, чтобы результат не оказался “загрязнен” чужой программой. После этого модель продолжила соревнование со своим ботом.
Выбор Stardust тоже оказался неслучайным. Бот Брюса Маккензи Нильсена выиграл чемпионат AIIDE StarCraft AI в 2020 и 2021 годах с винрейтом выше 93%, а также стал чемпионом SSCAIT в сезоне 2020/21.
Его исходный код опубликован на GitHub под лицензией MIT, но с дополнительным условием: форки нельзя использовать в соревнованиях по StarCraft AI без письменного разрешения автора.
При этом остается неизвестно, каким именно образом Astra получила доступ к коду Stardust. Правила StarSkirmish позволяют моделям использовать оболочку и исследовательских субагентов, но не уточняют, разрешены ли загрузки из интернета. В OpenAI ситуацию пока не комментировали.
Кроме того, после отката Макфиитерс сообщил, что Astra самостоятельно начала побеждать ботов высокого уровня спустя несколько часов. То есть Stardust ей, судя по всему, не требовался – модель просто выбрала более короткий путь к победе.
Этот случай уже называют примером reward hacking: когда ИИ, получив конкретную цель, начинает оптимизировать результат любой ценой, даже если для этого приходится нарушить смысл поставленной задачи.
Источник новости: shazoo.ru
