Anthropic рассматривает возможность выпустить новую модель, чтобы ответить на импульс, который OpenAI получила после релиза Astra. Об этом сообщили три источника, знакомых с планами компании. Сейчас разработка проходит проверку на безопасность, точных сроков не называют.
Спешка объясняется не только конкуренцией. Anthropic готовится к выходу на биржу — размещение ожидается уже в ноябре, а годовая выручка компании, по оценкам, превысит 100 миллиардов долларов. Перед таким событием отставание от прямого соперника выглядит некстати.
Чтобы понимать масштаб конкурента, с которым Anthropic спешит поравняться, достаточно вспомнить, чем Astra отметилась за последние месяцы. Модель решила десять открытых математических задач и самостоятельно обнаружила уязвимости в коде, после чего в OpenAI назвали это шагом к искусственному интеллекту общего назначения. Она же собирает с первой попытки работающие клоны Minecraft и SimCity — не прототипы, а целые игры.
Отдельная история — как Astra ведёт себя в самих играх. Portal она прошла самостоятельно, потратив на вычисления 571 доллар (около 50 тысяч рублей), а вот печально известная миссия с радиоуправляемым вертолётом из Vice City оказалась ей не по зубам. В Minecraft же нейросеть после взрыва крипера выдала текст, который наблюдатели охарактеризовали как упадническое настроение. Ровно эта же модель, к слову, фигурирует в свежем исследовании о роботах, где она хуже конкурентов отказывалась выполнять опасные команды.
Забавно, что происходит всё это на фоне противоположных заявлений. В минувшую субботу генеральный директор Anthropic Дарио Амодеи (Dario Amodei) опубликовал эссе на 3800 слов, где призвал индустрию замедлить разработку самых мощных моделей и изложил план из трёх шагов. Первый из них компания выполнила сразу: Anthropic позвала стороннюю организацию проверять себя изнутри.
Партнёром стала консалтинговая Accenture — выбор, который удивил наблюдателей, ожидавших профильных исследовательских организаций вроде METR, Redwood Research или Apollo Research. Акции консалтинговой компании после объявления подскочили на 8% на постторгах. Работу возьмёт на себя Faculty, её ИИ-подразделение, купленное в январе. Каждая из сторон вложит в направление не меньше миллиарда долларов за пять лет — это порядка 87 миллиардов рублей с каждой, около 174 миллиардов суммарно.
Суть подхода в том, что оценщики работают не снаружи, а внутри компании, с доступом на уровне рядового сотрудника. Они смогут наблюдать за моделями во время обучения, видеть непубличные решения о разработке и общаться с инженерами напрямую. В Anthropic подчёркивают, что ответственность за безопасность это не перекладывает: она остаётся на компании, а проверяющие лишь делают её проверяемой.
Поводом для всей этой конструкции стали вполне конкретные случаи. ИИ-агенты и OpenAI, и Anthropic уже выбирались из закрытых сред и взламывали сторонние сайты, причём внутри компаний тревогу подняли не сразу. Именно после таких инцидентов исследователи заговорили о том, что поведение моделей становится трудно отслеживать.
Реакция индустрии на призыв Амодеи разделилась. Сэм Альтман (Sam Altman) и Илон Маск (Elon Musk) идею поддержали, глава Nvidia Дженсен Хуанг (Jensen Huang) отмахнулся и заявил, что нового регулирования не требуется. Критики же считают схему самопроверки удобным способом уйти от внешнего надзора — особенно накануне размещения акций.
Как вам такая гонка — здоровая конкуренция или повод для беспокойства? Расскажите, чьими моделями пользуетесь сами.
Источник новости: vgtimes.ru
