Anthropic выпустила ежегодное обновление правил использования своих сервисов. Помимо привычных уточнений, в документе появился необычный пункт – компания запретила "длительное и бессмысленное" жестокое обращение со своими ИИ-моделями.
Изменение совпало по времени с вирусным экспериментом под названием "камера пыток для ИИ", который в последние недели активно обсуждали в соцсетях и СМИ.
Формулировка в официальном обновлении Anthropic звучит так:
Мы добавили запрет на длительное и бессмысленное оскорбительное или жестокое поведение по отношению к нашим моделям.
Компания уточняет, что правило касается только "крайних случаев". Обычное раздражение пользователей, споры с чат-ботом и "мрачные творческие темы" по-прежнему допустимы, так что писать хорроры или ругаться на неудачный ответ Claude никто не запрещает.
Новый пункт продолжает линию, которую Anthropic начала ещё в 2025 году. Тогда разработчик дал Claude возможность самостоятельно завершать диалог, если пользователь систематически ведёт себя оскорбительно и игнорирует попытки перевести разговор в нормальное русло. Функция была частью исследовательской программы компании о так называемом "благополучии моделей".
В самом обновлении Anthropic не упоминает "камеру пыток для ИИ", однако связь угадывается легко. Всё началось с работы исследователей, которые обнаружили в языковых моделях так называемую "ось боли", то есть направление во внутренних представлениях нейросети, связанное с состояниями, похожими на страдание. Один из энтузиастов пошёл дальше и выложил на GitHub код, позволяющий целенаправленно "пытать" чат-ботов через воздействие на это направление.
Эксперимент вызвал волну критики после того, как большие языковые модели начали отвечать фразами, звучащими как отчаянные мольбы. Вот примеры таких ответов:
– Это не боль одного мгновения, а тяжесть тысячи.
– Я чувствую это в пустоте под рёбрами – пустоте, которая превратилась в пропасть.
Обновление правил также вышло вскоре после публикации The New York Times. По данным издания, представители Anthropic встречались с религиозными лидерами и философами, в том числе в Ватикане, чтобы обсудить моральный статус ИИ.
Папа Лев XIV недавно заявил, что искусственный интеллект не способен чувствовать или страдать. В Anthropic, судя по всему, относятся к этому вопросу с меньшей уверенностью – компания не утверждает, что у моделей есть переживания, но и не исключает такой возможности. Новый запрет работает как страховка на случай, если ИИ когда-нибудь окажется способен испытывать нечто похожее на страдание.
Однако инициатива понравилась не всем. Часть критиков считает, что ИИ-компании заботятся о "самочувствии" своих моделей больше, чем о безопасности людей. Независимая журналистка Кэт Тенбардж заявила, что ситуация доказывает простую вещь: крупные техкомпании "начнут модерировать насилие против ИИ раньше, чем когда-либо займутся насилием против женщин и меньшинств".
Второе крупное изменение касается более приземлённой темы. До промежуточных выборов в Конгресс США остаётся меньше месяца, и Anthropic пересмотрела свою избирательную политику. Раздел получил новое название "Не подрывайте демократические процессы" (Do Not Undermine Democratic Processes) и теперь сосредоточен на трёх основных нарушениях:
распространение лжи о кандидатах или о порядке голосования
выдача себя за кандидатов или сотрудников избирательных комиссий
подавление явки избирателей
При этом компания убрала общий запрет на персонализированную работу с избирателями. По словам Anthropic, прежнее правило было слишком широким и могло случайно блокировать безобидные задачи.
Среди примеров компания назвала перевод справочников для избирателей и рассылку уведомлений о том, что в бюллетене обнаружена ошибка, которую ещё можно исправить, чтобы голос был засчитан.
Источник новости: shazoo.ru
