В Anthropic выявили случаи, когда пользователи пытались использовать Claude для исследований потенциально опасных патогенов, одновременно скрывая от системы настоящие цели своих запросов. После внутренней проверки связанные с подобной активностью аккаунты заблокировали.
В одном из случаев ученый обратился к Claude за помощью в подготовке заявки на финансирование проекта по изучению вируса чикунгунья. Предложенная программа включала эксперименты, которые могли повысить опасность патогена. Другой пользователь на протяжении нескольких недель применял сервис для планирования исследований, связанных с вирусом птичьего гриппа.
В компании отмечают, что определить реальные намерения исследователей в подобных ситуациях непросто. Причина в том, что научные знания о патогенах имеют двойное назначение: результаты одних и тех же экспериментов могут помочь создавать вакцины и методы лечения, но одновременно их можно использовать для получения более опасных вариантов вирусов.
Поэтому Anthropic не утверждает, что заблокированные пользователи действительно собирались создавать биологическое оружие. Компания лишь зафиксировала действия, которые могли повысить соответствующие риски.
Ранее разработчик уже ужесточил правила использования наиболее мощных моделей Claude для биологических исследований. В Anthropic признают, что современные ИИ способны существенно помогать ученым в работе со сложными научными задачами, однако доступ к таким инструментам одновременно создает новые возможности для злоупотреблений.
Компания пытается найти баланс между использованием ИИ в легитимной науке и предотвращением сценариев, при которых возможности моделей могут быть применены для разработки опасных патогенов.
Источник новости: hi-tech.mail.ru
