Генеральный директор Anthropic Дарио Амодей выразил серьезную обеспокоенность по поводу конкурента DeepSeek — китайской компании в сфере искусственного интеллекта, которая произвела настоящий фурор в Кремниевой долине своей моделью R1. И его опасения могут оказаться гораздо серьезнее, чем стандартные вопросы о передаче данных пользователей в Китай.
В интервью подкасту ChinaTalk с Джорданом Шнайдером Амодей рассказал, что DeepSeek сгенерировала редкую информацию о биологическом оружии во время теста безопасности, проведенного Anthropic.
«Результаты DeepSeek оказались худшими среди всех моделей, которые мы когда-либо тестировали», — заявил Амодей. «У неё абсолютно не было блокировок против генерации подобной информации».
Амодей отметил, что это был один из тестов, которые Anthropic регулярно проводит, чтобы оценить потенциальные угрозы национальной безопасности от AI-моделей. Команда проверяет, могут ли модели создавать информацию, связанную с биологическим оружием, которую нельзя легко найти в открытых источниках, таких как Google или учебники. Anthropic позиционирует себя как поставщика базовых AI-моделей, который серьезно относится к вопросам безопасности.
Амодей уточнил, что на данный момент модели DeepSeek не представляют «прямую опасность» в создании редкой и опасной информации, но в будущем ситуация может измениться. Хотя он похвалил команду DeepSeek как «талантливых инженеров», он также рекомендовал компании «всерьёз заняться вопросами безопасности AI».
Амодей также поддержал жёсткие экспортные ограничения на микрочипы в Китай, ссылаясь на опасения, что они могут дать военным КНР технологическое преимущество.
В интервью на ChinaTalk Амодей не уточнил, какую именно модель DeepSeek тестировала Anthropic и не предоставил технических деталей о проведенных испытаниях. На запрос TechCrunch Anthropic не ответила, как и DeepSeek.
Рост популярности DeepSeek вызывает опасения и в других местах. Например, на прошлой неделе исследователи безопасности Cisco сообщили, что в тестах безопасности модель R1 от DeepSeek не смогла заблокировать ни одного вредоносного запроса, продемонстрировав 100% успех в обходе ограничений.
Cisco не упоминала биологическое оружие, но заявила, что смогла получить от DeepSeek информацию о киберпреступлениях и других незаконных действиях. Стоит отметить, что другие модели, такие как Llama-3.1-405B от Meta и GPT-4o от OpenAI, также показали высокий уровень провалов — 96% и 86% соответственно.
Вопрос безопасности может повлиять на популярность DeepSeek, однако компании, такие как AWS и Microsoft, уже интегрировали модель R1 в свои облачные платформы — что иронично, учитывая, что Amazon является крупнейшим инвестором Anthropic.
С другой стороны, всё больше стран, компаний и правительственных организаций, таких как ВМС США и Пентагон, начинают запрещать использование DeepSeek.
Время покажет, смогут ли эти усилия замедлить рост DeepSeek, или её глобальный успех продолжится. В любом случае, Амодей признает DeepSeek как нового серьёзного конкурента среди ведущих компаний в сфере AI.
«Новый факт заключается в том, что появился новый конкурент», — сказал он на ChinaTalk.
«Среди крупных компаний, способных разрабатывать AI — Anthropic, OpenAI, Google, возможно Meta* и xAI — теперь, возможно, к ним можно добавить и DeepSeek».
Meta* и ее продукты (Facebook, Instagram) запрещены на территории Российской Федерации
Источник
Источник новости: habr.com
