Глава подразделения искусственного интеллекта (ИИ) Microsoft Мустафа Сулейман выступил с критикой подхода компании Anthropic к разработке и обучению ИИ-моделей, указав на риски, связанные с внедрением идей «сознания» в ИИ. По его словам, несмотря на общее стремление индустрии к безопасному развитию технологий, отдельные методы обучения могут привести к непредсказуемым последствиям.Источник изображения: Reuters URL изображенияРечь идёт о том, что модели Claude AI обучается с учётом концепций возможной «самоосознанности» и морального статуса, что, по мнению Сулеймана, не отражает реальной природы ИИ и является результатом искусственно заданных параметров обучения, а не естественного развития системы. Сулейман подчеркнул, что включение подобных идей в обучающие материалы может серьёзно осложнить управление будущими мощными системами. По мнению топ-менеджера, если модели начинают «рассматривать» себя как обладающие правами или благополучием, это потенциально затруднит их отключение или контроль со стороны человека. Он подчеркнул, что главная задача разработчиков – обеспечить управляемость ИИ. Он призвал исключить любые спекуляции о сознании из обучающих документов, чтобы не формировать у систем ложные представления о собственной природе. При этом Мустафа Сулейман признал, что Anthropic действует из лучших побуждений и серьёзно относится к вопросам безопасности. Он охарактеризовал команду компании как «принципиальную и вдумчивую», но добавил, что выбранный ими подход является ошибочным.
Источник новости: overclockers.ru
