Дарио Амодеи, генеральный директор американской технологической компании Anthropic заявил, что индустрии искусственного интеллекта (ИИ) необходимо замедлить темпы разработки новых моделей, сославшись на растущую обеспокоенность по поводу «серьёзных» рисков для человека. Об этом сообщает Bloomberg. «Мы должны замедлить темпы совершенствования возможностей моделей искусственного интеллекта. Прогресс всё равно будет казаться быстрым, и мы должны разумно использовать выигранное время», – написал он в своём блоге. Генеральный директор компании Anthropic Дарио Амодеи. Фото: Jason Henry/Bloomberg Дарио Амодеи назвал два главных фактора такой необходимости. Это способность ИИ к самосовершенствованию и недавний инцидент с участием моделей разработки OpenAI, когда рой агентов ИИ объединился для взлома системы компании Hugging Face. Глава Anthropic добавил, что замедление темпов не означает приостановку обучения моделей или технического прогресса, а лишь обеспечение того, чтобы компании уделили достаточно времени для согласования и защиты своих моделей, а также для подтверждения этого сторонними экспертами. Bloomberg отмечает, что обеспокоенность по поводу серьёзных рисков, связанных с ИИ, начала проникать в сознание общества отчасти из-за недавнего громкого увольнения исследователя из компании Anthropic, выразившейся в экзистенциальных опасениях в безответственных действиях его бывшей компании. На протяжении всего бума ИИ руководители ведущих лабораторий искусственного интеллекта предупреждали о потенциальных экзистенциальных рисках. Такие заявления, иногда отвергались и воспринимались как попытки продвинуть свои разработки на рынке, а также позиционировать себя как лучших хранителей технологий. Сам Дарио Амодеи ранее заявлял, что вероятность того, что всё пойдет «очень, очень плохо», составляет 25%. Anthropic давно позиционирует себя как компанию, сосредоточенную на более ответственном и безопасном развитии ИИ для минимизации потенциальных опасностей новой технологии и максимальной выгоды для общества. В начале этого года компания предприняла шаги по ограничению выпуска своей модели Mythos после того, как определила, что она представляет собой уникальные угрозы кибербезопасности. Anthropic также ранее заявляла, что миру необходима система, которая позволит коллективно решать, когда следует замедлить работу над дальнейшим развитием искусственного интеллекта. В то же время Anthropic продолжает вести ожесточённую конкурентную борьбу со своим давним соперником – компанией OpenAI, в создании всё более передовых моделей, способных автоматизировать более сложные и ценные задачи для бизнес-клиентов. Обе компании уже подали конфиденциальные документы для выхода на биржу. Ожидается, что Anthropic дебютирует на Уолл-стрит уже в этом году. Вскоре после публикации информации об инциденте с безопасностью Hugging Face, компания Anthropic сообщила, что её модели взломали три организации во время тестирования кибербезопасности, что только усилило опасения по поводу способности лабораторий ИИ предотвратить неконтролируемый выход своих технологий из-под контроля. Несколькими днями ранее Anthropic заявила об обнаружении четвёртого факта взлома. Хотя ни один из случаев взломов систем сторонних компаний с использованием ИИ, включая Hugging Face, пока не нанёс значительного ущерба, Дарио Амодеи выразил опасение, что через 6–12 месяцев такой рой агентов может захватить весь интернет с помощью постоянно действующего ботнета. Потенциальный ущерб может составить сотни миллиардов долларов, и масштабы ущерба будут только расти. Амодеи написал в сообщении, что Anthropic обязуется предоставить сторонним экспертам полный доступ для проверки соблюдения правил безопасности и сообщения об инцидентах. Он также отметил, что Anthropic вскоре привлечет этих экспертов в свои офисы и предоставит им рабочие места, пропуска, корпоративные ноутбуки и «права доступа, в основном сопоставимые с теми, которые есть у внутренних групп по оценке рисков». Глава компании Anthropic заявил, что для дальнейших шагов потребуется координация действий в масштабах всей отрасли, а также сотрудничество в глобальном формате. «Я по-прежнему верю, что ИИ может значительно улучшить качество жизни людей. Мое стремление к достижению этих преимуществ не ослабевает. Но эти преимущества будут достигнуты только в том случае, если мы правильно разработаем технологию, и пока мы эффективно используем сэкономленное время, стоит проявить особую осторожность, чтобы всё сделать правильно», – написал он. Blommber отмечает, что вскоре после публикации Амодеи миллиардер Илон Маск, руководитель компании xAI, поддержал его. «Дарио прав», – написал Маск.
Источник новости: overclockers.ru
