Бывшие и действующие сотрудники OpenAI и Google DeepMind подписали открытое письмо о рисках, которые несёт искусственный интеллект. Также они призвали защитить их от возможного преследования со стороны компаний.
«Эти риски варьируются от дальнейшего углубления существующего неравенства до манипуляций и дезинформации, до потери контроля над автономными системами ИИ, что потенциально может привести к исчезновению человечества», — говорится в письме.
Среди подписантов —16 человек, из них 13 ранее работали в OpenAI, а также «крёстный отец ИИ» Джеффри Хинтон, который работал в Google.
В письме говорится, что в отсутствие какого-либо эффективного государственного надзора компании, занимающиеся искусственным интеллектом, должны взять на себя обязательство работать с открытой критикой. В частности, нынешние и бывшие сотрудники таких компаний должны получить возможность сообщать о возникающих проблемах общественности.
Также авторы обращения указывают на существующие риски давления на информаторов. Компании обязывают их подписывать широкие соглашения о конфиденциальности.
Они предлагают несколько путей решения проблем:
отказаться от соглашений, которые подавляют критику;
предложить сотрудникам поддающийся проверке анонимный процесс, позволяющий сообщать о проблемах ИИ;
поддерживать культуру открытой критики, чтобы общественность, советы директоров, регуляторы и другие вовремя узнавали о рисках коммерческих моделей ИИ;
избегать преследований сотрудников, которые публично делятся конфиденциальной информацией, связанной с рисками.
Ранее несколько исследователей OpenAI ушли в отставку после того, как компания распустила команду Superalignment, которая занималась работой над долгосрочными рисками ИИ. Также компанию покинул её соучредитель Илья Суцкевер, который продвигал безопасность разработки. Один из бывших исследователей, Ян Лейке, сказал, что в OpenAI «культура и процессы безопасности отошли на второй план, уступив продуктам». После этого компания сформировала новую команду по безопасности. Гендиректор OpenAI Сэм Альтман и технический директор OpenAI Грег Брокман заявили об отсутствии проблем безопасности в ИИ-продуктах.
Источник новости: habr.com
