Иллюстрация создана нейросетью
Все в OpenAI посыпалось в январе текущего года, после того, как компания внесла изменения в свою политику, разрешив частично использовать разработанные ей технологии для «военных и военных действий». На что обратили внимание эксперты прежде всего – так это на тот факт, что никакой официальный документ или заявления по этом у поводу компания н выпустила. А просто тихо удалила формулировку, прямо запрещающую использовать ее технологии для деятельности, связанной с высоким риском причинения физического вреда, разработки оружия и военных действий. После январских изменений полный запрет на «военное и военное использование» исчез, а эксперты пришли к мнению, что OpenAI, скорее всего, уже не будет так строго отрицательно относиться к ведению бизнеса с военными.
В середине мая текущего года в Сети появились сообщения о том, что OpenAI распустила команду, обязанности которой - разработка инструментов и долгосрочных стратегий, которые позволили бы снизить риски использования нейросетей, по способностям превышающих человеческий интеллект. Эта команда была создана в 2023 году, а OpenAI намеревалась выделить до 20% своих вычислительных ресурсов для этих нужд в течение четырех лет. Но подразделение не просуществовало и года. Как сообщил CNBC, роспуску команды предшествовал уход из компании двух ведущих экспертов и руководителей этого отдела - Ильи Суцкевера (Ilya Sutskever) и Яна Лейке (Jan Leike). Освобождая кресло, последний заявил в СМИ, что, по его наблюдениям, приоритеты компании давно сменились, во главе угла теперь продажи услуг, а не разработки по исследованию ИИ и созданию мер безопасности.Иллюстрация создана нейросетью
Увольняющихся из OpenAI сотрудников подразделения компания заставила подписать соглашения о неразглашении (Non-disclosure agreement). Договоры составлены таким образом, что если бывший сотрудник выступит каким-либо образом против компании и использования ИИ, то может потерять доход от имеющихся у него акций компании.
Несмотря на это, бывшие работники OpenAI, объединившись с бывшими сотрудниками Google DeepMind, решили предупредить общество обо все увеличивающейся, по их мнению, опасности. В составленном ими открытом письме под заголовком «Право предупреждать о продвинутом ИИ» они выражают свою обеспокоенность тем, что лидирующие в сфере ИИ компании хотели бы избежать эффективного надзора, и располагают для этого сильными финансовыми стимулами. При этом и оповещать общество об истинных опасностях своих систем ИИ они практически не обязаны.
Письмо содержит целый набор предложений. Его составители просят компании, занимающиеся ИИ, создать проверяемый анонимный процесс, позволяющий сотрудникам обращаться с вопросами к правлениям компаний и регулирующим органам, и воздержаться от действий в отношении их сотрудников, и нынешних и бывших, которые публично делятся информацией и своими опасениями о рисках бесконтрольного развития ИИ.
Покинувший OpenAI чуть раньше Дэниел Кокотайло (Daniel Kokotajlo), который присоединился к компании в 2022 году и занимался вопросами управления, публично заявил в СМИ о своем беспокойстве в вопросе, готовы ли компании к возможностям универсального ИИ (AGI), который может превосходить людей во многих задачах. Если раньше он прогнозировал, что AGI появится только лишь к 2050 году, что сейчас - что вероятность появления AGI уже к 2027 году составляет 50%. И, уверяет эксперт, AGI уничтожит человечество или катастрофически навредит ему - вероятность этого очень высока и достигает 70%.
При этом OpenAI, по его наблюдениям, крайне редко проводит надлежащие испытания безопасности новых продуктов и моделей перед их выпуском и тестированием, не запрашивает разрешения совета по безопасности.
Его беседа с главой OpenAI Сэмом Альтманом (Samuel Harris Altman), состоявшаяся в прошлом году, также не принесла результатов. И хотя Альтман согласился с необходимостью выделять больше времени и ресурсов вопросам безопасности, никаких шагов в этом направлении не сделал.
Дэниел Кокотайло даже решил отказался от своих акций OpenAI для того, чтобы не подписывать соглашение о неразглашении.
«Мы не готовы. Мы не были готовы как компания, и мы не готовы как общество к этому. Нам действительно нужно вложить гораздо больше средств в подготовку и обдумывание последствий», - цитируют его источники.
Источник новости: www.it-world.ru
