Известный бывший исследователь политики OpenAI Майлз Брандейдж в среду выступил в социальных сетях с критикой OpenAI за «переписывание истории» подхода компании к развертыванию потенциально рискованных систем AI. Ранее на этой неделе OpenAI опубликовала документ, в котором излагается ее текущая философия безопасности и согласованности AI, процесса проектирования систем AI, которые ведут себя желаемым и объяснимым образом.
В документе OpenAI заявила, что рассматривает разработку AGI, в широком смысле определяемую как системы AI, которые могут выполнять любую задачу, которую может выполнить человек, как «непрерывный путь», требующий «итеративного развертывания и обучения» технологий AI.«В прерывистом мире уроки безопасности возникают из обращения с сегодняшними системами с чрезмерной осторожностью относительно их кажущейся мощности, что является подходом, который мы использовали для нашей модели AI GPT‑2», — пишет OpenAI.
«Теперь мы рассматриваем первый AGI как всего лишь одну точку в ряду систем возрастающей полезности. В непрерывном мире способ сделать следующую систему безопасной и полезной — это учиться у текущей системы».
Однако Брандейдж утверждает, что на самом деле GPT-2 требовал большой осторожности на момент своего выпуска и что это «на 100% соответствовало» сегодняшней стратегии итеративного развертывания OpenAI.«Выпуск OpenAI GPT-2, в котором я принимал участие, на 100% соответствовал и предвосхитил нынешнюю философию итеративного развертывания OpenAI», — написал Брандейдж в посте на X.
«Модель выпускалась постепенно, с обменом уроками на каждом этапе. Многие эксперты по безопасности в то время благодарили нас за эту осторожность».
Брэндедж, который присоединился к OpenAI в качестве научного сотрудника в 2018 году, несколько лет возглавлял отдел политических исследований компании. В команде OpenAI «готовность к AGI» он уделял особое внимание ответственному развертыванию систем генерации языка, таких как платформа чат-ботов AI OpenAI ChatGPT.
GPT-2, анонсированный OpenAI в 2019 году, был прародителем систем искусственного интеллекта, лежащих в основе ChatGPT. GPT-2 мог отвечать на вопросы по теме, резюмировать статьи и генерировать текст на уровне, иногда неотличимом от человеческого.
Источник
Источник новости: habr.com
