В этом году на ICLR, многолетней научной конференции, посвящённой искусственному интеллекту, разгорелся спор из-за исследований, проведённых с помощью ИИ.
По крайней мере, три ИИ-лаборатории — Sakana, Intology и Autoscience — утверждают, что использовали ИИ для создания исследований, которые были приняты на семинары ICLR. На подобных мероприятиях, таких как ICLR, организаторы, как правило, отбирают исследования для публикации в рамках программы конференции.
Sakana проинформировала руководителей ICLR до того, как отправила свои статьи, созданные ИИ, и получила согласие рецензентов. Две другие лаборатории — Intology и Autoscience — этого не сделали, как подтвердил TechCrunch представитель ICLR.
Несколько учёных, занимающихся искусственным интеллектом, выступили в социальных сетях с критикой Intology и Autoscience за то, что они используют научный процесс рецензирования в своих целях.
«Все исследования в области искусственного интеллекта, проводимые учёными, опираются на оценки, полученные на рецензируемых площадках. Однако никто не давал разрешения на использование этой бесплатной рабочей силы», — написал Притвирадж Амманабролу, доцент кафедры компьютерных наук в Калифорнийском университете в Сан-Диего, в посте на X. — Из-за этого я теряю уважение ко всем участникам, независимо от того, насколько впечатляюща система. Пожалуйста, сообщите об этом редакторам».
Как отмечали критики, экспертная оценка — это отнимающее много времени, трудоемкое и в основном добровольческое испытание. Согласно одному недавнему исследованию Nature survey, 40% ученых тратят от двух до четырех часов на рецензирование одного исследования. Объем этой работы растет. Количество докладов, представленных на крупнейшую конференцию по искусственному интеллекту NeurIPS, выросло до 17 491 в прошлом году, что на 41% больше, чем 12 345 в 2023 году.
В академической среде уже существовала проблема с копированием, созданным искусственным интеллектом. Один анализ показал, что от 6,5% до 16,9% статей, представленных на конференциях по искусственному интеллекту в 2023 году, вероятно, содержали синтетический текст. Но компании, занимающиеся искусственным интеллектом, используют экспертную оценку для эффективного сравнения и рекламы своих технологий, что является относительно новым явлением.
«Статьи Intology получили единогласно положительные отзывы», — написала Intology в посте на X, рекламирующем результаты ICLR. В том же посте компания продолжила утверждать, что рецензенты семинара высоко оценили «умную идею» одного из ее исследований, созданных с помощью искусственного интеллекта. Академики отнеслись к этому недоброжелательно.
Эшвини Панда, научный сотрудник Мэрилендского университета, написал в посте на X, что отправка статей, созданных ИИ, без предоставления организаторам семинара права отклонять их, демонстрирует «неуважение ко времени рецензентов-людей».
«Sakana обратилась к нам с вопросом, готовы ли мы принять участие в их эксперименте для семинара, который я организую в ICLR, — добавил Панда, — и я (мы) сказали: «Нет» […] Я думаю, что отправлять статьи об искусственном интеллекте на место проведения, не связываясь с рецензентами, — это плохо».
Не зря многие исследователи скептически относятся к тому, что статьи, созданные ИИ, стоят того, чтобы их рецензировали.
Сама компания Sakana признала, что её ИИ допустил «досадные» ошибки в цитировании и что только одна из трёх статей, сгенерированных ИИ, которые компания решила отправить на конференцию, соответствовала требованиям для участия в конференции. Компания Sakana отозвала свою статью для ICLR до её публикации в интересах прозрачности и соблюдения правил ICLR.
Александр Дориа, соучредитель стартапа Pleias, занимающегося искусственным интеллектом, сказал, что множество скрытых синтетических заявок на ICLR указывают на необходимость в «регулируемой компании/государственном учреждении», которое будет проводить «высококачественные» исследования с использованием ИИ за определённую плату.
«Оценки должны проводиться исследователями, которым полностью компенсируют затраченное время, — сказала Дориа в серии постов на X. — Академические круги существуют не для того, чтобы отдавать на аутсорсинг бесплатные оценки ИИ».
Источник
Источник новости: habr.com
