Учёные во главе с Джеймсом Зоу, доцентом кафедры биомедицинских данных в Стэнфордском университете, проверили 91 эссе на английском языке, написанное не носителями английского языка, с помощью семи популярных детекторов ИИ-систем. Выяснилось, что эти детекторы дискриминируют тех, для кого английский язык не является родным.Предвзятость детекторов GPT / cell.com
Исследователи говорят, что компьютерные программы, которые используются для выявления эссе, заявлений о приёме на работу и других текстов, созданных искусственным интеллектом, могут дискриминировать студентов, учёных и соискателей вакансий.
Более половины эссе, которые были написаны для теста на знание английского языка, известного как TOEFL, были помечены как созданные ИИ, при этом одна программа пометила таким образом 98% всех работ. Однако, когда в программу загрузили сочинения, написанные носителями английского языка в США, она определила более 90% из них как созданные человеком.
Учёные проследили, как детекторы оценивают контент. Выяснилось. что модели используют такой параметр как «недоумение». Если детектор не может предсказать следующее слово в предложении, то он расценивает текст как написанный ИИ. Это позволяет модели отсеивать тексты неанглоязычных пользователей, которые часто используют в речи неестественные языковые конструкции.
Проблема кроется в обучении больших языковых моделей. В этом процессе используется много популярных слов и знакомых шаблонов из англоязычной среды.
Выявив эту предвзятость, учёные попросили ChatGPT переписать эссе TOEFL, используя более сложный язык. В итоге детекторы ИИ пометили все работы как написанные людьми. «Как это ни парадоксально, детекторы могут заставить авторов, не являющихся носителями языка, использовать GPT чаще, чтобы избежать отсеивания», — говорят исследователи.После редактирования текстов с помощью ИИ показатель отсеивания резко снизился / cell.com
Авторы исследования предупреждают, что «последствия использования детекторов GPT для авторов, не являющихся носителями языка, серьёзны, и нужно избежать ситуаций дискриминации». Они отмечают особую опасность применения таких инструментов в сфере образования, так как отсев неанглоязычных студентов «может нанести ущерб академической карьере и психологическому благополучию».
В сопроводительной статье Яна Оттербахер из Кипрского центра алгоритмической прозрачности Открытого университета сказала: «Вместо того, чтобы бороться с искусственным интеллектом с помощью другого ИИ, мы должны развивать академическую культуру, которая поощряет использование генеративного искусственного интеллекта в творческой, этической манере. ChatGPT постоянно собирает данные от общественности и учится угождать своим пользователям; в конце концов, он сможет перехитрить любой детектор».
Между тем группа исследователей из США представила на Европейском отделении Ассоциации вычислительной лингвистики набор руководящих принципов под названием LongEval, который позволит оценивать качество сгенерированных с помощью генеративных нейросетей текстов.
Источник новости: habr.com
