Исследователи из Университета Джонса Хопкинса выяснили, что популярные ИИ-чат-боты пишут заметно хуже, если решают, что запрос составила женщина. Авторы работы — старший автор Анджали Филд, изучающая этику и дискриминацию в ИИ, и ведущий автор Кэтрин ван Коверинг, постдок Института данных и ИИ.
ИИ и гендерная предвзятостьДля эксперимента ученые брали реальные рабочие запросы и добавляли в них языковые особенности, которые обычно ассоциируют с женской речью: смягчающие обороты вроде «наверное» и «мне кажется», коллективные формулировки «мы» и «наша команда», эмоциональные прилагательные вроде «прекрасно» и «замечательно». Эти варианты сравнивали с версиями, где те же запросы были сформулированы в стиле, который обычно связывают с мужской речью.
Тестирование прошло на четырех моделях — GPT-4, Llama, Gemma и Mistral. Во всех случаях запросы с «женскими» языковыми маркерами получали менее формальные и менее сложные по структуре ответы, а «мужские» формулировки — более длинные, развернутые и официальные. Разница сохранялась даже после того, как исследователи отдельно учли общий тон текста. При этом простое добавление к запросу мужского или женского имени почти никак не влияло на результат — дело именно в стиле речи, а не в имени автора.
Тестирование языковых моделей«Людям сложно контролировать собственный язык. Компаниям нужно исправлять сами модели, а не перекладывать всю ответственность на пользователя», — сказала ван Коверинг.Подобная предвзятость ИИ уже фиксировалась и в других сферах, помимо деловой переписки. По данным исследования Центра гендерного равенства и лидерства Berkeley Haas, из 133 проверенных ИИ-программ для найма сотрудников признаки гендерной предвзятости нашли у 44%, а в отдельном тесте GPT-4 при составлении шорт-листов на позицию старшего менеджера в 14% случаев отдавал предпочтение кандидатам-мужчинам без какой-либо объективной причины.
Работа исследователей из Джонса Хопкинса показывает, что проблема не ограничивается наймом и всплывает даже в обычной рабочей переписке, которую генерируют массовые чат-боты. Особенно неприятно, что добавление к запросу мужского или женского имени почти ничего не меняло — значит, дело не в том, кто именно формально указан автором письма, а в самой манере изложения, которую модели считывают как «женскую» или «мужскую».
Гендерная предвзятость при наймеРанее мы писали о том, что ChatGPT стал коллегой: OpenAI рассказала, как мир использует ИИ.
Источник новости: hi-tech.mail.ru
