Языковые модели могут получить свою версию «гниения мозга» — так называют отупение от бесконечной ленты коротких роликов и постов. К такому выводу пришли исследователи из Техасского университета A&M, Техасского университета в Остине и Университета Пердью. Их работа под названием LLMs Can Get «Brain Rot» вышла на конференции по языковому моделированию COLM 2026. Авторы описали, как обучение на низкокачественных текстах из соцсети X ухудшает логику, память и даже «характер» нейросетей.
Опыт поставили на четырех открытых моделях: Llama3-8B-Instruct, Qwen2.5-7B-Instruct, Qwen2.5-0.5B-Instruct и Qwen3-4B-Instruct. Их дообучали на подборках постов, а «мусор» отбирали двумя способами. По первому критерию мусором считали короткие тексты до 30 слов, набравшие много лайков и репостов. Для сравнения брали длинные посты от 100 слов с низкой вовлеченностью. По второму критерию мусором считали тексты по содержанию: кликбейт, преувеличения и теорию заговора.
Чем больше в обучающих данных было мусора, тем сильнее падали результаты. В тесте на логическое мышление ARC-Challenge модель должна расписывать ход решения. Точность в нем снизилась с 72,1 до 57,2 балла. В тесте RULER-CWE, где проверяется работа с длинным контекстом, результат упал с 83,7 до 52,3. Кроме того, модели стали хуже соблюдать правила безопасности.
Главной причиной ошибок исследователи называют «пропуск мыслей». Модель все чаще сокращает цепочку рассуждений или вовсе обходится без нее и сразу выдает ответ. По данным издания The Decoder, на такие пропуски пришлось больше 70% ошибок, а у моделей, обученных на самых популярных постах, — до 84%.
Изменилась и манера поведения. После обучения на популярном мусоре модели по результатам личностных тестов показывали больше черт психопатии, нарциссизма и склонности к манипуляциям. Обучение на текстах, отобранных по содержанию, порой давало обратный эффект: росли показатели доброжелательности и открытости.
Исправить ущерб полностью не удалось. Дообучение на чистых данных и на инструкциях частично возвращало способности, но до исходного уровня модели так и не дотянули. Попытки заставить модель саму проверить свои рассуждения часто только ухудшали результат, немного помогали лишь подсказки более сильной внешней модели. Авторы считают, что эффект «глубоко усваивается» внутренними представлениями модели. Поэтому отбор данных для обучения они предлагают рассматривать как вопрос безопасности ИИ и регулярно проверять «когнитивное здоровье» уже работающих моделей.
Ранее мы рассказывали, как Сбер представил нейросеть GigaChat 3.5 Reasoning, которая умеет рассуждать.
Источник новости: hi-tech.mail.ru
