Исследование ученых из Korea University, Upstage AI и AIGEN Sciences выявило специализированные компоненты в больших языковых моделях, которые обрабатывают информацию, зависящую от времени. Эти «темпоральные головы» играют решающую роль в том, как системы AI обрабатывают факты, которые меняются со временем.
Исследователи обнаружили, что эти темпоральные головы существуют в нескольких языковых моделях, хотя их точное расположение может различаться в разных системах. Их ответы также различаются в зависимости от типа обрабатываемых знаний и конкретного рассматриваемого года.
Эти специализированные компоненты не просто понимают простые ссылки на даты, такие как «В 2004 году», они также могут обрабатывать более сложные временные фразы, такие как «Год, когда в Афинах проводились Олимпийские игры». Это говорит о том, что модели развили более тонкое понимание времени, которое выходит за рамки базовой обработки чисел.
Когда исследователи отключили их, модели потеряли способность вспоминать информацию, связанную со временем, сохранив при этом другие свои возможности. Это избирательное нарушение не повлияло на то, насколько хорошо модели справлялись с независимыми от времени знаниями или отвечали на общие вопросы.
Команда также обнаружила, что они могут изменять временные знания, корректируя их значение. Это может снизить стоимость поддержания систем AI в актуальном состоянии. Вместо того, чтобы переобучать целые модели — дорогостоящий и трудоемкий процесс — разработчики могли бы обновлять чувствительную ко времени информацию, ориентируясь только на эти "темпоральные головы".
Однако исследователи признают важные ограничения в своей работе. Меньшие модели, такие как Phi-3-mini, с всего 3,8 миллиардами параметров, не так хорошо реагируют на целенаправленную манипуляцию "темпоральные головами" . Эти модели, вероятно, требуют более сложных механизмов, которые еще предстоит открыть и понять.
Источник
Источник новости: habr.com
