Новый «AI-микроскоп» компании Anthropic предлагает ограниченный взгляд на внутренние представления ее языковой модели Claude 3.5 Haiku, показывая, как она обрабатывает информацию и рассуждает в ходе выполнения сложных задач.
Одним из ключевых выводов, по данным Anthropic, является то, что Клод, по-видимому, использует своего рода независимую от языка внутреннюю репрезентацию — то, что исследователи называют «универсальным языком мышления». Например, когда модель просят сгенерировать противоположность слову «маленький» на нескольких языках, она сначала активирует общую концепцию, прежде чем выводить переведенный ответ на целевом языке.Перекрывающиеся многоязычные пути показывают концептуальную связь между «маленьким» и «большим» в английском, китайском и французском языках. | Изображение: Anthropic
Anthropic сообщает, что более крупные модели, такие как Claude 3.5, демонстрируют большее концептуальное совпадение между языками, чем более мелкие модели. По мнению исследователей, это абстрактное представление может поддерживать более последовательное многоязычное рассуждение.
В ходе исследования также изучались ответы Клода на вопросы, требующие многоэтапного рассуждения, например: «Какова столица штата, в котором расположен Даллас?» По данным Anthropic, модель активирует представления для «Даллас находится в Техасе», а затем связывает это со «столицей Техаса является Остин». Эта последовательность указывает на то, что Клод не просто вспоминает факты, а выполняет многоэтапный вывод.Начиная с факта о Далласе, связь с Остином как столицей выводится шаг за шагом. | Изображение: Anthropic
Исследователи также обнаружили, что Клод планирует несколько слов заранее при создании поэзии. Вместо того, чтобы сочинять строку за строкой, он начинает с выбора соответствующих рифмующихся слов, а затем выстраивает каждую строку так, чтобы она вела к этим целям. Если целевые слова изменены, модель создает совершенно другое стихотворение — показатель преднамеренного планирования, а не простого пословного прогнозирования.
Для математических задач Клод использует параллельные пути обработки — один для приближения, а другой для точного расчета. Однако, когда его просят объяснить ход своих рассуждений, Клод описывает процесс, отличный от того, который он фактически использовал, — предполагая, что он имитирует человеческие объяснения, а не точно передает свою внутреннюю логику. Исследователи также отмечают, что при получении ошибочной подсказки Клод часто генерирует связное объяснение, которое логически неверно.
Исследование от Google предлагает параллельную линию исследований. Недавнее исследование, опубликованное в Nature Human Behavior, проанализировало сходство между языковыми моделями AIи активностью человеческого мозга во время разговора. Команда Google обнаружила, что внутренние представления из модели Whisper от OpenAI тесно связаны с паттернами нейронной активности, зарегистрированными у людей. В обоих случаях системы, по-видимому, предсказывали предстоящие слова до того, как они были сказаны.
Несмотря на эти сходства, исследователи подчеркивают фундаментальные различия между двумя системами. В отличие от моделей Transformer, которые могут обрабатывать сотни или тысячи токенов одновременно, человеческий мозг обрабатывает язык последовательно — слово за словом, с течением времени и с повторяющимися циклами. Google пишет: « Хотя человеческий мозг и основанные на Transformer LLM разделяют основные вычислительные принципы обработки естественного языка, их базовые архитектуры нейронных цепей существенно различаются».
Источник
Источник новости: habr.com
