Об эксперте: Иван Курганский — руководитель направления партнерств Медиапроектов Mail, I/O Psych в Revolut, клинический психолог и нейробиолог, приглашенный исследователь машинного обучения и нейроинтерфейсов Института ИИ МГУ им. Ломоносова.
OpenAI представила ChatGPT Work — ИИ-агента, способного подключаться к корпоративным системам, работать с почтой и календарем, отвечать в рабочих чатах и решать многоэтапные задачи. Чтобы проверить мощность технологии, мы поручили агенту пройти экзаменационный тест по нейробиологии.
Для эксперимента выбрали флагманскую модель нового поколения GPT-5.6 Sol со средним уровнем рассуждений. Получив ссылку, агент самостоятельно открыл тест, проанализировал задания по психопатологии и ее нейробиологическим основаниям, выбрал ответы к каждому вопросу и завершил работу за 14 минут, получив оценку «отлично».
«Рукастая нейронка»: что такое ИИ-агент?
ИИ-агент — это система на базе нейросети, которая самостоятельно выполняет действия для достижения цели. Например, если нужно ответить на вопрос в онлайн-тесте, чат-бот вроде ChatGPT или Claude требует участия пользователя: человек копирует вопрос, вставляет его в чат, получает ответ и затем самостоятельно выбирает нужный вариант.
ИИ-агент сам видит окно браузера и преобразует изображение страницы в числовые векторы. Затем с помощью OCR, технологии распознавания текста на изображениях, агент выделяет надписи, кнопки и иконки, превращая интерфейс в пронумерованный список объектов:
После распознавания агент определяет функции элементов интерфейса. Например, значок с тремя точками он может интерпретировать как кнопку открытия дополнительного меню. Языковая модель решает, что правильный ответ — «Серотонин», а технология GUI grounding связывает выбор с конкретным элементом страницы.
Для этого агент использует изображение экрана, а также HTML — язык разметки веб-страниц. Затем он переводит положение нужной кнопки в координаты. Это похоже на игру «Морской бой»: вариант «Серотонин» может находиться, например, в точке x = 941, y = 432. После этого агент отправляет браузеру команду на клик, и ответ выбирается без участия человека.
У ИИ-агентов появились «отпечатки пальцев»
Во время работы с браузером внимание человека постепенно истощаются. Поскольку взаимодействие с интерфейсом остается телесно-когнитивным процессом, это проявляется в движениях руки: человек управляет курсором, тогда как агент действует через рассчитанные координаты. Исследования движения зрачков показывают, что при анализе сайта человек переводит внимание между отдельными фрагментами и заголовками, возвращается к сложным участкам и сравнивает варианты. Агент, напротив, видит сразу всю страницу и преобразует ее в текстовое представление, поэтому ему не требуется последовательно задерживать внимание на смысловых и визуально сложных элементах.
Отличать агента от человека помогает метод маус-трекинга. В когнитивной психологии движение мыши отражает процесс принятия решения: сомнения и конфликт между вариантами проявляются в кривизне траектории, замедлении и задержке движения курсора. Действия агента показывают уже готовый результат выбора, поскольку после вычисления ответа курсор сразу перемещается в нужную точку страницы.
Чтобы системы защиты браузеров могли различать людей и агентов, инженеры используют знания когнитивной психологии в поведенческой биометрии. Такой подход анализирует движения мыши, скорость прокрутки страницы и ритм клавиатурного ввода. Однако агенты уже умеют печатать посимвольно, делать паузы и даже имитировать ошибки, поэтому их обнаружение постепенно превращается в соревнование между двумя ИИ-системами: одна копирует человеческое поведение, а другая пытается распознать его искусственное происхождение.
Защита данных от ИИ-агентов
ИИ-агенты создают новую угрозу: они могут действовать внутри уже авторизованного аккаунта и выполнять команды, которых пользователь не давал. Кибермошенники используют атаку типа косвенной промпт-инъекции — размещают на сайте замаскированную инструкцию для нейросети.
Исследования показывают, что содержимое веб-страницы может отклонить агента от первоначальной цели и заставить его следовать чужой инструкции. Например, во время покупки билета агент может принять вредоносный текст (промпт) за продолжение задачи и украсть платежные данные пользователя.
Чтобы противостоять подобным схемам, компании будут внедрять многоуровневую защиту. Сначала система подтвердит личность человека, например с помощью криптографии конкретной финансовой операции. Затем она проверит самого агента как отдельного цифрового субъекта с ограниченными полномочиями: специальные токены смогут задавать срок действия, допустимую сумму, тип операции, а при выходе за эти границы операции будут прерываться. Наконец, система сопоставит намерение пользователя с фактическими действиями агента, чтобы даже идентифицированная нейросеть с действующим разрешением не могла отклониться от поставленной цели.
Какое будущее нас ждет?
Компаниям все чаще приходится интегрировать знания когнитивных наук в архитектуру технологических решений, поскольку нейросети уже способны влиять на решения пользователей. Например, с помощью управляемой рефлексии: чат-бот задает вопросы, которые помогают человеку проверить собственные рассуждения. Этот принцип восходит к сократическому диалогу и используется в когнитивно-поведенческой психотерапии.
В серии экспериментов обнаружили, что, если модель систематически преувеличивает угрозу, негатив или социальную предвзятость, пользователь со временем начинает оценивать ситуацию похожим образом. Затем человеческие реакции используются как новые данные для обучения нейросетей, из-за чего первоначальное искажение со временем усиливается. При разработке ИИ важно учитывать то, как технология меняет восприятие и решения человека.Поэтому со временем будут появляться новые профессии. Так, аналитический центр Cognizant, изучающий будущее труда, спрогнозировал появление таких специалистов, как менеджер по взаимодействию человека и машины, который будет создавать новые сценарии взаимодействия, распределять ответственность и разрабатывать понятные интерфейсы между человеком и технологией, и аудитор алгоритмических искажений, который будет проверять, воспроизводит ли система дискриминацию, когнитивные ошибки или искажения, содержащиеся в данных.
Источник новости: hi-tech.mail.ru
