Google открыла доступ к технологии SynthID Text, которая позволяет добавлять водяные знаки в текст, сгенерированный ИИ, и распознавать его. Инструмент доступен для скачивания на платформе Hugging Face, а также через обновлённый Responsible GenAI Toolkit. Компания объявила, что исходный код SynthID Text теперь открыт для всех разработчиков и компаний, чтобы они могли лучше идентифицировать ИИ-контент.Как работает SynthID Text?
Когда пользователь вводит запрос, например «Какой ваш любимый фрукт?», ИИ-модель предсказывает, какие слова (или токены) будут следовать друг за другом. Эти токены представляют собой базовые единицы текста — отдельные символы или слова. Модель присваивает каждому токену вероятность появления в результате, и на основе этого предсказания формируется текст. SynthID Text добавляет информацию в распределение этих вероятностей, корректируя их, чтобы встроить водяной знак.
По сути, набор вероятностей, которые использует модель при выборе слов, является своеобразным «водяным знаком». Затем эти скорректированные значения сравниваются с ожидаемыми значениями для текста с водяным знаком и без него. Это помогает инструменту определить, был ли текст сгенерирован ИИ или получен из других источников.Преимущества и ограничения
Google заявляет, что SynthID Text, встроенный в модели Gemini, не ухудшает качество, точность или скорость генерации текста. Технология работает даже с изменённым текстом — например, если текст был обрезан или перефразирован.
Тем не менее, инструмент имеет ограничения. SynthID Text хуже справляется с короткими текстами, переводами с других языков и ответами на фактические вопросы. Это связано с тем, что для таких ответов, как «Какая столица Франции?», существует единственный правильный ответ — «Париж», и корректировать распределение токенов в таких случаях сложнее, не нарушая точности.
Google — не единственная компания, работающая над подобными технологиями. OpenAI также исследует методы водяных знаков, но откладывает их выпуск из-за различных технических и коммерческих соображений.
Технологии водяных знаков могут помочь снизить количество ошибок, связанных с так называемыми «детекторами ИИ», которые часто ошибочно помечают эссе и статьи, написанные людьми, как созданные ИИ. Но пока неясно, будет ли какой-то стандарт или технология принята повсеместно.
Источник
Источник новости: habr.com
