OpenAI значительно сократила период тестирования безопасности для своих новейших языковых моделей. В то время как GPT-4 прошел шесть месяцев тестирования, у тестировщиков теперь есть всего несколько дней, чтобы оценить новую модель "o3". Люди, вовлеченные в процесс, сообщают о менее тщательном тестировании и недостаточных ресурсах, согласно отчету Financial Times.
Сокращение сроков происходит по мере того, как модели становятся более мощными и потенциально опасными, особенно в отношении неправильного использования в биологических или связанных с безопасностью целях. Источники говорят, что OpenAI хочет ускорить выпуски, чтобы не отставать от конкурентов, таких как Meta, Google и xAI.
Ранее OpenAI обязалась проводить специализированные тесты для проверки потенциального нецелевого использования, например, разработки биологического оружия. Эти процедуры требуют значительных ресурсов: пользовательских наборов данных, тонкой настройки и внешних экспертов. Однако Financial Times сообщает, что такое тестирование проводилось только на старых, менее эффективных моделях. Остается неясным, как новые модели, такие как o1 или o3-mini, будут работать в аналогичных условиях.
В отчете о безопасности o3-mini компания OpenAI упоминает только, что GPT-4o может решать конкретную биологическую задачу после тонкой настройки, но не приводит никаких результатов для более новых моделей.
Другая проблема касается тестирования «контрольных точек» — промежуточных версий моделей, которые продолжают разрабатываться. Бывший технический сотрудник называет это плохой практикой, хотя OpenAI утверждает, что эти контрольные точки почти идентичны окончательным моделям.
OpenAI указывает на повышение эффективности за счет автоматизированных процедур тестирования. Йоханнес Хайдеке, который руководит системами безопасности OpenAI, говорит, что они нашли хороший баланс между скоростью и тщательностью. Хотя нет стандартизированных требований к таким процессам, как тонкая настройка, компания заявляет, что следует передовым практикам и документирует их прозрачно.
В настоящее время не существует обязательных глобальных правил для тестирования безопасности AI. Такие компании, как OpenAI, взяли на себя только добровольные обязательства перед властями США и Великобритании. Это изменится, когда в этом году вступят в силу европейские правила AI, требующие от поставщиков официально оценивать свои самые мощные модели на предмет рисков.
Источник
Источник новости: habr.com
