Согласно новому отчету Стэнфордского университета, компании, стоящие за ChatGPT и другими популярными и мощными системами искусственного интеллекта, недостаточно прозрачны в отношении своих обучающих данных и того, как они работают.
КОГДА OPENAI ОПУБЛИКОВАЛ подробности потрясающе функциональной языковой модели искусственного интеллекта GPT-4 , которая лежит в основе ChatGPT , в марте ее исследователи заполнили 100 страниц . Они также упустили несколько важных деталей — например, что-либо существенное о том, как это было на самом деле построено или как оно работает.
Конечно, это была не случайная оплошность. OpenAI и другие крупные компании стремятся сохранить тайну работы своих самых ценных алгоритмов, отчасти из-за страха, что технология может быть использована не по назначению, но также из-за опасений, что они дадут конкурентам преимущество.
Исследование, от исследователей Стэнфордского университета, показывает, насколько глубока и потенциально опасна секретность вокруг GPT-4 и других передовых систем искусственного интеллекта. Некоторые исследователи ИИ, с которыми я разговаривал, говорят, что мы переживаем фундаментальный сдвиг в подходах к развитию ИИ. Они опасаются, что это снижает вероятность достижения научных достижений в этой области, снижает ответственность и снижает надежность и безопасность.
Команда из Стэнфорда изучила 10 различных систем искусственного интеллекта, в основном крупные языковые модели, подобные тем, что лежат в основе ChatGPT и других чат-ботов. К ним относятся широко используемые коммерческие модели, такие как GPT-4 от OpenAI, аналогичный PaLM 2 от Google и Titan Text от Amazon. В отчете также были рассмотрены модели, предлагаемые стартапами, в том числе Jurassic-2 от AI21 Labs, Claude 2 от Anthropic, Command от Cohere и Inflection-1 от производителя чат-ботов Inflection .
И они изучили модели ИИ с «открытым исходным кодом», которые можно загрузить бесплатно, а не получить к ним доступ исключительно в облаке, включая модель генерации изображений Stable Diffusion 2 и Llama 2 , выпущенную Meta в июле этого года. (Как ранее писал WIRED, эти модели часто не настолько открыты , как может показаться.)
Команда из Стэнфорда оценивала открытость этих моделей по 13 различным критериям, в том числе по прозрачности разработчика в отношении данных, используемых для обучения модели — например, путем раскрытия того, как они были собраны и аннотированы и включают ли они материалы, защищенные авторским правом. В ходе исследования также рассматривалась информация об оборудовании, используемом для обучения и запуска модели, используемых программных платформах и энергопотреблении проекта.
По этим показателям исследователи обнаружили, что ни одна модель не достигла более 54 процентов по шкале прозрачности по всем этим критериям. В целом Titan Text от Amazon был признан наименее прозрачным, а Llama 2 от Meta — самым открытым. Но даже модель с «открытым исходным кодом», такая как Llama 2, оказалась весьма непрозрачной, поскольку Meta не раскрыла данные, использованные для ее обучения, то, как эти данные собирались и обрабатывались, или кто выполнял эту работу. Натан Штраусс, представитель Amazon, заявил, что компания внимательно изучает индекс. «Titan Text все еще находится в закрытой предварительной версии, и было бы преждевременно оценивать прозрачность базовой модели до того, как она будет доступна для широкой публики», — говорит он. Meta отказалась комментировать отчет Стэнфорда, а OpenAI не ответила на запрос о комментариях. Риши Боммасани , аспирант Стэнфорда, работавший над исследованием, говорит, что оно отражает тот факт, что ИИ становится все более непрозрачным, хотя и становится все более влиятельным. Это сильно контрастирует с последним большим бумом в области искусственного интеллекта, когда открытость способствовала значительному развитию возможностей, включая распознавание речи и изображений. «В конце 2010-х годов компании стали более прозрачными в своих исследованиях и публиковали гораздо больше», — говорит Боммасани. «Именно поэтому мы добились успеха в глубоком обучении». Стэнфордский отчет также предполагает, что модели не должны быть настолько секретными по соображениям конкуренции. Кевин Климан, политический исследователь из Стэнфорда, говорит, что тот факт, что ряд ведущих моделей получают относительно высокие оценки по различным показателям прозрачности, позволяет предположить, что все они могли бы стать более открытыми, не проиграв при этом конкурентам. Пока эксперты по ИИ пытаются выяснить, куда пойдет недавний расцвет определенных подходов к ИИ, некоторые говорят, что секретность рискует сделать эту область не научной дисциплиной, а скорее ориентированной на прибыль.
«Это поворотный момент в истории ИИ», — говорит Джесси Додж , научный сотрудник Института ИИ Аллена, или AI2. «Самые влиятельные игроки, создающие сегодня генеративные системы искусственного интеллекта, становятся все более закрытыми и не могут поделиться ключевыми деталями своих данных и своих процессов».
AI2 пытается разработать гораздо более прозрачную модель языка ИИ под названием OLMo . Его обучение проводится с использованием набора данных, полученных из Интернета, научных публикаций, кода, книг и энциклопедий. Этот набор данных, получивший название Dolma , был выпущен под лицензией AI2 ImpACT . Когда OLMo будет готов, AI2 планирует выпустить работающую систему искусственного интеллекта, а также лежащий в ее основе код, что позволит другим развивать проект.
Додж говорит, что расширение доступа к данным, лежащим в основе мощных моделей искусственного интеллекта, особенно важно. Без прямого доступа обычно невозможно узнать, почему и как модель может делать то, что она делает. «Развитие науки требует воспроизводимости», — говорит он. «Без предоставления открытого доступа к этим важнейшим строительным блокам создания моделей мы останемся в «закрытой», застойной и собственнической ситуации».
Учитывая, насколько широко используются модели искусственного интеллекта (и насколько опасными они могут быть, предупреждают некоторые эксперты), немного больше открытости может иметь большое значение.
Источник новости: habr.com
