Исследователи решили проверить, как работает индекс цитируемости и индекс Хирша в Google Scholar. В качестве автора для статей они использовали кота одного из участников эксперимента по имени Ларри. В итоге «Ларри Ричардсон» благодаря грамотно написанному скрипту стал «самым цитируемым академиком» в мире.
Один из исследователей, Ник Уайз, увидел рекламу, предлагающую увеличить количество цитирований и индекс Хирша в профиле Google Scholar. Покупатели такой рекламы купили от 50 до 500 цитат каждый. Из 18 клиентов у 11 были активные профили Google Scholar. Почти все они были связаны с индийскими университетами. Хотя в рекламе также упоминалась Scopus, исследователи не нашли доказательств того, что количество цитирований на этой площадке также растёт.
Исследователи обнаружили, что клиентов цитировали десятки статей в одном и том же подозрительном журнале. Вероятно, это были статьи, авторство которых компания продала.
Проверка цитирований выявила десятки статей за авторством якобы Пифагора, Галилея и других. Статьи не были опубликованы ни в одном журнале или на сервере препринтов, а только загружены в виде PDF-файлов в ResearchGate. Затем они были удалены из ResearchGate, но Google Scholar сохранил их в индексе. Хотя тезисы содержат текст, соответствующий их названиям, остальная часть статьи обычно представляла собой «математическую тарабарщину». Исследователи поняли, что эти статьи были созданы программой Mathgen.
Тогда они смогли составить скрипт для повышения цитируемости:
автоматически сгенерируйте несколько бессмысленных статей с помощью Mathgen;
вставьте цитаты в несколько статей клиента в случайном месте;
загрузите эти статьи в ResearchGate;
подождите, пока Google Scholar проиндексирует статьи и их цитаты;
удалите статьи из ResearchGate.
Затем они решили опробовать свою схему. Они вспомнили историю, когда Джек Х. Хетерингтон добавил своего сиамского кота по имени Честер в качестве соавтора статьи по физике. С того времени у Честера накопилось 107 цитирований в Google Scholar. Исследователи решили превысить эту планку.
Они создали 12 статей с помощью Mathgen с Ларри Ричардсоном в качестве единственного автора. Затем они сгенерировали ещё 12 статей, автором которых он не являлся, отредактировав документ каждой так, чтобы в ней цитировались все первые 12 статей Ларри. В итоге получилось 144 цитаты с индексом Хирша, равным 12.
Затем материалы загрузили в ResearchGate под одним профилем. Для Ларри выбрали псевдоним Northwestern.edu, который перенаправлял почту на существующую учётную запись одного из исследователей. После этого Ларри добавили в качестве автора статей с цитатами вручную. Когда Google Scholar проиндексировал эти статьи и их цитаты, кот Ларри стал самым цитируемым котом в истории со 132 цитированиями. Одна статья по каким-то причинам проиндексирована не была.
Исследователи отмечают, что если всего за час работы они смогли добиться такого результата, то можно сделать вывод, насколько Google Scholar уязвим для манипуляций. Они считают, что в оценке исследований стоит отказаться от количественных показателей, таких как количество цитирований, импакт-фактор и индекс Хирша.
В 2012 году вымышленный профессор Marcie Rathke из несуществующего Университета Южной Северной Дакоты отправил статью в научный журнал Advances in Pure Mathematics. Статья под названием «Независимые, отрицательные, канонические стрелы Тьюринга в уравнениях и задачах прикладной формальной PDE» (pdf) сопровождалась аннотацией: «Пусть ρ = A. Возможно ли расширить область изоморфизма? Мы показываем, что D′ является стохастически ортогональным и тривиально-аффинным соответствием. В [10], основным результатом стала конструкция множества Кардано, функции Эрдёша, Вейля, что может пролить важный свет на гипотезу Конвея-Д’Аламбера». И аннотация, и текст, и список литературы в этой «научной статье» были сгенерированы программой Mathgen, которую написал математик Натан Элдридж. Он заявил, что статью в итоге приняли для публикации.
Источник новости: habr.com
