Ученые показали ненадежность системы экспертной оценки научных работ

Обложка журнала Science - одного из самых престижных научных журналов

Ученые показали, что процесс экспертной оценки научных работ - основной инструмент их "пропуска" в журналы - является крайне ненадежным в силу человеческого фактора. Свои наработки исследователи выложили в архив электронных препринтов Корнельского университета. Коротко работа описана на сайте Physics World.

В современной научной практике критерием для публикации статьи в научном журнале является ее оценка несколькими экспертами в соответствующей области - они читают присланные в редакцию работы и выносят решение, опубликовать их, отвергнуть или отправить на доработку. Эта система не считается идеальной (например, есть мнение, что ей не хватает открытости), однако большинство ученых полагают, что она является достаточно объективной и в целом работает удовлетворительно.

Авторы новой работы решили проверить, насколько система экспертной оценки устойчива к такому фактору как недобросовестные эксперты. Ученые разработали модель, в которую включили пять типов экспертов: правильные (отклоняют плохие работы и принимают хорошие), альтруисты и мизантропы (соответственно принимают или отклоняют все работы), рационалисты (отклоняют работы, которые могут отвести внимание от их собственных исследований) и случайные (принимают решения случайным образом из-за нехватки квалификации или времени).

Исследователи рассматривали схему, когда каждая новая работа направляется на рассмотрение двум экспертам, случайно выбранным из общего пула (внутри экспертного сообщества все типы экспертов представлены согласно гауссовскому, или нормальному, распределению). Работа считалась опубликованной, если оба эксперта давали ей положительную оценку. Если один был против, вероятность публикации принималась за 0,5.

После того как ученые "прогнали" модель для 1000 публикаций, они выяснили, что даже небольшой процент рационалистов и/или случайных экспертов способен существенно ухудшить качество отбираемых работ. Когда соотношение рационалистов, правильных и случайных экспертов в пуле составляло 1:1:1, статьи к публикации принимались фактически по случайному принципу.

Полученные результаты указывают, что адекватность экспертной оценки чрезвычайно сильно зависит от состава экспертов. Один из издателей физического журнала New Journal of Physics, ознакомившийся с результатами новой работы, заявил, что авторы недооценивают роль редакции журнала в процессе отбора публикаций. Именно редакция решает, кому из экспертов направить ту или иную работу, и старается избежать ситуаций конфликта интересов (хотя иногда - например, в случае узкой тематики - полностью исключить такой вариант нельзя).

Это не первая работа, в которой подвергаются сомнению существующие методы оценки значимости научных работ. Ранее ученые неоднократно высказывали претензии к системе, ранжирующей работы по их цитируемости (ссылки на статьи в статьях других авторов). Впрочем, на сегодняшний день более удобного и объективного способа оценки не существует.

Обсудить
Наука и техника00:0225 сентября

Посыпали пеплом

Необратимая катастрофа навсегда изменит жизнь на Земле
Наука и техника00:0424 сентября

Порошок, уходи

Землю ждет вторжение инопланетян и уничтожение Солнца: обзор Destiny 2
01:4820 сентября
Арабы на выход: курды проголосовали за независимость
Референдум навсегда изменил Ближний Восток
Падший дьявол
Неуловимый наркобарон основал культ убийц и варил человеческие мозги в котле
Ангела Меркель Без свастик
Немецкие ультраправые впервые с 1945 года оказались у власти
«Увидел чеченца и понял — будут унижать»
Бежавший в Германию российский гей захотел дать эмиграции задний ход
Свобода для скотовода
В лучшем городе США изгнали политиков с полицейскими и погрязли в хаосе
Виталик БутеринСюрприз от Виталика
Кто убьет традиционную экономику
Пирамида изгоев
Кому выгодна смерть биткоина
День пенсионного единства
ПФР поднимает уровень знаний о пенсионной системе по всей России
Жить будем
Россияне обнищают, зато не умрут с голода
Посыпали пеплом
Необратимая катастрофа навсегда изменит жизнь на Земле
Порошок, уходи
Землю ждет вторжение инопланетян и уничтожение Солнца: обзор Destiny 2
Перед парадом вермахта и Красной армии в Бресте«Появилась бы "бандеровская Украина" под контролем Германии»
Зачем Сталин подружился с Гитлером и устроил парад Красной армии с вермахтом
Машины, которые вы никогда не увидите
7 ну очень редких машин, встретить которые в пробке практически невозможно
Тест: узнай машину без «одежды»
Попробуйте опознать автомобили, у которых нет кузовных панелей
Классическая история
Душевные ролики про самые красивые спорткары XX века
«Мерседес», выдыхай!
Как сделать седан S-класса намного шире и не вызвать ни у кого подозрений