Бумажные версии журналов Journal of Bone and Joint Surgery. Фото пользователя duncan, размещенное на сервисе Flickr

У научных журналов нашли предубеждение против работ с отрицательными результатами

Рецензенты научных журналов отдают предпочтение работам, в которых рассказывается о положительных результатах. К такому выводу пришел американский врач из университета Вашингтона Сет Леопольд (Seth Leopold), который провел необычный эксперимент. Он отослал в научные журналы практически идентичные статьи, отличающиеся только выводами. О результатах опыта Леопольда пишет портал Nature News.

Обе работы были выдуманы от начала и до конца. В статьях Леопольд сравнивал две стратегии применения антибиотиков у больных, которым предстоит операция. Все тесты и клинические испытания были "проведены" на очень высоком уровне со всеми необходимыми контролями. В первой статье "авторы" приходили к выводу, что одна из стратегий является более эффективной, а во второй не нашли преимуществ ни у одной из них.

Со статьями Леопольда ознакомились около сотни рецензентов журнала Journal of Bone and Joint Surgery. Каждый из них читал только один из вариантов исследования. В итоге статью с положительными результатами одобрило к публикации 98 процентов из видевших ее рецензентов. Для второй статьи эта цифра составила 71 процент. При этом претензий к разделу "Методы", который был одинаковым в обеих работах, у рецензентов "плохого" варианта было намного больше, чем у рецензентов "хорошего".

Для дополнительной проверки влияния результатов статьи на экспертную оценку Леопольд внес в свои статьи пять несущественных ошибок (например, в одном месте цифры в тексте и в сводной таблице не соответствовали друг другу). Каждый рецензент статьи с положительными результатами в среднем замечал 0,3 ошибки. Рецензенты, читавшие вторую статью, находили по 0,7 ошибки каждый.

Леопольд полагает, что полученные им результаты свидетельствуют о предвзятом отношении рецензентов. Несмотря на профессионализм, все они являются людьми и хотят, чтобы лекарства работали и помогали.

Леопольд также отправил свои статьи в другой журнал - Clinical Orthopedics and Related Research, однако результаты эксперимента не позволили делать статистически достоверных выводов. Автор полагает, что рецензенты могли догадаться, что с работами не все "чисто". С другой стороны, провал второго опыта может свидетельствовать о том, что на оценку рецензентов влияют какие-то еще факторы помимо выводов, делаемых в статьях.

Опыты с фальшивыми статьями, подобные тому, который провел Леопольд, вызывают неоднозначную реакцию научного сообщества. Некоторые исследователи считают, что такие методы в принципе неприменимы в науке. Дискуссии по этому поводу в России разгорелись после эпизода с Корчевателем. Подробно об этой истории Ленте.Ру рассказал ее автор Михаил Гельфанд.

Ссылки по теме
- Sneak test shows positive-paper bias - Nature News, 14.09.2009
- Научный журнал принял написанную компьютером бессмысленную статью – Lenta.ru, 16.06.2009
- Опубликовавший псевдонаучную статью журнал исключен из списка ВАК – Lenta.ru, 22.10.2008
- Компьютерная программа обманула научный журнал с помощью корчевателя – Lenta.ru, 01.10.2008