Четверть психологических исследований назвали статистически недоcтоверными

Томас Байес (1701-1761), на работах которого основан байесовский подход к оценке достоверности
Томас Байес (1701-1761), на работах которого основан байесовский подход к оценке достоверности

Специалист по статистике из США нашел способ единообразно оценивать достоверность научных исследований. Это позволило ему сделать вывод о том, что один из наиболее часто применяемых критериев правильности результатов на самом деле не является столь уж корректным. По оценкам профессора Валена Джонсона, до четверти работ по психологии, использовавших самый распространенный критерий достоверности, могут содержать ложные выводы. Подробности приведены в журнале Proceedings of the National Academy of Sciences, а кратко о выкладках исследователя пишет Nature News.

Работа Джонсона посвящена сравнению двух способов оценить достоверность выводов в научном исследовании. Профессор Техасского университета A&M (TAMU) обратил внимание на то, что обычно ученые используют либо вероятностный, либо байесовский подходы, но стандартного способа сопоставить их между собой до сих пор не было. Причем отсутствие такого сопоставления было обусловлено тем, что вероятностные и байесовские оценки представляют собой ответы на два разных вопроса.

В случае с вероятностным подходом ученый, получивший в своих наблюдениях численные данные, задается вопросом о вероятности получить точно такие же данные в случае, когда результат на самом деле случаен (то есть искомой закономерности в данных нет). Достоверными в области биологии, психологии и ряда иных дисциплин считаются результаты, характеризуемые вероятностью p<0,05: эта запись означает, что вероятность случайного результата составляет не более пяти процентов.

Байесовский подход основан на ином вопросе. Исследователи, которые используют его в своих работах, оценивают вероятность получить те данные, которые они получили, в случае когда их модель верна. Затем эту вероятность сравнивают с шансами получить такие же данные в случае, когда верна альтернативная модель. Отношение указанных вероятностей (обозначаемое символом K) в таком случае получается критерием достоверности. Если K меньше трех, то о достоверности говорить не приходится, а вот K>100 говорит об очень высокой достоверности.Причем, что подчеркивается статистиками, альтернативная модель вовсе не обязана быть гипотезой о случайности результатов. Корректность выбора альтернативной модели в каждом случае следует оговаривать особо. Напрямую сравнивать достоверности, полученные вероятностным и байесовским подходом (то есть «p<0,05» и «K=5,25») было нельзя.

Джонсон предложил специальный статистический тест, который во многих случаях позволяет сравнить обе оценки друг с другом. Кроме того, ученый обратился к материалам 855 предыдущих исследований, опубликованных психологами в 2007 году в двух разных журналах: Psychonomic Bulletin & Review и Journal of Experimental Psychology: Learning, Memory and Cognition. Расчеты показали, что в большинстве случаев наиболее распространенная «достаточная» достоверность на уровне p<0,05 соответствует лишь байесовской оценке на уровне около 5, а это считается достаточно маленьким значением. По оценкам Джонсона подобные просчеты могут примерно в 17-25 процентах случаев (из числа работ, основанных на пятипроцентном вероятностном критерии) приводить к неверным выводам: ученые сообщат о наличии закономерности там, где ее на самом деле нет. Исследователь подчеркивает, что плохая статистика может быть одной из главных причин невоспроизводимости научных работ: опережая подлоги и ошибки в ходе самого эксперимента.

Чтобы защитить добросовестных ученых от подобных ложных выводов, специалист по статистике предлагает пересмотреть общепринятую договоренность о том, какие же результаты считать значимыми. По мнению Джонсона, даваемое вероятностным подходом значение 0,05 надо снизить до 0,005: его анализ показывает, что работы с p<0,005 почти наверняка выдержат дополнительные проверки. За рост точности, по словам ученого, придется платить увеличением количества измерений и удорожанием опытов, но приложенные к его статье расчеты говорят об окупаемости подобных расходов. Объем опытной работы вырастет меньше, чем вдвое, а доля ошибочных выводов упадет примерно с 20 до 4 процентов, то есть в пять раз.

За последние несколько лет из публикации отзывались статьи даже нобелевских лауреатов, причем такие случаи обусловлены несколькими причинами: от небрежности при проведении опытов или мошенничества до ошибок, подобных тем, что разобраны Джонсоном. Именно в психологии кризис воспроизводимости приобрел наибольшие масштабы (подробнее об этом можно прочитать в обзорной заметке Nature или в материале New Yorker).

Обсудить
Иллюстрация к испарению черной дырыСпорная дыра
Хокинг предложил новое описание черных дыр
Карающее воспитание
За что здоровых детей отправляли в сумасшедший дом
В Россию вернулся «Прогресс»
Кто виноват в падении «Прогресса» и почему это — приговор космической отрасли
Чужими молитвами
В Лос-Анджелесе наградили лучшие видеоигры и показали будущие бестселлеры
Четыре мужика в одной палатке
Какие прелести таит продолжение японской культовой ролевой игры Final Fantasy XV
Не за бесценок
Самые дорогие картины, проданные на аукционах Christie's за 250 лет
INDIO, CA - OCTOBER 14:  (L-R) Musician Keith Richards, singer Mick Jagger and musician Charlie Watts of The Rolling Stones perform during Desert Trip at the Empire Polo Field on October 14, 2016 in Indio, California.  (Photo by Kevin Winter/Getty Images)Че-то приуныли
Как The Rolling Stones записали первый альбом за 11 лет — возможно, и последний
«Великобритания не знает, относится ли она к Европе»
Даг Уоллас о русской и британской литературе и самосознании
Александра Ребенок и Игорь Верник в спектакле «350 Сентрал-парк Вест, New York, NY 10025»«В отчаянной попытке остаться вдовой»
Как Богомолов растерял театральность в спектакле по пьесе Вуди Аллена
Девочки или виденья
Кино недели с Денисом Рузаевым: от «Союзников» до «Плохого Санты 2»
Над законом
Как агенты ФБР помогали педофилам и взломали Tor
«Это кот или кошка в мешке. Надо вживую на людей смотреть»
Как найти себе пару и не стать жертвой мошенников на сайтах знакомств
BEVERLY HILLS, CA - OCTOBER 04:  Internet personality Casey Neistat accepts the First Person award onstage the 6th annual Streamy Awards hosted by King Bach and live streamed on YouTube at The Beverly Hilton Hotel on October 4, 2016 in Beverly Hills, California.  (Photo by Mike Windle/Getty Images for dick clark productions)Закрой канал, я ухожу
Почему интернет-звезды отказываются от миллионов и завязывают с YouTube
Владимир Познер«Я за сопротивление хамству, бескультурью и мракобесию»
Владимир Познер о духовных скрепах, байкере Хирурге и поиске национальной идеи
В небе над Атлантикой
Как совершить дальний перелет и остаться в живых
Дешево, но не сердито
Как выглядят лучшие хостелы России
Не просто терминал
Самые красивые аэропорты мира
Вот так фокус
Победители народного выбора фотоконкурса Wildlife Photographer of the Year
Характер нордический
В Эстонию за салакой, немецкой стариной и наследием Российской империи
В двух экземплярах
Они знамениты тем, что похожи на знаменитостей
Анастасия Белокопытова «Не считала, сколько трачу в месяц»
История уроженки Рязани, переехавшей в Австрию
Они так видят
Самые популярные фотографии Instagram за ноябрь
Тренируйся, как ангел
Чем занимаются топ-модели в спортзале
«Вы приехали»
Длительный тест Toyota Camry с «Яндекс.Навигатором»
Безумные трюки грузовиков Volvo
Самые необычные видеоролики с грузовиками Volvo
Выбираем лучший компактный седан
Длительный тест Octavia, Elantra, Corolla и Mazda3
Как полиция перехватывает машины
Полицейские лайфхаки или 8 инновационных способов остановить преступника
Конец близок
Уходящий 2016 год может стать последним для ипотеки
Лестница в ад
Неприглядная правда об интеллигентных обитателях центра Москвы
Да он упоротый просто
Самые странные дома мира в фотографиях из Instagram
Худо будет
Москвичи тратят миллионы на квартиры, в которых невозможно жить