Четверть психологических исследований назвали статистически недоcтоверными

Томас Байес (1701-1761), на работах которого основан байесовский подход к оценке достоверности
Томас Байес (1701-1761), на работах которого основан байесовский подход к оценке достоверности

Специалист по статистике из США нашел способ единообразно оценивать достоверность научных исследований. Это позволило ему сделать вывод о том, что один из наиболее часто применяемых критериев правильности результатов на самом деле не является столь уж корректным. По оценкам профессора Валена Джонсона, до четверти работ по психологии, использовавших самый распространенный критерий достоверности, могут содержать ложные выводы. Подробности приведены в журнале Proceedings of the National Academy of Sciences, а кратко о выкладках исследователя пишет Nature News.

Работа Джонсона посвящена сравнению двух способов оценить достоверность выводов в научном исследовании. Профессор Техасского университета A&M (TAMU) обратил внимание на то, что обычно ученые используют либо вероятностный, либо байесовский подходы, но стандартного способа сопоставить их между собой до сих пор не было. Причем отсутствие такого сопоставления было обусловлено тем, что вероятностные и байесовские оценки представляют собой ответы на два разных вопроса.

В случае с вероятностным подходом ученый, получивший в своих наблюдениях численные данные, задается вопросом о вероятности получить точно такие же данные в случае, когда результат на самом деле случаен (то есть искомой закономерности в данных нет). Достоверными в области биологии, психологии и ряда иных дисциплин считаются результаты, характеризуемые вероятностью p<0,05: эта запись означает, что вероятность случайного результата составляет не более пяти процентов.

Байесовский подход основан на ином вопросе. Исследователи, которые используют его в своих работах, оценивают вероятность получить те данные, которые они получили, в случае когда их модель верна. Затем эту вероятность сравнивают с шансами получить такие же данные в случае, когда верна альтернативная модель. Отношение указанных вероятностей (обозначаемое символом K) в таком случае получается критерием достоверности. Если K меньше трех, то о достоверности говорить не приходится, а вот K>100 говорит об очень высокой достоверности.Причем, что подчеркивается статистиками, альтернативная модель вовсе не обязана быть гипотезой о случайности результатов. Корректность выбора альтернативной модели в каждом случае следует оговаривать особо. Напрямую сравнивать достоверности, полученные вероятностным и байесовским подходом (то есть «p<0,05» и «K=5,25») было нельзя.

Джонсон предложил специальный статистический тест, который во многих случаях позволяет сравнить обе оценки друг с другом. Кроме того, ученый обратился к материалам 855 предыдущих исследований, опубликованных психологами в 2007 году в двух разных журналах: Psychonomic Bulletin & Review и Journal of Experimental Psychology: Learning, Memory and Cognition. Расчеты показали, что в большинстве случаев наиболее распространенная «достаточная» достоверность на уровне p<0,05 соответствует лишь байесовской оценке на уровне около 5, а это считается достаточно маленьким значением. По оценкам Джонсона подобные просчеты могут примерно в 17-25 процентах случаев (из числа работ, основанных на пятипроцентном вероятностном критерии) приводить к неверным выводам: ученые сообщат о наличии закономерности там, где ее на самом деле нет. Исследователь подчеркивает, что плохая статистика может быть одной из главных причин невоспроизводимости научных работ: опережая подлоги и ошибки в ходе самого эксперимента.

Чтобы защитить добросовестных ученых от подобных ложных выводов, специалист по статистике предлагает пересмотреть общепринятую договоренность о том, какие же результаты считать значимыми. По мнению Джонсона, даваемое вероятностным подходом значение 0,05 надо снизить до 0,005: его анализ показывает, что работы с p<0,005 почти наверняка выдержат дополнительные проверки. За рост точности, по словам ученого, придется платить увеличением количества измерений и удорожанием опытов, но приложенные к его статье расчеты говорят об окупаемости подобных расходов. Объем опытной работы вырастет меньше, чем вдвое, а доля ошибочных выводов упадет примерно с 20 до 4 процентов, то есть в пять раз.

За последние несколько лет из публикации отзывались статьи даже нобелевских лауреатов, причем такие случаи обусловлены несколькими причинами: от небрежности при проведении опытов или мошенничества до ошибок, подобных тем, что разобраны Джонсоном. Именно в психологии кризис воспроизводимости приобрел наибольшие масштабы (подробнее об этом можно прочитать в обзорной заметке Nature или в материале New Yorker).

подписатьсяОбсудить
Ваши мечты не сбудутся
Почему «Газпром» заставляет ветеранов и многодетных родителей сносить свои дома
Беслан Мудранов и Владимир ПутинЛига чемпионов
Сколько бывшие олимпийцы зарабатывают в политике
«Если в тюрьму не попал — уже хорошо»
Профессор ВШЭ Исак Фрумин о школьной сегрегации и высшем образовании для всех
День ВМФ России в СевастополеСкажи мне, чей Крым
Каковы перспективы иска Украины по поводу воды вокруг Крыма
Землетрясение в центральной Италии
Погибли по меньшей мере 14 человек
Бегущий человек
Как граждане КНДР спасались от идей чучхе в СССР и Китае
Нелетная погода
Почему Иран разрешил, а потом запретил России использование базы Хамадан
Дональд Трамп и Пол МанафортПорочащие связи
Как работа с «Костей из ГРУ» подвела главу предвыборного штаба Трампа
Филип КрейвенПятое колесо
Почему российские спортсмены остались без Паралимпиады
Холодный фронт
Главные интриги стартующего чемпионата Континентальной хоккейной лиги
Вечный карнавал
Лучшие мгновения церемонии закрытия Олимпиады в Рио
Под звуки ливня
Церемония закрытия прошла, как и все Игры, — противоречиво и с пустыми трибунами
Осетинский блицкриг
Борец-вольник Сослан Рамонов выиграл для России последнее золото Олимпиады в Рио
«Все здесь сочувствуют Украине»
Уроженка Омска делится впечатлениями после переезда в Канаду
«Бесплатные вегетарианские хот-доги»«Убить всех веганов»
За что мясоеды не любят поклонников растительной диеты
Дикий, дикий райцентр
Фотоистория о жизни ковбоя из города Шуи
Весам назло
В мире набирает популярность йога для полных
Право на красоту
Сеть покоряют бьюти-блогеры с необычной внешностью
По ком звонят колокола?
Насколько интересным будет автошоу ММАС-2016: вещий тест
Острые крылышки
Как у автомобилей появились крылья и что такое диффузор — история аэродинамики
Миллионы на покупки
10 самых дорогих автомобилей аукционов прошедшего уикенда
Народный сбор
Длительный тест Mitsubishi L200: часть первая
Дно Олимпиады
Проблемы Рио похлеще допингов и переломов
«Я не позволяла себе ничего, каждая копейка уходила на кредит»
Рассказ россиянки, купившей не одну квартиру при зарплате в 40 тысяч рублей
Бабушкино наследство
Вся недвижимость кандидата в президенты США Хиллари Клинтон
Камерная дача
10 фактов о доме в Форосе, ставшем тюрьмой для Горбачева
До чего докатились
Как выглядят лица людей, съехавших с небоскреба