Четверть психологических исследований назвали статистически недоcтоверными

Томас Байес (1701-1761), на работах которого основан байесовский подход к оценке достоверности
Томас Байес (1701-1761), на работах которого основан байесовский подход к оценке достоверности

Специалист по статистике из США нашел способ единообразно оценивать достоверность научных исследований. Это позволило ему сделать вывод о том, что один из наиболее часто применяемых критериев правильности результатов на самом деле не является столь уж корректным. По оценкам профессора Валена Джонсона, до четверти работ по психологии, использовавших самый распространенный критерий достоверности, могут содержать ложные выводы. Подробности приведены в журнале Proceedings of the National Academy of Sciences, а кратко о выкладках исследователя пишет Nature News.

Работа Джонсона посвящена сравнению двух способов оценить достоверность выводов в научном исследовании. Профессор Техасского университета A&M (TAMU) обратил внимание на то, что обычно ученые используют либо вероятностный, либо байесовский подходы, но стандартного способа сопоставить их между собой до сих пор не было. Причем отсутствие такого сопоставления было обусловлено тем, что вероятностные и байесовские оценки представляют собой ответы на два разных вопроса.

В случае с вероятностным подходом ученый, получивший в своих наблюдениях численные данные, задается вопросом о вероятности получить точно такие же данные в случае, когда результат на самом деле случаен (то есть искомой закономерности в данных нет). Достоверными в области биологии, психологии и ряда иных дисциплин считаются результаты, характеризуемые вероятностью p<0,05: эта запись означает, что вероятность случайного результата составляет не более пяти процентов.

Байесовский подход основан на ином вопросе. Исследователи, которые используют его в своих работах, оценивают вероятность получить те данные, которые они получили, в случае когда их модель верна. Затем эту вероятность сравнивают с шансами получить такие же данные в случае, когда верна альтернативная модель. Отношение указанных вероятностей (обозначаемое символом K) в таком случае получается критерием достоверности. Если K меньше трех, то о достоверности говорить не приходится, а вот K>100 говорит об очень высокой достоверности.Причем, что подчеркивается статистиками, альтернативная модель вовсе не обязана быть гипотезой о случайности результатов. Корректность выбора альтернативной модели в каждом случае следует оговаривать особо. Напрямую сравнивать достоверности, полученные вероятностным и байесовским подходом (то есть «p<0,05» и «K=5,25») было нельзя.

Джонсон предложил специальный статистический тест, который во многих случаях позволяет сравнить обе оценки друг с другом. Кроме того, ученый обратился к материалам 855 предыдущих исследований, опубликованных психологами в 2007 году в двух разных журналах: Psychonomic Bulletin & Review и Journal of Experimental Psychology: Learning, Memory and Cognition. Расчеты показали, что в большинстве случаев наиболее распространенная «достаточная» достоверность на уровне p<0,05 соответствует лишь байесовской оценке на уровне около 5, а это считается достаточно маленьким значением. По оценкам Джонсона подобные просчеты могут примерно в 17-25 процентах случаев (из числа работ, основанных на пятипроцентном вероятностном критерии) приводить к неверным выводам: ученые сообщат о наличии закономерности там, где ее на самом деле нет. Исследователь подчеркивает, что плохая статистика может быть одной из главных причин невоспроизводимости научных работ: опережая подлоги и ошибки в ходе самого эксперимента.

Чтобы защитить добросовестных ученых от подобных ложных выводов, специалист по статистике предлагает пересмотреть общепринятую договоренность о том, какие же результаты считать значимыми. По мнению Джонсона, даваемое вероятностным подходом значение 0,05 надо снизить до 0,005: его анализ показывает, что работы с p<0,005 почти наверняка выдержат дополнительные проверки. За рост точности, по словам ученого, придется платить увеличением количества измерений и удорожанием опытов, но приложенные к его статье расчеты говорят об окупаемости подобных расходов. Объем опытной работы вырастет меньше, чем вдвое, а доля ошибочных выводов упадет примерно с 20 до 4 процентов, то есть в пять раз.

За последние несколько лет из публикации отзывались статьи даже нобелевских лауреатов, причем такие случаи обусловлены несколькими причинами: от небрежности при проведении опытов или мошенничества до ошибок, подобных тем, что разобраны Джонсоном. Именно в психологии кризис воспроизводимости приобрел наибольшие масштабы (подробнее об этом можно прочитать в обзорной заметке Nature или в материале New Yorker).

Обсудить
«Среди нескольких тысяч рак найдут у одного»
Почему в России не работает система ранней диагностики онкозаболеваний
Включили аварийку
После закрытия свалки в Балашихе Путин приехал в удмуртский барак
Максим МарцинкевичДевять друзей Тесака
О судьбе общественно полезного националистического движения и его «знаменосца»
«Послать на хер — это не на фиг»
Филолог Анатолий Баранов о том, почему не следует запрещать матерные слова
Дональд ТрампНесвобода вместо свободы
Что стоит за новым охлаждением отношений США и Кубы
Останки Карлоса КастаньоРоман с кокаином
В Колумбии ультраправые наркокартели невероятно жестоко расправляются с леваками
Ни поплавать, ни поездить
Самые странные санкции и неожиданные проблемы из-за них
Богемская рапсодия
Жертвоприношения, ритуалы и пьянство в самом закрытом мужском клубе США
Цена ошибки
Неправильно понятая депеша стала причиной начала Корейской войны
A Coptic Orthodox priest uses his iPhone before conducting a prayer for the relatives of the victims who died after Saturday's bomb attack, in a house in Alexandria January 3, 2011. The bomb killed 21 people outside a Coptic Orthodox Christian church early on New Year's Day and a security source said seven people have been held for questioning. REUTERS/Asmaa Waguih (EGYPT - Tags: RELIGION CIVIL UNREST IMAGES OF THE DAYТелефон Иисуса
Какими правдами и неправдами Apple заставила людей покупать iPhone
Лунный корабль Л3 (в головной части) на пути к спутнику Земли (в представлении художника)Дорого и сердито
Украина распродает Китаю советские лунные технологии
На поверхности Венеры (в представлении художника)Русская планета
Объяснены аномальные результаты советской миссии к Венере
Рыбку жалко
Раскрыта причина вымирания гигантских морских чудовищ
«Украина — священная земля»
Певица Луна о музыкальной революции в Киеве и нежелании жить как Эми Уайнхаус
Труба и архангелы
Ради чего стоит поехать на фестиваль «Усадьба Jazz»
Вим Вендерс«Я по нотам не читаю»
Вим Вендерс о том, зачем в 71 год поставил свою первую оперу
Одинокая ведьма желает познакомиться
ММКФ-2017: женские чары и мужские неврозы в американском независимом кино
Летнего позитива пост
Самые популярные снимки Instagram за июнь
Подвинься, миллениал
Пессимистичные оптимисты: что мы знаем о поколении иксенниалов?
Девушка с веслом
Как мужчина оказался первой женщиной-гондольером в Венеции
 reaches up to the sky during the summer solstice at Stonehenge, near Salisbury in England, Tuesday, June 21, 2011. The ancient stone circle of Stonehenge is a World Heritage Site erected between approximately 3000BC and 1600BC and despite years of research the reason behind its construction remains a mystery. The summer solstice in the northern hemisphere occurs annually on June 21 and is the time at which the sun is at its northernmost point in the sky.Меч и мотоцикл
Зачем тысячи ведьм и друидов собрались возле Стоунхенджа
Тест УАЗ Пикап, VW Amarok и Fiat Fullback
Маленький триумф больших машин, или странное путешествие к странному озеру
Ралли старинных машин
Фотографии с московской гонки классических автомобилей
Тюнинг бюджетных тачек
У вас «Логан»? Не отчаивайтесь — и его можно сделать очень крутым
5 фактов об универсале Lada Vesta
Все, что пока известно о двух новых модификациях «Весты»
Вите надо выйти
Соседи несколько лет травят москвича, который отказывается переселяться
Без свидетелей
Дома для тех, кто ненавидит соседей
Москва за нами
Какие квартиры можно купить в пределах МКАД по цене до трех миллионов рублей
Классовая борьба
На смену дешевым квартирам в Москве пришел новый вид жилья
Да катитесь вы
Семейная пара отказалась от квартиры и поселилась в автобусе