Четверть психологических исследований назвали статистически недоcтоверными

Томас Байес (1701-1761), на работах которого основан байесовский подход к оценке достоверности
Томас Байес (1701-1761), на работах которого основан байесовский подход к оценке достоверности

Специалист по статистике из США нашел способ единообразно оценивать достоверность научных исследований. Это позволило ему сделать вывод о том, что один из наиболее часто применяемых критериев правильности результатов на самом деле не является столь уж корректным. По оценкам профессора Валена Джонсона, до четверти работ по психологии, использовавших самый распространенный критерий достоверности, могут содержать ложные выводы. Подробности приведены в журнале Proceedings of the National Academy of Sciences, а кратко о выкладках исследователя пишет Nature News.

Работа Джонсона посвящена сравнению двух способов оценить достоверность выводов в научном исследовании. Профессор Техасского университета A&M (TAMU) обратил внимание на то, что обычно ученые используют либо вероятностный, либо байесовский подходы, но стандартного способа сопоставить их между собой до сих пор не было. Причем отсутствие такого сопоставления было обусловлено тем, что вероятностные и байесовские оценки представляют собой ответы на два разных вопроса.

В случае с вероятностным подходом ученый, получивший в своих наблюдениях численные данные, задается вопросом о вероятности получить точно такие же данные в случае, когда результат на самом деле случаен (то есть искомой закономерности в данных нет). Достоверными в области биологии, психологии и ряда иных дисциплин считаются результаты, характеризуемые вероятностью p<0,05: эта запись означает, что вероятность случайного результата составляет не более пяти процентов.

Байесовский подход основан на ином вопросе. Исследователи, которые используют его в своих работах, оценивают вероятность получить те данные, которые они получили, в случае когда их модель верна. Затем эту вероятность сравнивают с шансами получить такие же данные в случае, когда верна альтернативная модель. Отношение указанных вероятностей (обозначаемое символом K) в таком случае получается критерием достоверности. Если K меньше трех, то о достоверности говорить не приходится, а вот K>100 говорит об очень высокой достоверности.Причем, что подчеркивается статистиками, альтернативная модель вовсе не обязана быть гипотезой о случайности результатов. Корректность выбора альтернативной модели в каждом случае следует оговаривать особо. Напрямую сравнивать достоверности, полученные вероятностным и байесовским подходом (то есть «p<0,05» и «K=5,25») было нельзя.

Джонсон предложил специальный статистический тест, который во многих случаях позволяет сравнить обе оценки друг с другом. Кроме того, ученый обратился к материалам 855 предыдущих исследований, опубликованных психологами в 2007 году в двух разных журналах: Psychonomic Bulletin & Review и Journal of Experimental Psychology: Learning, Memory and Cognition. Расчеты показали, что в большинстве случаев наиболее распространенная «достаточная» достоверность на уровне p<0,05 соответствует лишь байесовской оценке на уровне около 5, а это считается достаточно маленьким значением. По оценкам Джонсона подобные просчеты могут примерно в 17-25 процентах случаев (из числа работ, основанных на пятипроцентном вероятностном критерии) приводить к неверным выводам: ученые сообщат о наличии закономерности там, где ее на самом деле нет. Исследователь подчеркивает, что плохая статистика может быть одной из главных причин невоспроизводимости научных работ: опережая подлоги и ошибки в ходе самого эксперимента.

Чтобы защитить добросовестных ученых от подобных ложных выводов, специалист по статистике предлагает пересмотреть общепринятую договоренность о том, какие же результаты считать значимыми. По мнению Джонсона, даваемое вероятностным подходом значение 0,05 надо снизить до 0,005: его анализ показывает, что работы с p<0,005 почти наверняка выдержат дополнительные проверки. За рост точности, по словам ученого, придется платить увеличением количества измерений и удорожанием опытов, но приложенные к его статье расчеты говорят об окупаемости подобных расходов. Объем опытной работы вырастет меньше, чем вдвое, а доля ошибочных выводов упадет примерно с 20 до 4 процентов, то есть в пять раз.

За последние несколько лет из публикации отзывались статьи даже нобелевских лауреатов, причем такие случаи обусловлены несколькими причинами: от небрежности при проведении опытов или мошенничества до ошибок, подобных тем, что разобраны Джонсоном. Именно в психологии кризис воспроизводимости приобрел наибольшие масштабы (подробнее об этом можно прочитать в обзорной заметке Nature или в материале New Yorker).

Обсудить
Наука и техника
 — 
00:03 28 марта 2017

Красный — новый черный

Зачем люди скупают допотопные компьютеры и свитеры Apple
Наука и техника
 — 
00:02 Сегодня

Фарту масти

Как простые русские парни становятся легендами киберспорта
Обреченный на разрушение
Как живется людям на исчезающем острове в городской черте Архангельска
Петр Лидов-Петровский: «Послужите! Людьми станете»
Стоит ли сегодня уклоняться от призыва в российскую армию
«Движуха, которой раньше не было»
Что стоит за протестной активностью юных россиян
Владимир Путин и Хасан РуханиНе союзники, но партнеры
Рухани привез в Москву соглашения на миллиарды долларов
Два года для развода
Сколько времени понадобится Британии, чтобы выйти из ЕС
Displaced people from the minority Yazidi sect, fleeing violence from forces loyal to the Islamic State in Sinjar town, walk towards the Syrian border, on the outskirts of Sinjar mountain, near the Syrian border town of Elierbeh of Al-Hasakah Governorate August 11, 2014. Islamic State militants have killed at least 500 members of Iraq's Yazidi ethnic minority during their offensive in the north, Iraq's human rights minister told Reuters on Sunday. The Islamic State, which has declared a caliphate in parts of Iraq and Syria, has prompted tens of thousands of Yazidis and Christians to flee for their lives during their push to within a 30-minute drive of the Kurdish regional capital Arbil. Picture taken August 11, 2014. REUTERS/Rodi Said (IRAQ - Tags: POLITICS CIVIL UNREST TPX IMAGES OF THE DAY) FOR BEST QUALITY IMAGE ALSO SEE: GM1EA8M1B4V01Дважды отверженные
Почему от женщин, вырвавшихся из плена боевиков, отворачивается общество
Больно, но полезно
Китай готовится к реформе госкорпораций, чреватой социальным взрывом
Participants attend a gay pride parade in central Istanbul June 30, 2013. Tens of thousands of anti-government protesters teamed up with a planned gay pride march in Istanbul. Crowds were stopped by riot police from entering Taksim, the centre of previous protests, but the atmosphere appeared peacefulОпасное интернет-проникновение
Грозит ли подъем геев-мусульман исламскому миру
Цель — premium
«Дочка» Hyundai — Genesis — презентовала новую модель
Мясо по-бразильски
Чем для российского рынка обернется скандал с некачественной южноамериканской говядиной
Диалектика «Платона»
Как система взимания платы становится инструментом борьбы с поборами на дорогах
Небо Индокитая
Что принесет России LIMA 2017
Как оформлялась сталь
Какие новшества готовит Росгвардия для российских владельцев стволов
Не уберегли
Как в изоляторах погибают ключевые свидетели по антикоррупционным процессам
Срисовали
Как разоблачили банду, охотившуюся на картины знаменитых художников
Красный — новый черный
Зачем люди скупают допотопные компьютеры и свитеры Apple
Фарту масти
Как простые русские парни становятся легендами киберспорта
Замороженная стволовая клетка человека Внутренние бомбы
Как клеточный суицид помогает против рака и старости
«Клетка»Приятного аппетита
Как балерины Большого театра убили и съели всех мужчин труппы
Глубины глубинки
Редкие картины русского авангарда на выставке «До востребования. Часть II»
Неиллюзорная красота
Как постичь тайны мироздания через женские формы
Михаил Айзенберг: Вне образа и подобия
Культура как способ существования
«Митинги обсуждают покруче, чем Диану Шурыгину»
Администратор «Двача» о нравах и протестных настроениях современных подростков
Поставщик мемов
Как психованный актер сражается с могущественной армией интернет-троллей
«Белые не хотят, чтобы мы размножались»
Почему чернокожие националисты хотят вернуть себе технологии пришельцев
Катя Клэп«Ты же девушка, сиди дома и вари борщи»
Как самые популярные женщины Рунета противостоят ненавидящим их школьникам
Первый тест премиального «корейца» Genesis
Смог ли обновленный Genesis G80 догнать «немецкую тройку»? Спойлер: нет
Тест: когда появились «поворотники» и ночное видение?
Непроходимый тест на знание истории… автомобиля!
Место, где живут мозги
Как выглядят штаб-квартиры известнейших автомобильных компаний
Невспаханная «Нива»
12 модификаций легендарного внедорожника, о которых вы не знали
Талант расправил плечи
Лучшие архитектурные проекты 2017 года: от города в пустыне до термальных ванн
Адская машина
Ученые и урбанисты придумали, что делать с заполонившими города автомобилями
«Если у тебя нет любовника, квартире взяться неоткуда»
Исповедь россиянки, ставшей ипотечницей в 20 лет
Тариф «Хватит»
За услуги ЖКХ можно платить в разы меньше