Хотите видеть только хорошие новости?

Четверть психологических исследований назвали статистически недоcтоверными

Томас Байес (1701-1761), на работах которого основан байесовский подход к оценке достоверности
Томас Байес (1701-1761), на работах которого основан байесовский подход к оценке достоверности

Специалист по статистике из США нашел способ единообразно оценивать достоверность научных исследований. Это позволило ему сделать вывод о том, что один из наиболее часто применяемых критериев правильности результатов на самом деле не является столь уж корректным. По оценкам профессора Валена Джонсона, до четверти работ по психологии, использовавших самый распространенный критерий достоверности, могут содержать ложные выводы. Подробности приведены в журнале Proceedings of the National Academy of Sciences, а кратко о выкладках исследователя пишет Nature News.

Работа Джонсона посвящена сравнению двух способов оценить достоверность выводов в научном исследовании. Профессор Техасского университета A&M (TAMU) обратил внимание на то, что обычно ученые используют либо вероятностный, либо байесовский подходы, но стандартного способа сопоставить их между собой до сих пор не было. Причем отсутствие такого сопоставления было обусловлено тем, что вероятностные и байесовские оценки представляют собой ответы на два разных вопроса.

В случае с вероятностным подходом ученый, получивший в своих наблюдениях численные данные, задается вопросом о вероятности получить точно такие же данные в случае, когда результат на самом деле случаен (то есть искомой закономерности в данных нет). Достоверными в области биологии, психологии и ряда иных дисциплин считаются результаты, характеризуемые вероятностью p<0,05: эта запись означает, что вероятность случайного результата составляет не более пяти процентов.

Байесовский подход основан на ином вопросе. Исследователи, которые используют его в своих работах, оценивают вероятность получить те данные, которые они получили, в случае когда их модель верна. Затем эту вероятность сравнивают с шансами получить такие же данные в случае, когда верна альтернативная модель. Отношение указанных вероятностей (обозначаемое символом K) в таком случае получается критерием достоверности. Если K меньше трех, то о достоверности говорить не приходится, а вот K>100 говорит об очень высокой достоверности.Причем, что подчеркивается статистиками, альтернативная модель вовсе не обязана быть гипотезой о случайности результатов. Корректность выбора альтернативной модели в каждом случае следует оговаривать особо. Напрямую сравнивать достоверности, полученные вероятностным и байесовским подходом (то есть «p<0,05» и «K=5,25») было нельзя.

Джонсон предложил специальный статистический тест, который во многих случаях позволяет сравнить обе оценки друг с другом. Кроме того, ученый обратился к материалам 855 предыдущих исследований, опубликованных психологами в 2007 году в двух разных журналах: Psychonomic Bulletin & Review и Journal of Experimental Psychology: Learning, Memory and Cognition. Расчеты показали, что в большинстве случаев наиболее распространенная «достаточная» достоверность на уровне p<0,05 соответствует лишь байесовской оценке на уровне около 5, а это считается достаточно маленьким значением. По оценкам Джонсона подобные просчеты могут примерно в 17-25 процентах случаев (из числа работ, основанных на пятипроцентном вероятностном критерии) приводить к неверным выводам: ученые сообщат о наличии закономерности там, где ее на самом деле нет. Исследователь подчеркивает, что плохая статистика может быть одной из главных причин невоспроизводимости научных работ: опережая подлоги и ошибки в ходе самого эксперимента.

Чтобы защитить добросовестных ученых от подобных ложных выводов, специалист по статистике предлагает пересмотреть общепринятую договоренность о том, какие же результаты считать значимыми. По мнению Джонсона, даваемое вероятностным подходом значение 0,05 надо снизить до 0,005: его анализ показывает, что работы с p<0,005 почти наверняка выдержат дополнительные проверки. За рост точности, по словам ученого, придется платить увеличением количества измерений и удорожанием опытов, но приложенные к его статье расчеты говорят об окупаемости подобных расходов. Объем опытной работы вырастет меньше, чем вдвое, а доля ошибочных выводов упадет примерно с 20 до 4 процентов, то есть в пять раз.

За последние несколько лет из публикации отзывались статьи даже нобелевских лауреатов, причем такие случаи обусловлены несколькими причинами: от небрежности при проведении опытов или мошенничества до ошибок, подобных тем, что разобраны Джонсоном. Именно в психологии кризис воспроизводимости приобрел наибольшие масштабы (подробнее об этом можно прочитать в обзорной заметке Nature или в материале New Yorker).

Обсудить
«Смерть как священный долг»
Что такое правильная скорбь и можно ли говорить о мертвых не только хорошо
«Нечего надеяться на руководителей иностранных»
Как на съезде ЕР проигнорировали Трампа и расхватали гематоген
«Им такая жизнь в Москве милей, чем на родине»
Много ли надо бездомным, чтобы выжить в большом городе
«Пустая голова и тело без сердца»
Художник Олег Кулик о том, почему Ленина следует оставить как арт-объект
Сладкая сила
Завоюют ли российские продукты китайский рынок
Crips на похоронах Туки УильямсаЧерно-красные против черно-синих
Уличная война в Лос-Анджелесе и далее везде
Акция протеста во время инаугурации Дональда ТрампаПрезидент расколотой нации
В каких условиях в Вашингтоне прошла инаугурация Дональда Трампа
Грехи Трампа
Почему у нового президента США не будет спокойных 100 дней
«С той стороны люди не хотят воевать»
Беседа «Ленты.ру» с офицером внутренних войск ДНР из подразделения «Восток»
Рэкето-носители
Как была разгромлена державшая в страхе Вятку прокопьевская ОПГ
Наводящие мосты
Инженерные войска отмечают профессиональный праздник
Заложники ситуации
Зачем США разворачивают бригаду в Восточной Европе
Себастьян Фолкс«Я верил, что буду сражаться на третьей мировой войне»
Себастьян Фолкс об уроках истории и нестабильности человека
Парадокс акына
В чем прав лауреат Сталинской премии Джамбул
Период глобального помешательства
Катастрофы ХХ века в книгах Себастьяна Фолкса
«Убийбийствие не есть верно, сказал Мертвый Отец»
Конфликт отца и детей на американский лад
Революционный держите шаг
В 2017 году в театре нас ждут большие потрясения
МадридЧертова дюжина
Россия открыла 13-й по счету национальный туристический офис
Обойдемся без «шенгена»
Как летать через Европу без визы
Праздник каждый день
Как Финляндия отметит столетие независимости
Медвежий угол
Невероятная Камчатка в фотографиях Владимира Медведева
Лица не увидать
Пользовательницы Instagram посвящают аккаунты своим пятым точкам
Асаны с бутылкой
Пиво, ругань и козлы делают йогу лучше
«Чтобы хорошо жить, деньги и в Азии нужны»
История йогини-вегетарианки из Санкт-Петербурга, перебравшейся на Бали
Дональд Трамп с женой Меланией и моделью Хайди Клум в 2008 годуБойкот по-голливудски
На инаугурации Трампа не будет звезд?
За сотку до центра?
Настоящие раритеты, заканчивающие жизнь в роли африканского такси
Тест-драйв самого красивого бюджетника
Длительный тест Renault Kaptur, симпатичнейшего из бюджетников: часть первая
Тест седана с динамикой суперкара
Тест Audi S8 Plus — представительского седана с максималкой 305 км/ч
5 уникальных суперкаров, погибших в авариях
Очень редкие автомобили, которые закончили жизнь в ДТП
«Теперь она бомж и живет в закутке под лестницей»
История преподавательницы, лишившейся трех квартир в Москве
«Мы начали решать свои проблемы, как в 90-х»
За потребительские кредиты смогут отбирать квартиры
Развели тут бордель
Экскурсия по самому большому публичному дому Южного полушария
Война дворцам
Каких домов лишились в 2016 году звезды Голливуда