У кого эксперимент ценнее Американский физик предлагает метод, позволяющий количественно измерить ценность научного эксперимента

Физик из Массачусетсского технологического института Брюс Кнутсон разработал способ, позволяющий количественно измерить ценность научного эксперимента по физике элементарных частиц. Кнутсон предлагает считать эксперимент тем более ценным, чем более неожиданными являются его результаты. Используя разработанный метод, он анализирует несколько известных экспериментов и получает парадоксальные результаты.

Померяемся экспериментами?

Работа Кнутсона посвящена одной области науки - физике элементарных частиц (физике высоких энергий). Как явствует из ее названия, ФЭЧ занимается элементарными частицами: адронами, лептонами, кварками, частицами-переносчиками взаимодействия, античастицами и так далее. Ей наука обязана, в частности, созданием Стандартной модели - одного из наиболее полных современных теоретических описаний окружающего мира.

Физикой высоких энергий ФЭЧ часто называют потому, что в природе многие интересующие ученых частицы в нужном виде не встречаются, их приходится создавать искусственно в специальных ускорителях, которые разгоняют пучки материи до гигантских скоростей и сталкивают их, порождая новые частицы. Таким образом, важнейшая часть ФЭЧ - это эксперименты, проводимые при высоких энергиях.

Строительство таких ускорителей - занятие очень дорогое (к примеру, общий бюджет БАКа - Большого адронного коллайдера - давно превысил миллиард долларов). Сами же эксперименты непосредственной экономической выгоды не приносят. Следует, разумеется, понимать, что многие разработки, созданные в ходе исследований по ФЭЧ, впоследствии начинают широко использоваться в быту (упомянем цифровой рентген, позитронную томографию, протонную терапию опухолей, детекторы пламени, в каком-то смысле - систему WWW). Это, однако, скорее побочные результаты усилий многих ученых, а вот сами результаты экспериментов - существует, например, бозон Хиггса (предсказанная, но пока не найденная частица) или не существует - очевидной прикладной ценности не имеют.

Тем не менее, государственные агентства, спонсоры и прочие инвесторы денег в науку должны каким-то образом принимать решение, какие проекты ФЭЧ финансировать в первую очередь. Кнутсон предлагает ввести формальный критерий определения ценности научных экспериментов. Предупреждая критическую реакцию - мол, как можно на одномерной шкале численно выразить такую сложную вещь, как значимость научного исследования - он утверждает, что это фактически уже делается при распределении средств. Наличие же ясного четкого критерия может пойти только на пользу.

Раз нельзя опираться на потенциальную экономическую выгоду, Кнутсон предлагает оценивать информационную нагруженность эксперимента, проще говоря, количество информации, которое он сообщает. Идея измерять количество информации, получаемое в результате некоего события, не нова - она восходит к основоположнику теории информации Клоду Шеннону - однако применять ее для оценки значимости научных экспериментов еще никто, как представляется, не пробовал.

Удиви меня

Эксперимент приносит тем больше информации, чем больше ученые узнают благодаря ему. Если он подтверждает уже известное, то информации немного, если же показывает что-то новое и неожиданное, то больше. Иными словами, чем более удивителен результат, тем более он информативен.

Рассмотрим простой пример: Колумб, отправляясь в путешествие, считал, что достигнет Индии. Представим себе, что он проплыл все океаны, не встретив суши, и действительно обогнул Землю, прибыв куда намеревался. Информации (в математическом смысле этого слова!) он и те, кто верили, что Земля - шар, получили бы немного: они и так знали, что экспедиция должна прибыть в Индию. Те же, кто не верил в ее успех, получили бы гораздо больше информации: оказывается, Земля действительно шар, вот это да! Настоящий же исход эксперимента - открытие известного континента - удивил (и, следовательно, обогатил информацией) всех.

Эксперимент можно рассматривать как событие с несколькими возможными исходами (аналог случайного события в теории вероятности). Больше всего информации приносит реализация того исхода случайного события, который был наименее вероятен (наиболее удивителен). Именно эту идею Шеннона Кнутсон положил в основу своего метода.

Для выведения конкретной формулы ценности исхода эксперимента поймем, как должна выглядеть соответствующая функция. Аргументом, очевидным образом, должна быть вероятность. Функция должна быть монотонно убывающей (чем больше вероятность, тем ниже ценность). Кроме того, она должна обладать свойством аддитивности: сумма ценностей двух экспериментов с исходами А и Б должна быть равна ценности двойного эксперимента с теми же исходами (этого требует здравый смысл). Всем этим условиям идеально соответствует функция отрицательного логарифма (по любому основанию, но удобнее всего брать привычное основание 10). Пусть эксперимент X имеет n возможных разновероятных исходов: x₁, x₂, ..., x_n. Обозначим вероятность исхода x_i как p(x_i). Тогда "удивительность" исхода x_i описывается формулой (1).

Формула (1) позволяет оценить эксперимент апостериорно: эксперимент состоялся, он имел такой-то исход (например: доказано, что бозон Хиггса существует), исход имел такую-то ценность (как это ни парадоксально, небольшую - существование бозона Хиггса с необходимостью следует из Стандартной модели). Необходимо, однако, также уметь оценивать эксперимент априорно - предсказывать ожидаемую ценность. Эта задача даже важнее: ведь именно в таком положении находятся те, кто распределяет деньги на эксперименты.

Для априорной оценки логично "взвесить" потенциальную ценность каждого исхода, вычисленную по формуле (1), умножив ее на вероятность данного исхода, а затем сложить все взвешенные ценности (аналогичным образом в теории вероятностей вычисляется математическое ожидание для случайного события). Обозначив ожидаемую ценность эксперимента X H(X), мы получим формулу (2).

Эти формулы, однако, годятся лишь для идеального случая: каждый исход эксперимента приводит к однозначному изменению научного знания. В большинстве случаев это не так: например, пока что ни один эксперимент не привел к открытию бозона Хиггса, однако это не означает, что его не существует - предполагается, что для его получения ускорителям не хватает энергии и частица будет зафиксирована в БАКе. Данные эксперимента могут по-разному интерпретироваться, иметь ограниченную точность за счет погрешностей аппаратуры и так далее. Большинство экспериментов не дает однозначных ответов на научные вопросы, а изменяет вероятность правильности того или иного ответа, делая один более правдоподобным, другой - менее.

Кнутсон учитывает это и корректирует формулы (1) и (2), опираясь на ту же основную идею, но вводя дополнительные понятия состояние научного знания, энтропия состояния знания, информационный выигрыш и используя для описания зависимости состояния знания от исхода эксперимента условную вероятность. Мы не будем здесь воспроизводить выкладки, заинтересованный читатель может с ними познакомиться в статье автора. В идеальном случае усовершенствованные формулы сводятся к формулам (1) и (2).

Кнутсон также предлагает подсчитывать отношение ценности эксперимента к затратам, которых он требует.

Всех посчитали

Чтобы не быть голословным, Кнутсон применил разработанный метод к уже завершенным и только запланированным экспериментам по ФЭЧ. При этом он сразу же столкнулся с ключевой проблемой - как оценить вероятности исходов экспериментов? Как численно (с приличной точностью!) выразить вероятность того, что в БАКе будет рожден бозон Хиггса? Как оценить, насколько неожиданными были эксперименты, подтвердившие существование кварков?

В науке (точнее, в методологии науки) не разработано соответствующих методов. Исследователя, однако, это не смутило: по его мнению, отсутствие литературы по данной теме свидетельствует лишь о том, что наука до сих пор не осознавала важность априорной оценки вероятностей для определения ценности эксперимента. Присвоить исходам правильные вероятности, признает он, действительно сложно, однако в целом это все же выполнимая задача, причем решать ее чрезвычайно полезно (видимо, для лучшего понимания целей эксперимента и его места в общей теории).

Итак, проконсультировавшись с рядом коллег, Кнутсон оценил вероятности исходов нескольких известных экспериментов (аргументация приводится в статье) и определил их ценность. В некоторых случаях он получил парадоксальные результаты. Так, открытие W- и Z-бозонов в 1983 году вряд ли кто-то до сих пор оценивал количественно (кроме разве что Нобелевского фонда, который вручил за него премию уже через год), но оно считается одним из ключевых достижений ФЭЧ. По Кнутсону ценность этого открытия составила 0,02. Для сравнения: случайное открытие в 1974 J/psi-частицы получило ценность 2, хотя традиционно оно вряд ли считается в сто раз более значимым, чем открытие W- и Z-бозонов. Однако бозоны были предсказаны и ожидаемы, а J/psi-частица нашлась неожиданно. Еще более ценным оказалось открытие тау-лептона - 3.

Если в БАКе будет рожден бозон Хиггса, ценность этого события составит 0,02. Если же запуск БАКа докажет, что бозона Хиггса не существует, то аж 1,3. В любом случае многомиллионный БАК имеет очень высокий показатель ценность/затраты за счет множества новых возможностей, которые он предоставит.

Кнутсон не скрывает, что его результаты во многом противоречат традиционным взглядам. Собственно, по идеологии его метода это ведь скорее достоинство работы - чем неожиданнее вывод, тем лучше (аналогия условна, так как автор не предлагал применять свой метод к теоретическим работам).

Pro et contra

Метод был разработан специально для ФЭЧ с учетом ее специфики, однако, вероятно, с некоторыми коррективами потенциально может использоваться и для других областей науки.

На наш взгляд, метод вряд ли получит широкое практическое применение. Все упрется в оценку вероятностей исходов - трудно представить, чтобы ее всегда можно было провести однозначно, а ведь без этого невозможно и все остальное. Автор признает эту проблему, но, возможно, недооценивает ее масштаб.

Нам также осталось непонятным, как следует поступать, если эксперимент выдает совершенно непредсказуемый результат (и предусматривает ли метод такой вариант). Признать его исходом с нулевой вероятностью нельзя - формула (1) вернет ноль, что будет не соответствовать идеологии метода.

Кроме того, применение метода упрется в отсутствие согласия ученых по множеству вопросов: разным интерпретациям экспериментов, разным теориям, разным подходам. С другой стороны, на это обречен любой метод, а проводить сравнение, как справедливо замечает автор, действительно иногда приходится.

Наконец, метод присвоит практически нулевую ценность экспериментам, направленным на подтверждение господствующих теорий - но они ведь тоже имеют право на существование. Метод не годится и для количественных экспериментов (направленных не на открытие принципиально нового, а, например, на повышение точности каких-нибудь измерений), но это автор отдельно оговаривает в самом начале статьи.

В любом случае, метод Кнутсона, пусть чересчур умозрительный, кажется интересным новым подходом к сравнительной оценке исследований. Чем удивительнее - тем ценнее, применительно к научным экспериментам эту несложную мысль еще никто так основательно не рассматривал.