Нормальное случайное распределение, часто используемое в различных статистических моделях (в том числе и поиска слов). Изображение с сайта isutech.org

Квантовая математика поможет в поиске ключевых слов

Самый простой метод поиска ключевых слов в тексте заключается в следующем. Чтобы определить, является ли слово ключевым, изучается частота его повторения в тексте. Затем частота того же слова определяется для некоторого базового текста, привязанного к изучаемому из некоторых сторонних соображений. Если частота в исходном тексте оказывается выше, чем в базовом, то слово признается ключевым.

В рамках нового исследования ученые предложили считать не только частоту вхождения слов, но их группировку. Ученые полагают, что более важные слова обычно группируются автором вместе, в тех частях текста, где он пытается донести основную мысль. При этом менее значимые слова оказываются более равномерно распределены в тексте.

Для описания данной идеи исследователи использовали так называемую теорию случайных матриц - раздел теории вероятности и статистики, занимающийся изучением случайных величин, которые принимают матричные значения. Оказалось, что многие математические методы данной теории представляется возможным применять к изучению текстов.

В качестве тестирования своего метода ученые предприняли попытку обнаружить ключевые слова в нескольких известных текстах на разных языках: английском, немецком, испанском, итальянском и латыни. Опыт оказался достаточно успешным. Например, в труде Эйнштейна, посвященном общей и специальной теориям относительности, в первую десятку ключевых слов новый метод поместил "поле" (field) и "гравитационный" (gravitational). В "Трех мушкетерах" Александра Дюма первую строчку оккупировала "миледи", а Атос оказался важнее д'Артаньяна. Полный список изучавшихся текстов доступен здесь.

Кроме этого исследователи провели тестирование нового метода в текстах, предварительно удалив из них пробелы. Результаты, по словам исследователей, указывают на то, что новый метод может применяться для изучения абстрактных массивов данных.

Создатели нового метода позиционируют его в качестве будущего метода для интернет-поиска. Специалисты в данной области, однако, пока настроены скептически. Они полагают, что, прежде чем можно будет говорить о практическом применении нового метода, необходимо провести сравнительное тестирование с существующими методами поиска.

Ссылки по теме
- Could quantum mathematics shake up Google? - New Scientist, 05.04.2009
- У человеческого лексикона оказалась квантовая природа - Lenta.ru, 19.02.2009
- Ученые экспериментально подтвердили парадокс Харди - Lenta.ru, 04.03.2009

Сайты по теме
- Теория случайных матриц