Математики проверили на прочность закон Ципфа

Испанские математики проверили на прочность закон Ципфа, согласно которому при попытке упорядочить все слова языка или текст по убыванию частоты их использования частота n-го слова в таком списке окажется приблизительно обратно пропорциональной его порядковому номеру n. О результатах исследования рассказывается в свежем выпуске журнала PLOS ONE.

Для того чтобы определить правильность закона Ципфа, исследователи решили использовать его применительно к проекту «Гутенберг» — инициативе по созданию и распространению электронной универсальной библиотеки, которая включает 31075 книг на английском языке. Прежние попытки применить закон Ципфа ограничивались десятками текстов, а теперь исследователи работали с настоящим массивом данных.

Ученые поставили перед собой задачу определить, вписываются ли тексты в закономерность, согласно которой второе по используемости слово встречается примерно в два раза реже, чем первое, третье — в три раза реже, чем первое, и так далее. Таким образом, ими была избрана простейшая формулировка закона Ципфа.

Согласно итогам исследования, при условии, что опущены наиболее редкие и архаичные формы слов, порядка 55 процентов текстов вписываются в закон Ципфа. Если учитывать эти слова, то соответствие закономерности снижается до 40 процентов.

Лингвист Джордж Кингсли Ципф исследовал частотность слов: одних в тексте попадается больше, других меньше, и по этому принципу все слова разбиваются на группы. Ученый предложил дать этим группам порядковые номера (ранги): самые частотные слова получают номер 1, с частотностью пониже — 2, еще на уровень ниже — 3, и так далее.

После этого вычисляется вероятность встретить слово Икс в тексте: количество слов Икс в тексте делится на число всех слов. Ципф обнаружил, что если вероятность для слова Икс помножить на порядковый номер ранга, в котором оно оказалось, то каждый раз будет получаться приблизительно одна и та же величина. Так, для английского языка эта константа равна примерно 0,1, а для русского — 0,06-0,07.

подписатьсяОбсудить
Как купить мушкет
Где приобретают «старинное» оружие и как из него стреляют
Обыски в офисе Главного следственного управления Следственного комитета РоссииСлед Шакро
Как перестрелка у московского кафе привела к задержанию высокопоставленных чинов
Policemen walking down stairs and securing the area in the underground station Karlsplatz (Stachus) after a shootout in Munich, Germany, 22 July 2016. After a shootout in the Olympia shopping centre in Munich, injuries and possible deaths were reported by the police. The situation is still unclear. PHOTO: ANDREAS GEBERT/dpaКТО стучится в дверь ко мне
Какие выводы стоит сделать из полицейской операции в Мюнхене
Сокрытое в волнах
Сколько ядерных бомб потеряно в Мировом океане
The Lady Vanishes'  - Sally Stewart, Margaret Lockwood,       
Alfred Hitchcock and Googie Withers
An English girl on a train from Switzerland befriends an old woman. But when the woman disappears, her fellow passengers deny ever having seen her.
«Он всегда утверждал, что в их браке нет секса»
Жизнь Альфреда Хичкока и Альмы Ревиль в изложении Питера Акройда
Стар? Супер!
Артисты, для которых возраст не имеет значения
«Явись же в наготе моим очам»
Генрих VIII и Анна Болейн, фавориты Елизаветы I в поэзии XVI-XVII веков
Девушки с планеты Земля
Кинопремьеры недели от «Светской жизни» до «Стартрека 3»
Чудаки пришли к успеху
10 самых необычных аккаунтов в Instagram
Потей с Кайлой
Чем автор фитнес-программы Bikini Body Guide привлекла пять миллионов фанатов
Убить за селфи
История «пакистанской Ким Кардашьян», которую задушил родной брат
«Она определенно сошла с ума»
Мужья любительниц Instagram поделились своей болью
Немаленький домик
Длительный тест MINI Cooper S Clubman: итоги, выводы и три цилиндра
Слово из трех букв
«Красная Свинья», седан, обгонявший Lamborghini, и другие безумные машины AMG
Госстандарт
Интересные машины, разработанные специально для Китая
Метры у метро
Московские новостройки, рядом с которыми скоро откроют станции подземки
Тиснули на славу
Как выглядит первое в мире здание, напечатанное на 3D-принтере
Вот это номер!
«Тайный арендатор» в многофункциональном комплексе «Ханой-Москва»
Жить стало веселее
Новая редакция «сталинского рая» на ВДНХ
Любовь по залету
Аэропорты мира, которые не захочется посещать добровольно
Rolling Acres Огайо, СШАЗакрыто навсегда
Как выглядят торговые центры-«призраки», потерявшие покупателей