Математики проверили на прочность закон Ципфа

Испанские математики проверили на прочность закон Ципфа, согласно которому при попытке упорядочить все слова языка или текст по убыванию частоты их использования частота n-го слова в таком списке окажется приблизительно обратно пропорциональной его порядковому номеру n. О результатах исследования рассказывается в свежем выпуске журнала PLOS ONE.

Для того чтобы определить правильность закона Ципфа, исследователи решили использовать его применительно к проекту «Гутенберг» — инициативе по созданию и распространению электронной универсальной библиотеки, которая включает 31075 книг на английском языке. Прежние попытки применить закон Ципфа ограничивались десятками текстов, а теперь исследователи работали с настоящим массивом данных.

Ученые поставили перед собой задачу определить, вписываются ли тексты в закономерность, согласно которой второе по используемости слово встречается примерно в два раза реже, чем первое, третье — в три раза реже, чем первое, и так далее. Таким образом, ими была избрана простейшая формулировка закона Ципфа.

Согласно итогам исследования, при условии, что опущены наиболее редкие и архаичные формы слов, порядка 55 процентов текстов вписываются в закон Ципфа. Если учитывать эти слова, то соответствие закономерности снижается до 40 процентов.

Лингвист Джордж Кингсли Ципф исследовал частотность слов: одних в тексте попадается больше, других меньше, и по этому принципу все слова разбиваются на группы. Ученый предложил дать этим группам порядковые номера (ранги): самые частотные слова получают номер 1, с частотностью пониже — 2, еще на уровень ниже — 3, и так далее.

После этого вычисляется вероятность встретить слово Икс в тексте: количество слов Икс в тексте делится на число всех слов. Ципф обнаружил, что если вероятность для слова Икс помножить на порядковый номер ранга, в котором оно оказалось, то каждый раз будет получаться приблизительно одна и та же величина. Так, для английского языка эта константа равна примерно 0,1, а для русского — 0,06-0,07.

Обсудить
Наука и техника
 — 
00:02 22 февраля 2017
Допрос обвиняемого - митрополита Петроградского Вениамина на судебном процессе по делу об изъятии церковных ценностей, проходившем в зале филармонии

Сидеть!

Как молодая советская власть карала своих граждан
Наука и техника
 — 
00:00 24 февраля 2017

Стрелять, Карл!

Подстреленный Гитлер и отпуск в фашистской Италии: обзор Sniper Elite 4
Наука и техника
 — 
13:52 21 февраля 2017
Александр Шестаков

«В развитии главное — масштаб цели»

Интервью с ректором ЮУрГУ Александром Шестаковым о науке, образовании и развитии
«У молодых вообще нет собственной позиции»
Почему современные студенты инфантильны, аполитичны и боятся протестов
Валентина ТерешковаПо космическим законам
Как Терешкова принесла соревнование с американцами из космоса в политику
Казус Чудновец
Чем закончится дело жительницы Катайска, осужденной за репост. Репортаж
Тень независимости
Может ли Россия признать ДНР и ЛНР
Без ствола
Российские власти сокращают число владельцев гражданского оружия
Мне хардбольно
Как играют в самую травмоопасную военно-спортивную игру
Недостаток ресурсов при избытке амбиций
Что не так с индийской системой закупок оружия
Тир во время чумы
Как тренировка в стрелковом клубе обернулась смертью инструктора и ученика
Допрос обвиняемого - митрополита Петроградского Вениамина на судебном процессе по делу об изъятии церковных ценностей, проходившем в зале филармонииСидеть!
Как молодая советская власть карала своих граждан
Стрелять, Карл!
Подстреленный Гитлер и отпуск в фашистской Италии: обзор Sniper Elite 4
Ястреб сбит, ястреб сбит!
Пушка-ловушка, орлы и другие неожиданные способы уничтожить беспилотник
twen, Nr. 6, 1969, Фотография: Гвидо Мангольд, графика: Вилли Флекхаус«Опаснее тысячи порножурналов»
Король книжного и журнального дизайна Вилли Флекхаус
Pierre et Gilles, Sainte Marie MacKillop (Kylie Minogue), 1995, Collection privée (c) Pierre et GillesГолубо-розовое
Транссексуалы, проститутки и панки в латексе на снимках гей-пары Пьера и Жиля
Белая вдова
Кино недели с Денисом Рузаевым: от «Джеки» до «Тони Эрдманна»
Орхан Памук«Ни одна жизнь не достойна романа»
Орхан Памук о современной Турции и противостоянии Востока и Запада
Смерть вождя
Роли, по которым мы запомним Алексея Петренко
В отпуск с кошкой
Как правильно организовать путешествие с домашними животными
Страна оленья
Почему Якутия — главное направление для путешествий в этом году
Руины господского дома в усадьбе Ольгово. Дмитровский район, Московская область
Призрак Пиковой дамы
Где в Подмосковье можно встретить привидение
Северно-ледовитая Венеция
Почему российским туристам стоит заглянуть в немецкий Нюрнберг
Мимимиметр сломался
Азиатский бум на умилительных собак пришел в Instagram
Фильтр «зависть»
Звезда Instagram из Нью-Йорка показала изнанку интернет-славы
Натянуть уши на нос
Шесть необычных поводов для обращения к пластическому хирургу
Мусорщик в ИндииУ каждого дела запах особый
Daily Mail выбрала самые отталкивающие профессии в мире
Лучшее от Italdesign за 10 лет
Девять проектов Italdesign Giugiaro, которые не оставят равнодушными
20 роскошных авто. В камуфляже
Маскировка, которая нужна, чтобы стать заметным
Что купить за цену Lada Vesta в Европе
От каких моделей Lada Vesta собирается отвадить немцев
6 самых необычных военных машин
Военная техника, от которой волосы встают дыбом
Бог простит
В церкви нашли квартиру с красной мебелью и портретами в стиле поп-арт
Дворянское гнездо
Один из самых шикарных в мире домов нашли в диком лесу
«Пусть меня захоронят в отравленную, но родную землю»
Почему люди отказываются покидать чернобыльскую зону: реальные истории
Поставили баком
Англичане сделали идеальный дом из резервуара для воды