Математики проверили на прочность закон Ципфа

Испанские математики проверили на прочность закон Ципфа, согласно которому при попытке упорядочить все слова языка или текст по убыванию частоты их использования частота n-го слова в таком списке окажется приблизительно обратно пропорциональной его порядковому номеру n. О результатах исследования рассказывается в свежем выпуске журнала PLOS ONE.

Для того чтобы определить правильность закона Ципфа, исследователи решили использовать его применительно к проекту «Гутенберг» — инициативе по созданию и распространению электронной универсальной библиотеки, которая включает 31075 книг на английском языке. Прежние попытки применить закон Ципфа ограничивались десятками текстов, а теперь исследователи работали с настоящим массивом данных.

Ученые поставили перед собой задачу определить, вписываются ли тексты в закономерность, согласно которой второе по используемости слово встречается примерно в два раза реже, чем первое, третье — в три раза реже, чем первое, и так далее. Таким образом, ими была избрана простейшая формулировка закона Ципфа.

Согласно итогам исследования, при условии, что опущены наиболее редкие и архаичные формы слов, порядка 55 процентов текстов вписываются в закон Ципфа. Если учитывать эти слова, то соответствие закономерности снижается до 40 процентов.

Лингвист Джордж Кингсли Ципф исследовал частотность слов: одних в тексте попадается больше, других меньше, и по этому принципу все слова разбиваются на группы. Ученый предложил дать этим группам порядковые номера (ранги): самые частотные слова получают номер 1, с частотностью пониже — 2, еще на уровень ниже — 3, и так далее.

После этого вычисляется вероятность встретить слово Икс в тексте: количество слов Икс в тексте делится на число всех слов. Ципф обнаружил, что если вероятность для слова Икс помножить на порядковый номер ранга, в котором оно оказалось, то каждый раз будет получаться приблизительно одна и та же величина. Так, для английского языка эта константа равна примерно 0,1, а для русского — 0,06-0,07.

Обсудить
Displaced people from the minority Yazidi sect, fleeing violence from forces loyal to the Islamic State in Sinjar town, walk towards the Syrian border, on the outskirts of Sinjar mountain, near the Syrian border town of Elierbeh of Al-Hasakah Governorate August 11, 2014. Islamic State militants have killed at least 500 members of Iraq's Yazidi ethnic minority during their offensive in the north, Iraq's human rights minister told Reuters on Sunday. The Islamic State, which has declared a caliphate in parts of Iraq and Syria, has prompted tens of thousands of Yazidis and Christians to flee for their lives during their push to within a 30-minute drive of the Kurdish regional capital Arbil. Picture taken August 11, 2014. REUTERS/Rodi Said (IRAQ - Tags: POLITICS CIVIL UNREST TPX IMAGES OF THE DAY) FOR BEST QUALITY IMAGE ALSO SEE: GM1EA8M1B4V01Дважды отверженные
Почему от женщин, вырвавшихся из плена боевиков, отворачивается общество
Атака на Вестминстер
Неизвестные пытались проникнуть в здание дворца, где заседает парламент Британии
Китайский интерес
Пекин желает смерти уйгурским боевикам в Сирии, но вмешиваться в войну не готов
«Я стала плевать кровью на снег»
Как выстрел в лицо офицеру МВД обернулся обвинениями в самостреле: расследование
Срисовали
Как разоблачили банду, охотившуюся на картины знаменитых художников
Истребитель Су-30МКМ королевских ВВС МалайзииБросившие вызов
Что значит Малайзия для российской авиации
«Резня была бы хлеще, чем в Донбассе»
Монолог командира самообороны Севастополя о Крымской весне
«Главное — убедить людей, что они счастливы»
Джон Стейнбек и Роберт Капа о советских застольях, писателях и правительстве
Лицом к человеку
Почему холокост и сталинские репрессии породили схожие процессы в Европе и СССР
Дональд Рейфилд«Не убивать Сталина — это как убить хорошего человека»
Дональд Рейфилд о Берии, Саакашвили и грузинском гостеприимстве
Безобразно естественно
Календарь Pirelli: лучшие актрисы и модели — без макияжа и без одежды
Ищут пожарные, ищет милиция
Десятилетний розыск пропавшей британской девочки обошелся в 16 миллионов фунтов
Идеал со сроком годности
От Монро до Кардашьян: как менялись пропорции женской фигуры каждые 10 лет
Новая американская мечта
Что такое Fuck You Money, или Как уйти на пенсию в 35 лет
Не хочешь — заставим
Как разные страны пытались сделать граждан счастливыми и что из этого вышло
Эстетическая хирургия
Тест-драйв нового купе Mercedes-Benz E-класса, которое наконец стало собой
Мертворожденные гоночные машины
Автомобили, которые так и не смогли выйти на старт гонок
Машины, которым не повезло
Посмотрите, какими могли бы быть известные машины
Кроссовер-трансформер, в который никто не поверил
Ford Freestyle FX: пикап и кабриолет в одном купе
Бог простит
В церкви нашли квартиру с красной мебелью и портретами в стиле поп-арт
Фрэнк ГериСпугнули рыбу
Почему антисемиты изгнали из Канады создателя «танцующего дома»
«Наш дом — колония строгого режима»
История семьи, оказавшейся на грани распада из-за дачи
Цветам не место в доме
Почему дети мешают взрослым жить счастливо в собственных квартирах