Математики проверили на прочность закон Ципфа

Испанские математики проверили на прочность закон Ципфа, согласно которому при попытке упорядочить все слова языка или текст по убыванию частоты их использования частота n-го слова в таком списке окажется приблизительно обратно пропорциональной его порядковому номеру n. О результатах исследования рассказывается в свежем выпуске журнала PLOS ONE.

Для того чтобы определить правильность закона Ципфа, исследователи решили использовать его применительно к проекту «Гутенберг» — инициативе по созданию и распространению электронной универсальной библиотеки, которая включает 31075 книг на английском языке. Прежние попытки применить закон Ципфа ограничивались десятками текстов, а теперь исследователи работали с настоящим массивом данных.

Ученые поставили перед собой задачу определить, вписываются ли тексты в закономерность, согласно которой второе по используемости слово встречается примерно в два раза реже, чем первое, третье — в три раза реже, чем первое, и так далее. Таким образом, ими была избрана простейшая формулировка закона Ципфа.

Согласно итогам исследования, при условии, что опущены наиболее редкие и архаичные формы слов, порядка 55 процентов текстов вписываются в закон Ципфа. Если учитывать эти слова, то соответствие закономерности снижается до 40 процентов.

Лингвист Джордж Кингсли Ципф исследовал частотность слов: одних в тексте попадается больше, других меньше, и по этому принципу все слова разбиваются на группы. Ученый предложил дать этим группам порядковые номера (ранги): самые частотные слова получают номер 1, с частотностью пониже — 2, еще на уровень ниже — 3, и так далее.

После этого вычисляется вероятность встретить слово Икс в тексте: количество слов Икс в тексте делится на число всех слов. Ципф обнаружил, что если вероятность для слова Икс помножить на порядковый номер ранга, в котором оно оказалось, то каждый раз будет получаться приблизительно одна и та же величина. Так, для английского языка эта константа равна примерно 0,1, а для русского — 0,06-0,07.

Обсудить
Тройной Жозе
Голы, странные пенальти, курьезы и травмы завершившейся Лиги Европы — видео
«Дьяволы», покорившие Европу
«Манчестер Юнайтед» Жозе Моуринью впервые выиграл Лигу Европы
Квинси ПромесЖертвы эмбарго
Кого потеряет российский футбол в случае «полного импортозамещения»
Витаминизация всей страны
Какую пользу приносят организму витамины и пробиотики
Не лайкай всуе
10 заповедей самой вредной для психики социальной сети в мире
US former President Barack Obama and his wife Michelle walk during their visit to Siena, Tuscany region, Italy, Monday, May 22, 2017. The Obamas arrived in Tuscany last Friday for a six-day holiday. (Fabio Di Pietro/ANSA via AP)
комментарии:
На свободу с чистой совестью
Новая жизнь Обамы и его семьи — еще лучше прежней
Бьюти-блогер Shaaanxo Макияж с шестью нулями
Красивый бизнес по-женски: как заработать миллионы на пудре и помадах
Тест-драйв японского брата «Дастера»
Как Nissan Terrano стал еще ближе к Renault Duster
Машины, нарисованные кофе
Легендарные гоночные машины, нарисованные с помощью кофе
15 машин на реактивной тяге
90-летняя история автомобилей с двигателями от самолетов и ракет
«Фольксвагены» мечты
Пять кастомных концептов VW для покорения США
От нашего стола
Российские интерьеры, сводящие иностранцев с ума
Зависли на хате
Украинцы придумали дом, который может обойтись без российского газа
Москва за нами
Какие квартиры можно купить в пределах МКАД по цене до трех миллионов рублей
Сносное настроение
Демонтаж жилых домов в Москве: что нужно знать
Вышка светит
Как выглядит частный особняк, побивший мировой рекорд этажности