Математики проверили на прочность закон Ципфа

Испанские математики проверили на прочность закон Ципфа, согласно которому при попытке упорядочить все слова языка или текст по убыванию частоты их использования частота n-го слова в таком списке окажется приблизительно обратно пропорциональной его порядковому номеру n. О результатах исследования рассказывается в свежем выпуске журнала PLOS ONE.

Для того чтобы определить правильность закона Ципфа, исследователи решили использовать его применительно к проекту «Гутенберг» — инициативе по созданию и распространению электронной универсальной библиотеки, которая включает 31075 книг на английском языке. Прежние попытки применить закон Ципфа ограничивались десятками текстов, а теперь исследователи работали с настоящим массивом данных.

Ученые поставили перед собой задачу определить, вписываются ли тексты в закономерность, согласно которой второе по используемости слово встречается примерно в два раза реже, чем первое, третье — в три раза реже, чем первое, и так далее. Таким образом, ими была избрана простейшая формулировка закона Ципфа.

Согласно итогам исследования, при условии, что опущены наиболее редкие и архаичные формы слов, порядка 55 процентов текстов вписываются в закон Ципфа. Если учитывать эти слова, то соответствие закономерности снижается до 40 процентов.

Лингвист Джордж Кингсли Ципф исследовал частотность слов: одних в тексте попадается больше, других меньше, и по этому принципу все слова разбиваются на группы. Ученый предложил дать этим группам порядковые номера (ранги): самые частотные слова получают номер 1, с частотностью пониже — 2, еще на уровень ниже — 3, и так далее.

После этого вычисляется вероятность встретить слово Икс в тексте: количество слов Икс в тексте делится на число всех слов. Ципф обнаружил, что если вероятность для слова Икс помножить на порядковый номер ранга, в котором оно оказалось, то каждый раз будет получаться приблизительно одна и та же величина. Так, для английского языка эта константа равна примерно 0,1, а для русского — 0,06-0,07.

подписатьсяОбсудить
00:03 29 сентября 2016

Во всю дурь

Как метамфетамин стал залогом побед гитлеровской Германии
00:01 19 сентября 2016
Готовящаяся к вспышке звезда Эта Киля в центре туманности Гомункул

Яркая смерть

Когда вспышка сверхновой уничтожит жизнь на Земле
17:17 30 сентября 2016
Патруль на границеЯдерное обострение
Индия и Пакистан на пути к войне
Пробуждение сонной долины
Оплот буддизма превращается в популярный туристический район
U.S. based cleric Fethullah Gulen at his home in Saylorsburg, Pennsylvania, U.S. July 29, 2016. REUTERS/Charles MostollerГидра Гюлена
Кого Эрдоган считает своим главным политическим противником
«Роль России и США в Сирии сильно преувеличивают»
Василий Кузнецов о происходящем в Сирии и других странах Ближнего Востока
Международный инвестиционный форум «Сочи-2016»
На черноморском побережье стартует главное экономическое событие осени
«Главная цель — благополучие людей»
Президент ЦСР Павел Кадочников о новой программе экономического развития России
«Мы переживаем время возможностей»
Глава АИЖК о том, когда ставки по ипотеке упадут ниже 10 процентов
Пенсионный улучшайзинг
Смогут ли россияне накопить себе на пенсию без помощи государства
Любовь и вредность
Книги недели: семейные тайны и бытовое насилие
Коллективный беспредел
Премьера брусникинского «Кандида» на сцене театра «Градский Холл»
Не хочу учиться
11 показательных фильмов о детской и подростковой сексуальности
Свидетели эпох
В «Гараже» открывается выставка рисунков Гойи и Эйзенштейна
Шедевр под носом
Самые популярные фотографии Instagram за сентябрь
Ким КардашьянЧто угрожает Кардашьян
Семь самых ярких пранков со знаменитостями
Джентльмен из песочницы
10 ярких поступков детей, поставивших на место знаменитостей и политиков
Рожать нельзя помиловать
Как живет страна, где за аборт можно получить 10 лет тюрьмы
Осенний набор
Все премьеры Парижского автосалона
Париж-2016
Репортаж с Парижского моторшоу: день первый
Великий увозитель
Все, что нужно знать о новом Land Rover Discovery, в 27 фотографиях
Лошади на литры
Самые вместительные машины с моторами мощностью 600 л.с. и больше
Перешли все границы
Как провести ночь в двух странах, не выходя из комнаты
Ниже плинтуса
Снимать квартиру в Москве стало неприлично дешево
Заодно похудели
Как купить квартиру при зарплате в 60 тысяч рублей в месяц, не имея накоплений?
Кадр из мультипликационного фильма "Окно", 1966 годКупили на свою голову
За право жить в апартаментах придется ежегодно платить сотни тысяч рублей
Развод на 450 миллионов
Как выглядит самый дорогой в мире дом