• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Статья

Study of Optimal Text Size Phenomenon in Zipf–Mandelbrot’s Distribution on the Bases of Full and Distorted Texts. Author’s Frequency Characteristics and derivation of Hapax Legomena

Journal of Quantitative Linguistics. 2020. Vol. 27. No. 2. P. 134-158.

В работе исследуются расхождения между вычисляемыми и теоретическими частотами в зависимости от размера текста в ранговых распределениях типа закона Ципфа; экспериментально изучаются влияние целостности текста и его авторства на частотные характеристики. В серии экспериментов был определен «оптимальный» размер текста, предсказанный еще Джорджем Ципфом текстовый объем, в котором расхождение между теоретически вычисляемыми  по формуле частотами и наблюдаемыми на аутентичных текстах частотами минимально. В работе также представлена  графическая репрезентация, имеющая существенный объяснительный потенциал, по факту самого существования  феномена оптимального текста.

 Исходя из предположения о том, что в неполных текстах  или в текстах с нарушенной целостностью  закон Ципфа может выполнятся хуже, мы провели серию экспериментов, в которой исследовалась корреляция между частотностью и целостностью текста. Вопреки ожиданиям, результаты доказывают, что именно размер текста играет решающее значение: распределение  остается ципфовским даже для фрагментов текста и случайно  выбранных из текста слов, при условии, что  они в совокупности составляют текст оптимального размера/объема.  Кроме того, в ходе эксперимента установлено, что существует авторская константа- относительная частотность самого частотного слова сохраняется постоянной не только в законченных работах одного и того же автора, но и в отдельных фрагментах текстов, предложений, случайно отобранных слов из произведений, написанных данным автором. Набор литературных и публицистических текстов исследовался с помощью инструмента Word Smith Tools 6.0.