Построение и анализ моделей русского языка в связи с исследованиями криптографических алгоритмов

Чебышевский сборник. 2022. Т. 23. № 2. С. 151–160.

Малашина А. Г., Лось А. Б.

При исследовании криптографических качеств алгоритмов защиты информации важным моментом является построение теоретических и экспериментальных моделей источников сообщений. В данной статье проводится статистический анализ свойств лексических и n-граммных моделей русского языка на основе новостного текстового корпуса. Создан специализированный корпус из новостных статей последних лет политической направленности, отражающий узкую область употребления языка. Составлены словари токенов и n-грамм, найдены величины покрытия этих словарей, а также значения энтропии. Проведена лемматизация исходного текстового корпуса и экстраполяция роста объёма словарей в зависимости от увеличения размера корпуса.

Ключевые слова: словари n-грамм, энтропия n-грамм, осмысленные тексты, n-gram dictionaries, n-gram entropy, meaningful texts