The Combinatorial Analysis of n-Gram Dictionaries, Coverage and Information Entropy based on the Web Corpus of English

A. Malashina

doi:10.22364/bjmc.2021.9.3.09

Публикации

?

The Combinatorial Analysis of n-Gram Dictionaries, Coverage and Information Entropy based on the Web Corpus of English

Baltic Journal of Modern Computing. 2021. Vol. 9. No. 3. P. 363–376.

Малашина А. Г.

We research n-gram dictionaries and estimate its coverage and entropy based on the web corpus of English. We consider a method for estimating the coverage of empirically gen- erated dictionaries and an approach to address the disadvantage of low coverage. Based on the ideas of Kolmogorov’s combinatorial approach, we estimate the n-gram entropy of the English language and use mathematical extrapolation to approximate the marginal entropy. In addition, we approximate the number of all possible legal n-grams in the English language for high order of n-grams.

Научное направление: Математика Компьютерные науки

Приоритетные направления: компьютерно-математическое

Язык: английский

DOI

Текст на другом сайте

Ключевые слова: coverage n-gram dictionaries n-gram entropy

B-facets in Dimension 4

Селянин Ф. И., Journal of Dynamical and Control Systems 2026 Vol. 32 No. 2 P. 1–16

Добавлено: 21 мая 2026 г.

Upper bounds for Steklov eigenvalues of a hypersurface of revolution

Denis Seliutskii, Russian Journal of Mathematical Physics 2025 Vol. 32 No. 2 P. 399–407

Добавлено: 19 мая 2026 г.

ML-based Fast Simulation of FARICH Responses

Шипилов Ф. А., Barnyakov A., Ivanov A. и др., / Series Physics "arxiv.org". 2026.

Добавлено: 19 мая 2026 г.

Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (Volume 3: System Demonstrations)

Association for Computational Linguistics, 2026.

Добавлено: 19 мая 2026 г.

Dataset of solubility values for organic compounds in binary mixtures of solvents at various temperatures

Беззубов С. И., Malikov D., Krasnov L. и др., Scientific data 2026 Vol. 13 Article 727

Добавлено: 19 мая 2026 г.

Aerokinesis: An IoT-Based Vision-Driven Gesture Control System for Quadcopter Navigation Using Deep Learning and ROS2

Pikalov V., Meshcheryakov V., Kondratev S. и др., Technologies 2026 Vol. 14 No. 1 P. 1–27

This paper presents Aerokinesis, an IoT-based software–hardware system for intuitive gesture-driven control of quadcopter unmanned aerial vehicles (UAVs), developed within the Robot Operating System 2 (ROS2) framework. The proposed system addresses the challenge of providing an accessible human–drone interaction interface for operators in scenarios where traditional remote controllers are impractical or unavailable. The architecture comprises ...

Добавлено: 19 мая 2026 г.

Aerokinesis: An IoT-Based Vision-Driven Gesture Control System for Quadcopter Navigation Using Deep Learning and ROS2

Кондратьев С., Никитин Г. Э., Дырченкова Ю. А. и др., Technologies 2026 Vol. 14 No. 1 P. 1–27

Добавлено: 19 мая 2026 г.

On smooth Fano threefolds with coregularity zero

Жакупов О. Б., European Journal of Mathematics 2025 Vol. 11 Article 84

Добавлено: 18 мая 2026 г.

Parallel Computational Technologies. PCT 2025

Springer, 2025.

Добавлено: 18 мая 2026 г.

KMHCR: A Key-Controlled Signal-Domain Transformation for 5G IoT Security

Ronglin Z., Wei L., Jiahong C. и др., Journal of Signal Processing Systems 2026 Vol. 98 P. 1–15

Добавлено: 16 мая 2026 г.

DPN Verifier: A Toolkit for Faster Soundness Verification and Repair of Process Models with Data

Суворов Н. М., Proceedings of the Institute for System Programming of the RAS 2026 Vol. 38 No. 3(2) P. 49–66

Сети Петри с данными (DPN) являются расширением классических сетей Петри, позволяющим моделировать процессы, где данные влияют на поток управления, обеспечивая комплексное представление о поведении системы и возможность обнаружения точек отказа, которые в противном случае были бы скрыты. Одним из критериев корректности для моделей процессов является бездефектность. Модель процесса называется бездефектной, если она всегда корректно завершается ...

Добавлено: 16 мая 2026 г.

2-Elliptic Periodic Orbits near a Nonsimple Homoclinic Tangency in Four-Dimensional Symplectic Maps

Гонченко С. В., Лерман Л. М., Turaev D., Regular and Chaotic Dynamics 2026 Vol. 31 No. 3 P. 349–369

Добавлено: 15 мая 2026 г.

Bibliometric Analysis by Network Models

Алескеров Ф. Т., Khutorskaya O., Степочкина А. К. и др., Springer, 2026.

Добавлено: 15 мая 2026 г.

Neural-network maps for two-parameter modeling of bistability and codimension-two bifurcations in two-dimensional flow dynamical systems

Купцов П. В., Панюшев А. А., Станкевич Н. В., Chaos 2026 Vol. 36 No. 5 Article 053138

Добавлено: 15 мая 2026 г.

Bifurcations and Structural Stability of Generic PC-HC Families

Доровский А. А., / Series arXiv "math". 2026.

Добавлено: 14 мая 2026 г.

The Sobolev space W_2^{1/2}: Simultaneous improvement of functions by a homeomorphism of the circle

Лебедев В. В., Journal of Mathematical Analysis and Applications 2026 Vol. 563 No. 2 Article 130787

Добавлено: 14 мая 2026 г.

Natural hazard database from Internet publications: text mining with a large language model

Деркачева А. А., Сакиркина М. А., Краев Г. Н. и др., /. 2026.

Добавлено: 28 апреля 2026 г.

Ising models on the hydrogen peroxide and other lattices

Qin X., Deng Y., Щур Л. Н. и др., / Series arXiv "math". 2026. No. 2603.02962.

Добавлено: 20 апреля 2026 г.

Algorithmic overlaps as thermodynamic variables: from local to cluster Monte Carlo dynamics in critical phenomena

Пиле Я. Э., Deng Y., Щур Л. Н., / Series arXiv "math". 2026. No. 2604.10254.

Добавлено: 20 апреля 2026 г.

Using predefined vector systems to speed up neural network multimillion class classification

Gabdullin N., Андросов И. А., / Series Computer Science "arxiv.org". 2026.

Добавлено: 2 апреля 2026 г.

Iterative Ricci-Foster Curvature Flow with GMM-Based Edge Pruning: A Novel Approach to Community Detection

Сорокин К. С., Бекетов М. Е., Онучин А. и др., / arxiv.org. Серия cs.SI "Social and Information Networks ". 2025.

Обнаружение сообществ в сложных сетях — фундаментальная проблема, открытая для новых подходов в различных научных областях. Мы представляем новый метод обнаружения сообществ, основанный на потоке Риччи на графах. Наша техника итеративно обновляет веса ребер (их метрические длины) в соответствии с их (комбинаторной) версией кривизны Риччи Фостера, вычисленной на основе эффективного расстояния сопротивления между узлами. Известно, ...

Добавлено: 15 января 2026 г.

Implementing Transport Coding in OMNeT++ for Message Delay Reduction

Петрованов И. С., Сергеев А. В., / Series Computer Science "arxiv.org". 2025. No. 2512.18332.

Добавлено: 24 декабря 2025 г.

Hessian-based lightweight neural network for brain vessel segmentation on a minimal training dataset

Меньшиков И. А., Бернадотт А. К., Елфимов Н. С., / Series arXie "Statistical mechanics". 2025.

Добавлено: 1 декабря 2025 г.

Determining the boundary of dynamical chaos in the generalized Chirikov map via machine learning

Чернышов Д. П., Сатанин А. М., Щур Л. Н., / Series arXiv "math". 2025.

Добавлено: 21 ноября 2025 г.