• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • A
  • A
  • A
  • A
  • A
Обычная версия сайта
  • RU
  • EN
  • Национальный исследовательский университет «Высшая школа экономики»
  • Публикации ВШЭ
  • Статьи
  • The Combinatorial Analysis of n-Gram Dictionaries, Coverage and Information Entropy based on the Web Corpus of English
  • RU
  • EN
Расширенный поиск
Высшая школа экономики
Национальный исследовательский университет
Приоритетные направления
  • бизнес-информатика
  • государственное и муниципальное управление
  • гуманитарные науки
  • инженерные науки
  • компьютерно-математическое
  • математика
  • менеджмент
  • право
  • социология
  • экономика
по году
  • 2028
  • 2027
  • 2026
  • 2025
  • 2024
  • 2023
  • 2022
  • 2021
  • 2020
  • 2019
  • 2018
  • 2017
  • 2016
  • 2015
  • 2014
  • 2013
  • 2012
  • 2011
  • 2010
  • 2009
  • 2008
  • 2007
  • 2006
  • 2005
  • 2004
  • 2003
  • 2002
  • 2001
  • 2000
  • 1999
  • 1998
  • 1997
  • 1996
  • 1995
  • 1994
  • 1993
  • 1992
  • 1991
  • 1990
  • 1989
  • 1988
  • 1987
  • 1986
  • 1985
  • 1984
  • 1983
  • 1982
  • 1981
  • 1980
  • 1979
  • 1978
  • 1977
  • 1976
  • 1975
  • 1974
  • 1973
  • 1972
  • 1971
  • 1970
  • 1969
  • 1968
  • 1967
  • 1966
  • 1965
  • 1964
  • 1963
  • 1958
  • еще
Тематика
Новости
18 сентября 2026 г.
«Время на содержательные вопросы у нас не лимитировалось»
Международная лаборатория атомистического суперкомпьютерного моделирования и многомасштабного анализа НИУ ВШЭ провела масштабную конференцию «Молекулярная динамика». Участники могли услышать всех докладчиков, а сами докладчики — ответить на любое количество содержательных вопросов. О подготовке конференции и дискуссиях «Вышка.Главное» поговорила с заведующим лабораторией Григорием Смирновым и ее главным научным сотрудником Генри Норманом.
18 сентября 2026 г.
Ученые ВШЭ займутся изучением очарованных адронов в рамках BESIII
Высшая школа экономики стала университетом — участником международной коллаборации BESIII (Beijing Spectrometer III) в области физики высоких энергий. Присоединение к коллаборации стало первым практическим результатом реализации меморандума о сотрудничестве, подписанного в 2025 году между НИУ ВШЭ и Институтом физики высоких энергий (IHEP) в Пекине (КНР).
17 сентября 2026 г.
<a>НИУ ВШЭ представил в Китае исследование о безопасности нейросетей для анализа видео
Ученые Высшей школы экономики презентавали на международной конференции ChinaMM 2026 в Китае исследование о том, как искажения при передаче видео влияют на работу нейросетей. Авторы предложили новый способ проверять устойчивость таких моделей в условиях, близких к реальному использованию видеосервисов.

 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!

Публикации
  • Книги
  • Статьи
  • Главы в книгах
  • Препринты
  • Верификация публикаций
  • Расширенный поиск
  • Правила использования материалов
  • Наука в ВШЭ

?

The Combinatorial Analysis of n-Gram Dictionaries, Coverage and Information Entropy based on the Web Corpus of English

Baltic Journal of Modern Computing. 2021. Vol. 9. No. 3. P. 363–376.
Malashina A.

We research n-gram dictionaries and estimate its coverage and entropy based on the web corpus of English. We consider a method for estimating the coverage of empirically gen- erated dictionaries and an approach to address the disadvantage of low coverage. Based on the ideas of Kolmogorov’s combinatorial approach, we estimate the n-gram entropy of the English language and use mathematical extrapolation to approximate the marginal entropy. In addition, we approximate the number of all possible legal n-grams in the English language for high order of n-grams.

Научное направление: Математика Компьютерные науки
Приоритетные направления: компьютерно-математическое
Язык: английский
DOI
Текст на другом сайте
Ключевые слова: coveragen-gram dictionariesn-gram entropy
Похожие публикации
Some rigidity results for static three-manifolds with boundary and positive scalar curvature
Медведев В. О., Annals of Global Analysis and Geometry 2026 Vol. 70 No. 2 P. 8–23
Добавлено: 19 сентября 2026 г.
Improving the Accuracy of Automatic Wildlife Detection in Nature Reserves Using Infrared Imaging
Aleksei Samarin, Alexander Savelev, Aleksei Toropov и др., Pattern Recognition and Image Analysis 2026 Vol. 36 No. 2 P. 323–334
Добавлено: 19 сентября 2026 г.
IDAP++: Advancing Divergence-Aware Pruning with Joint Filter and Layer Optimization
Aleksei Samarin, Назаренко А. А., Kotenko E. и др., Proceedings of the ACM on Management of Data, USA 2026 Vol. 4 No. 1 P. 1–28
Добавлено: 19 сентября 2026 г.
Automated Feature Engineering-Based Approach for Micrococci Microscopic Image Classification and Taxonomic Characteristics Determination
Aleksei Samarin, Alexander Savelev, Aleksei Toropov и др., Pattern Recognition and Image Analysis 2025 Vol. 35 No. 2 P. 148–158
Добавлено: 19 сентября 2026 г.
Improvement in Microbial Classification Quality Using Synthetic Microscopic Images Generated by Large Visual-Language Models
Aleksei Samarin, Alexander Savelev, Aleksei Toropov и др., Pattern Recognition and Image Analysis 2026 Vol. 36 No. 2 P. 302–312
Добавлено: 19 сентября 2026 г.
Advances in Neural Computation, Machine Learning, and Cognitive Research IX
Springer, Cham, 2026.
Добавлено: 19 сентября 2026 г.
Proceedings of 18th International Conference on Machine Learning and Computing
Springer, Cham, 2026.
Добавлено: 19 сентября 2026 г.
Proceedings of the 35th Conference of Open Innovations Association FRUCT
FRUCT Oy, 2024.
Добавлено: 19 сентября 2026 г.
Proceedings of the 36th Conference of Open Innovations Association FRUCT
FRUCT Oy, 2024.
Добавлено: 19 сентября 2026 г.
Proceedings of the 37th Conference of Open Innovations Association FRUCT
FRUCT Oy, 2025.
Добавлено: 19 сентября 2026 г.
Proceedings of the 39th Conference of Open Innovations Association FRUCT
FRUCT Oy, 2026.
Добавлено: 19 сентября 2026 г.
Flow-Guided Neural Pruning: Signal-Flow Framework for Multi-Architecture Model Compression
Aleksei Samarin, Назаренко А. А., Kotenko E. и др., Machine Learning and Knowledge Extraction 2026 Vol. 8 No. 8 P. 1–26
Добавлено: 19 сентября 2026 г.
On calibration of remote sensing retrievals of ecosystem respiration (Reco) with tower measurements over,Russian forests and wetlands
Shabanov N., Kuricheva O., Kurbatova J. и др., / Series Working Papers SSRN "Department of Economics Ca’ Foscari University of Venice". 2026.
Добавлено: 21 августа 2026 г.
Three Algorithms for Merging Hierarchical Navigable Small World Graphs
Пономаренко А. А., / Series Computer Science "arxiv.org". 2025.
Добавлено: 30 июля 2026 г.
Growth in noncommutative algebras and entropy in derived categories
Пионтковский Д. И., / Series arXiv "math". 2026.
Добавлено: 23 июня 2026 г.
Multilinear nilalgebras and the Jacobian theorem
Пионтковский Д. И., / Series arXiv "math". 2025.
Добавлено: 23 июня 2026 г.
Coverage of Agricultural Areas by a Group of Unmanned Aerial Vehicles Considering Wind Load and Energy Consumption Constraints
Faizullin R., Mustafin M., Svinin M. и др., , in: 2025 9th International Conference on Information, Control, and Communication Technologies (ICCT-2025).: IEEE, 2025. P. 1–4.
Добавлено: 23 июня 2026 г.
ML-based Fast Simulation of FARICH Responses
Шипилов Ф. А., Barnyakov A., Ivanov A. и др., / Series Physics "arxiv.org". 2026.
Добавлено: 19 мая 2026 г.
Natural hazard database from Internet publications: text mining with a large language model
Деркачева А. А., Сакиркина М. А., Краев Г. Н. и др., /. 2026.
Добавлено: 28 апреля 2026 г.
Algorithmic overlaps as thermodynamic variables: from local to cluster Monte Carlo dynamics in critical phenomena
Пиле Я. Э., Deng Y., Щур Л. Н., / Series arXiv "math". 2026. No. 2604.10254.
Добавлено: 20 апреля 2026 г.
Using predefined vector systems to speed up neural network multimillion class classification
Gabdullin N., Андросов И. А., / Series Computer Science "arxiv.org". 2026.
Добавлено: 2 апреля 2026 г.
Iterative Ricci-Foster Curvature Flow with GMM-Based Edge Pruning: A Novel Approach to Community Detection
Сорокин К. С., Бекетов М. Е., Онучин А. и др., / arxiv.org. Серия cs.SI "Social and Information Networks ". 2025.
Обнаружение сообществ в сложных сетях — фундаментальная проблема, открытая для новых подходов в различных научных областях. Мы представляем новый метод обнаружения сообществ, основанный на потоке Риччи на графах. Наша техника итеративно обновляет веса ребер (их метрические длины) в соответствии с их (комбинаторной) версией кривизны Риччи Фостера, вычисленной на основе эффективного расстояния сопротивления между узлами. Известно, ...
Добавлено: 15 января 2026 г.
Implementing Transport Coding in OMNeT++ for Message Delay Reduction
Петрованов И. С., Сергеев А. В., / Series Computer Science "arxiv.org". 2025. No. 2512.18332.
Добавлено: 24 декабря 2025 г.
Hessian-based lightweight neural network for brain vessel segmentation on a minimal training dataset
Меньшиков И. А., Бернадотт А. К., Елфимов Н. С., / Series arXie "Statistical mechanics". 2025.
Добавлено: 1 декабря 2025 г.
  • О ВЫШКЕ
  • Цифры и факты
  • Руководство и структура
  • Устойчивое развитие в НИУ ВШЭ
  • Преподаватели и сотрудники
  • Корпуса и общежития
  • Закупки
  • Обращения граждан в НИУ ВШЭ
  • Фонд целевого капитала
  • Противодействие коррупции
  • Сведения о доходах, расходах, об имуществе и обязательствах имущественного характера
  • Сведения об образовательной организации
  • Людям с ограниченными возможностями здоровья
  • Единая платежная страница
  • Работа в Вышке
  • ОБРАЗОВАНИЕ
  • Лицей
  • Довузовская подготовка
  • Олимпиады
  • Прием в бакалавриат
  • Вышка+
  • Прием в магистратуру
  • Аспирантура
  • Дополнительное образование
  • Центр развития карьеры
  • Бизнес-инкубатор ВШЭ
  • Образовательные партнерства
  • Обратная связь и взаимодействие с получателями услуг
  • НАУКА
  • Научные подразделения
  • Исследовательские проекты
  • Мониторинги
  • Диссертационные советы
  • Защиты диссертаций
  • Академическое развитие
  • Конкурсы и гранты
  • Внешние научно-информационные ресурсы
  • РЕСУРСЫ
  • Библиотека
  • Издательский дом ВШЭ
  • Книжный магазин «БукВышка»
  • Типография
  • Медиацентр
  • Журналы ВШЭ
  • Публикации
  • http://www.minobrnauki.gov.ru/
    Министерство науки и высшего образования РФ
  • https://edu.gov.ru/
    Министерство просвещения РФ
  • https://elearning.hse.ru/mooc
    Массовые открытые онлайн-курсы
  • НИУ ВШЭ1993–2026
  • Адреса и контакты
  • Условия использования материалов
  • Политика обработки персональных данных
  • Правила применения рекомендательных технологий в НИУ ВШЭ
  • Карта сайта
Редактору