Статья
Annotated suffix tree as a way of text representation for information retrieval in text collections
Статья посвящена описанию реализации сервиса автоматического сбора структурированной информации из неструктурированных интернет-документов. Сервис позволяет унифицировать решение для различных предметных областей за счет явного онтологического описания задачи. Кроме того, для увеличения количества анализируемых источников не требуется изменения кода программы, следовательно, сложность разработки не изменяется.
В статье описан проект Texterra, в рамках которого была создана инфраструктура для анализа текстов. Texterra предоставляет масштабируемое решение для быстрой обработки текстовых документов, основанное на использовании знаний, извлекаемых из Веб-ресурсов и текстовых документов. В данной статье раскрываются детали реализации проекта, варианты использования и результаты экспериментальных исследований разработанных инструментов.
Веб спам является одной из ключевых проблем современных поисковых систем в интернете. В данной работе мы исследуем эффективность применения различных методов уменьшения размерности пространства на примере спам классификатора поисковой системы go.mail.ru. Эффективное применение подобных методов позволяет значительно увеличить количество признаков и качество самого классификатора без потери в скорости обучения и классификации. Был проведен ряд экспериментов с методами PCA (Principal Component Analysis) и RP (Random Projection). К сожалению, данные методы показали свою несостоятельность применительно к задачам подобного класса, из-за относительно малой размерности пространства признаков. Однако, данный эксперимент, привел к необходимости детального анализа самих признаков, участвующих в обучении. Инструментом подобного анализа был выбран критерий MRMR (Minimum Redundancy Maximum Relevance). Применение данного критерия позволило выявить бесполезные признаки, а также оценить эффективность каждого, участвующего в обучении признака. Проведенное исследование позволило значительно повысить качество исследуемого классификатора без увеличения количества признаков. Результаты, описанные в данном исследовании, показывают эффективность критериев отбора признаков в задаче обучения на практике, и еще раз подчеркивают важность детального анализа данных и информативных признаков, которые выбираются для обучения.
Журналы событий, сохраняемые современными информационными и техническими системами, как правило, содержат достаточно данных для автоматизированного восстановления моделей соответствующих процессов. Разработано множество алгоритмов для построения моделей процессов, проверки соответствия фактического поведения системы модельному, сравнения моделей процессов, и т.д. Однако возможность быстрого анализа выбираемых пользователями частей журнала до сих пор не нашла полноценной реализации. В статье описан метод многомерного хранения журналов событий для извлечения и анализа процессов, основанный на подходе ROLAP. Результатом анализа журнала является направленный невзвешенный граф, представляющий собою сумму возможных последовательностей событий, упорядоченных по вероятности их возникновения с учетом заданных условий. Разработанный инструмент позволяет выполнять совместный анализ моделей подпроцессов, восстановленных из частей журнала путем задания критериев отбора событий и требуемого уровня детализации модели.
В монографии приведены результаты исследования, посвященного управлению жизненным циклом информационных систем, а также анализу стандартов, сводов знаний и корпоративных методик, использующихся в ИТ-проектах. Приведены характеристики фаз ЖЦИС из практики управления ИТ-проектами, а также практические рекомендации по управлению такими проектами. Книга предназначена для научных работников, сотрудников научно- технических предприятий и работников государственных органов управлений, а также студентов, аспирантов, слушателей бизнес-школ повышения квалификации и переподготовки кадров. Книга содержит практические рекомендации для руководителей ИТ-проектов, а также сотрудников компаний, занимающихся проектной деятельностью в области ИТ-проектов.
The geographic information system (GIS) is based on the first and only Russian Imperial Census of 1897 and the First All-Union Census of the Soviet Union of 1926. The GIS features vector data (shapefiles) of allprovinces of the two states. For the 1897 census, there is information about linguistic, religious, and social estate groups. The part based on the 1926 census features nationality. Both shapefiles include information on gender, rural and urban population. The GIS allows for producing any necessary maps for individual studies of the period which require the administrative boundaries and demographic information.