Глава
Subspace Inference for Bayesian Deep Learning
В статье предлагается оригинальная эконометрическая модель вероятности дефолта, основанная на финансовых показателях российских банков. Дискретизация непрерывных объясняющих переменных позволяет более полно отразить нелинейные эффекты, приводящие к дефолту. Модель демонстрирует лучшие результаты, чем модель дерева регрессии или байесовская сеть, оцененные на той же выборке. Эконометрические оценки вероятности дефолта не противоречат средним частотам дефолтов, соответствующим независимым кредитным рейтингам, и риск-нейтральным оценкам вероятности дефолта, полученным из кредитных спрэдов в рамках модели сокращенной формы.
Обработка фрагментов знаний с вероятностной неопределенностью в интеллектуальных системах поддержки принятия решений основывается на трех видах локального логи- ко-вероятностного вывода: проверка и поддержание непротиворечивости, априорный и апостериорный вывод. В настоящей статье вычислительные формулы, на которые опираются перечисленные виды логико-вероятностного вывода, представлены на матрично-векторном языке, что сокращает, упрощает и делает более строгой последующую спецификацию алгоритмов вывода. Кроме того, использование матрично-векторного языка открывает новые возможности для исследования свойств результатов локального логико-вероятностного вывода.
Topic modelling is an area of text mining that has been actively developed in the last 15 years. A probabilistic topic model extracts a set of hidden topics from a collection of text documents. It defines each topic by a probability distribution over words and describes each document with a probability distribution over topics. In applications, there are often many requirements, such as, for example, problem-specific knowledge and additional data, to be taken into account. Therefore, it is natural for topic modelling to be considered a multiobjective optimization problem. However, historically, Bayesian learning became the most popular approach for topic modelling. In the Bayesian paradigm, all requirements are formalized in terms of a probabilistic generative process. This approach is not always convenient due to some limitations and technical difficulties. In this work, we develop a non-Bayesian multiobjective approach called the Additive Regularization of Topic Models (ARTM). It is based on regularized Maximum Likelihood Estimation (MLE), and we show that many of the well-known Bayesian topic models can be re-formulated in a much simpler way using the regularization point of view. We review some of the most important types of topic models: multimodal, multilingual, temporal, hierarchical, graph-based, and short-text. The ARTM framework enables easy combination of different types of models to create new models with the desired properties for applications. This modular 'lego-style' technology for topic modelling is implemented in the open-source library BigARTM. © 2017 FRUCT.
This book constitutes the refereed proceedings of the 10th International Conference on Machine Learning and Data Mining in Pattern Recognition, MLDM 2014, held in St. Petersburg, Russia in July 2014. The 40 full papers presented were carefully reviewed and selected from 128 submissions. The topics range from theoretical topics for classification, clustering, association rule and pattern mining to specific data mining methods for the different multimedia data types such as image mining, text mining, video mining and Web mining.