Статья
Modelling Stock Markets by Multi-agent Reinforcement Learning
Efficient regulation of internal homeostasis and defending it against perturbations requires adaptive behavioral strategies. However, the computational principles mediating the interaction between homeostatic and associative learning processes remain undefined. Here we use a definition of primary rewards, as outcomes fulfilling physiological needs, to build a normative theory showing how learning motivated behaviors may be modulated by internal states. Within this framework, we mathematically prove that seeking rewards is equivalent to the fundamental objective of physiological stability, defining the notion of physiological rationality of behavior. We further suggest a formal basis for temporal discounting of rewards by showing that discounting motivates animals to follow the shortest path in the space of physiological variables toward the desired setpoint. We also explain how animals learn to act predictively to preclude prospective homeostatic challenges, and several other behavioral patterns. Finally, we suggest a computational role for interaction between hypothalamus and the brain reward system.
We present two examples of how human-like behavior can be implemented in a model of computer player to improve its characteristics and decision-making patterns in video game. At first, we describe a reinforcement learning model, which helps to choose the best weapon depending on reward values obtained from shooting combat situations. Secondly, we consider an obstacle avoiding path planning adapted to the tactical visibility measure. We describe an implementation of a smoothing path model, which allows the use of penalties (negative rewards) for walking through ``bad'' tactical positions. We also study algorithms of path finding such as improved I-ARA* search algorithm for dynamic graph by copying human discrete decision-making model of reconsidering goals similar to Page-Rank algorithm. All the approaches demonstrate how human behavior can be modeled in applications with significant perception of intellectual agent actions.
Humans often change their beliefs or behavior due to the behavior or opinions of others. This study explored, with the use of human event-related potentials (ERPs), whether social conformity is based on a general performance-monitoring mechanism. We tested the hypothesis that conflicts with a normative group opinion evoke a feedback-related negativity (FRN) often associated with performance monitoring and subsequent adjustment of behavior. The experimental results show that individual judgments of facial attractiveness were adjusted in line with a normative group opinion. A mismatch between individual and group opinions triggered a frontocentral negative deflection with the maximum at 200 ms, similar to FRN. Overall, a conflict with a normative group opinion triggered a cascade of neuronal responses: from an earlier FRN response reflecting a conflict with the normative opinion to a later ERP component (peaking at 380 ms) reflecting a conforming behavioral adjustment. These results add to the growing literature on neuronal mechanisms of social influence by disentangling the conflict-monitoring signal in response to the perceived violation of social norms and the neural signal of a conforming behavioral adjustment.
Our decisions are affected not only by objective information about the available options but also by other people. Recent brain imaging studies have adopted the cognitive neuroscience approach for studying the neural mechanisms of social influence. A number of studies have shown that social influence is associated with neural activity in the medial prefrontal cortex and ventral striatum, which are two brain areas involved in the fundamental and not exclusively social mechanisms of performance monitoring. Therefore, the neural mechanisms of social influence could be deeply integrated into our general neuronal performance-monitoring mechanisms.
Анализ современного общества, пронизанного медиа, ведется с позиций этнометодологического подхода и представляет собой попытку ответа на кардинальный вопрос: что представляют собой наблюдаемые упорядоченности событий, транслируемых массовыми посредниками. Исследование ритуалов идет по двум основным направлениям: во-первых, в организационно-производственной системе медиа, ориентированной на постоянное воспроизводство, в основе которого лежит трансмиссионная модель и различение информация/неинформация и, во-вторых, в анализе восприятия этих сообщений аудиторией, представляющей собой реализацию ритуальной, или экспрессивной, модели, результатом которой является разделенный опыт. Это и означает ритуальный характер современных медиа.
В данной научной работе использованы результаты, полученные в ходе выполнения проекта № 10-01-0009 «Медиаритуалы», реализованного в рамках Программы «Научный фонд НИУ ВШЭ» в 2010-2012 гг.
Представлены результаты кросскультурного исследования взаимосвязи социального капитала и экономических представлений у русских (N=150) и китайцев (N=105). Выявлены различия в социальном капитале и экономических представлениях русских и китайцев. В обеих группах социальный капитал позитивно взаимосвязан с «продуктивными» экономическими представлениями и большинство взаимосвязей схожи по своей логике, однако существуют и культурная специфика.
Человечество переживает смену культурно-исторических эпох, что связано с превращением сетевых медиа в ведущее средство коммуникации. Следствием «дигитального раскола» оказываются изменения в социальных разделениях: наряду с традиционным «имущие и неимущие» возникает противостояние «онлайновые (подключенные) versus офлайновые (неподключенные)». В этих условиях теряют значение традиционные межпоколенческие различия, решающим оказывается принадлежность к той или иной информационной культуре, на основе которой формируются медиапоколения. В работе анализируются многообразные последствия осетевления: когнитивные, возникающие при использования «умных» вещей с дружественным интерфейсом, психологические, порождающие сетевой индивидуализм и нарастающую приватизацию общения, социальные, воплощающие «парадокс пустой публичной сферы». Показана роль компьютерных игр как «заместителей» традиционной социализации и образования, рассматриваются превратности знания, теряющего свое значение. В условиях избытка информации самым дефицитным на сегодня человеческим ресурсом оказывается человеческое внимание. Поэтому новые принципы ведения бизнеса можно определить как менеджмент внимания.
В данной научной работе использованы результаты, полученные в ходе выполнения проекта № 10-01-0009 «Медиаритуалы», реализованного в рамках Программы «Научный фонд НИУ ВШЭ» в 2010–2012 гг.