?
Biases in expert judgements in large-scale S&T Delphi Surveys: How to cope with them?
Technological Forecasting and Social Change. 2025. Vol. 218. Article 124223.
When preparing to a new large-scale science and technology (S&T) Foresight study we decided to analyse available previous Delphi surveys in order to assess the results they achieve. The most important issue for us was how to avoid biases in expert judgements, in particular related to reaching convergence in the second round of the survey compared to the first round. This article presents the results, which turned out to be unexpected for us.
The paper is devoted to analyzing the key characteristics of the Delphi method used in large-scale S&T Foresight studies. It provides insight into the major features of the method, its strong and weak points. A closer analysis is paid to potential constraints of using the Delphi method related to expert judgement biases and approaches to cope with them. There were identified three major groups of typical biases in expert judgements in Delphi studies; for each of them a number of approaches proposed to minimize the biases.
Based on analysis of five large-scale national S&T Delphi surveys (conducted in Japan, Germany, UK, and Russia), it was shown that there is a systemic bias in judgements given by experts in their assessment of importance of topics in the second round compared to the first round. It is also shown that in most cases the variance of expert's judgements in the second round of the survey is higher than in the first round, which means that the second round both gives a systemic bias of judgements and in general does not lead to convergence of expert opinions. It leads to a discussion on the approaches and practical instruments, which can increase the quality of Delphi outputs and make them more useful for policy-making.
ПУБЛИКАЦИЯ ПОДГОТОВЛЕНА ПО РЕЗУЛЬТАТАМ ПРОЕКТА:
Лысенок Н. И., International Journal of Computer Information Systems and Industrial Management Applications 2026 Vol. 18 No. 18s P. 1406–1430
A volatility forecast becomes useful only after it has passed through four stages: a model produces it, a trading rule consumes it, a portfolio aggregates the result, and an investor evaluates that result against a utility function. Each stage has its own mature evaluation apparatus, and each is studied in isolation. This review traces the ...
Добавлено: 23 августа 2026 г.
Паршаков П. А., Humanities and Social Sciences Communications 2026 Vol. 13 No. 1 P. 1–7
Добавлено: 22 августа 2026 г.
Астафьева Е.В., Турунцева М. Ю., Экономический журнал Высшей школы экономики 2021 Т. 25 № 1 С. 65–101
В основе принятия своевременных экономико-политических решений и бизнес-планирования лежит мониторинг текущей ситуации и прогнозирование путей развития экономической активности, базу которых составляют официальные статистические оценки значений различных показателей. В этой связи переоценка данных и прогнозы, основанные на более ранних либо поздних оценках, потенциально могут повлечь за собой совершенно различные экономико-политические решения. Согласно официальной методике Росстата, публикуется ...
Добавлено: 21 августа 2026 г.
Астафьева Е., Турунцева М., Научный вестник ИЭП им. Гайдара.ру (электронный журнал) 2022 № 7 С. 32–35
В статье приводятся результаты анализа качественных свойств прогнозов некоторых показателей, ежемесячно публикуемых Институтом экономической политики имени. Е.Т. Гайдара в «Научном вестнике ИЭП им. Гайдара.ру» (далее – «прогнозы ИЭП»). Мы рассматриваем простейшие статистики (MAPE, MAE, RMSE) как прогнозов ИЭП, так и альтернативных прогнозов (наивных, наивных сезонных и прогнозов, построенных с использованием скользящего среднего). Помимо сравнительного анализа на основе ...
Добавлено: 21 августа 2026 г.
Астафьева Е., Турунцева М., Научный вестник ИЭП им. Гайдара.ру (электронный журнал) 2021 № 7 С. 32–35
В статье приводятся результаты анализа качественных свойств прогнозов некоторых показателей, ежемесячно публикуемых Институтом экономической политики имени. Е.Т. Гайдара в «Научном вестнике ИЭП им. Гайдара.ру» (далее – «прогнозы ИЭП»). Мы рассматриваем простейшие статистики (MAPE, MAE, RMSE) как прогнозов ИЭП, так и альтернативных прогнозов (наивных, наивных сезонных и прогнозов, построенных с использованием скользящего среднего). Помимо сравнительного анализа на основе ...
Добавлено: 21 августа 2026 г.
Астафьева Е., Турунцева М., Научный вестник ИЭП им. Гайдара.ру (электронный журнал) 2021 № 1 С. 32–35
В статье приводятся результаты анализа качественных свойств прогнозов некоторых показателей, ежемесячно публикуемых Институтом экономической политики имени. Е.Т. Гайдара в «Научном вестнике ИЭП им. Гайдара.ру» (далее – «прогнозы ИЭП»). Мы рассматриваем простейшие статистики (MAPE, MAE, RMSE) как прогнозов ИЭП, так и альтернативных прогнозов (наивных, наивных сезонных и прогнозов, построенных с использованием скользящего среднего). Помимо сравнительного анализа на основе ...
Добавлено: 21 августа 2026 г.
Астафьева Е.В., Турунцева М. Ю., Прикладная эконометрика 2024 Т. 74 № 2 С. 78–103
Комбинирование прогнозов считается наиболее простым способом улучшения каче‑ ства прогнозирования по сравнению с индивидуальными моделями. В данной работе проверяются возможности простейших методов комбинирования, таких как простое среднее и оценки на основе среднеквадратической ошибки прогнозов предыдущих пери‑ одов, для улучшения качественных характеристик краткосрочных прогнозов пяти по‑ казателей цен на ресурсы (нефть и металлы). В основе работы ...
Добавлено: 21 августа 2026 г.
Астафьева Е.В., Турунцева М. Ю., Вестник Евразийской науки 2025 Т. 17 № 6
В работе исследуются возможности использования простых процедур корректировки и объединения прогнозов. Мы оцениваем влияние применения этих процедур (методов простой корректировки, простых и регрессионных методов комбинирования) на качество прогнозов показателей российского экспорта во все страны и импорта из всех стран. В общей сложности мы использовали четыре метода корректировки, 9 методов простого комбинирования и семь регрессионных методов. ...
Добавлено: 21 августа 2026 г.
Формирование новых трансконтинентальных транспортных артерий усиливает геоэкономическую конкуренцию в Евразии и требует выработки устойчивых моделей инвестиционного сотрудничества. Китайская инициатива «Пояс и Путь» и Международный Транспортный Коридор «Север-Юг» представляют собой различные институциональные конструкции финансирования инфраструктуры, отличающиеся источниками капитала, степенью централизации и механизмами распределения рисков. Цель статьи заключается в сравнении модели финансирования двух проектов, оценке их взаимодополняемости ...
Добавлено: 19 августа 2026 г.
Гаете С. М., Navarra: Eunsa, 2026.
«На пути к университету пятого поколения (5GU)» — это работа, в которой предлагается трансформационная модель управления для высших учебных заведений, способная ответить на вызовы в области устойчивого развития, цифровой рефлексии и совместного творчества с участием различных заинтересованных сторон. Начиная с исторического обзора — от «Университета 1.0», ориентированного на сохранение знаний, до «Университета 5.0», — в ...
Добавлено: 18 августа 2026 г.
Лысенок Н. И., International Journal of Computer Information Systems and Industrial Management Applications 2026 Vol. 18 No. 17s P. 533–549
Добавлено: 18 августа 2026 г.
Бернюкевич Т. В., Бернюкевич А. А., Сунь Я., Вестник Московского государственного строительного университета 2026 Т. 21 № 1 С. 122–134
Введение. Актуальность исследования мегаполисов как центров научно-технической деятельности и инновационно-экономического пространства Китая определяется необходимостью изучения механизмов реализации государственной политики в экономической и социальной сферах, анализа принципов управления экономическими системами и оценки методов стратегического менеджмента в контексте инновационного развития. Цель исследования — выявление параметров и основных направлений развития китайских мегаполисов как инновационных центров.
Материалы и методы. Применены методы: восхождения от абстрактного ...
Добавлено: 17 августа 2026 г.
Шапошников С. В., Asia and Africa today 2025
Цифровая трансформация малых и средних предприятий (МСП) в Индии критически важна для повышения конкурентоспособности и улучшения экономических результатов. Она также помогает решить проблемы безработицы и регионального неравенства. Однако МСП сталкиваются с финансовыми трудностями, нехваткой цифровых навыков, сопротивлением изменениям и проблемами кибербезопасности. Авторы анализируют влияние правительственных инициатив, таких как Digital India, CGTMSE, Digital MSME Scheme и ...
Добавлено: 14 августа 2026 г.
Проанализирована динамика совокупной производительности факторов (СПФ) на российских предприятиях в 2018—2024 гг., рассчитанная на базе оценок транслогарифмической производственной функции для 290 отраслей. Производственные функции оценивались с использованием подхода Ackerberg—Caves—Frazer на основании контрольной функции, чтобы учесть эндогенность и проблемы функциональной зависимости. Согласно нашим оценкам, СПФ (как простая средняя, так и средневзвешенная по добавленной стоимости) в добыче ...
Добавлено: 13 августа 2026 г.
Боброва А. С., Никитина И. А., Философский журнал 2026 Т. 19 № 1 С. 163–177
Проблемы когнитивных искажений не перестают волновать специалистов разных областей. В статье показывается, какой вклад в изучение этих вопросов способны вносить логико-философские исследования. Их ригористичность обнажает пробле- мы, обычно остающиеся в тени в рамках, например, психологии. Мы рассматрива- ем логическое моделирование таких когнитивных искажений, как эффекты фрей- минга. В общем виде под этими эффектами понимается то, ...
Добавлено: 5 марта 2026 г.
Rocheva A., Варшавер Е. А., Ivanova N., , in: Migration Research in a Digitized World.: Springer, 2022. P. 35–57.
Добавлено: 10 ноября 2022 г.
Лукинский В. С., Лукинский В. В., Sokolov B. и др., , in: Advances in Production Management Systems. Artificial Intelligence for Sustainable and Resilient Production Systems: IFIP WG 5.7 International Conference, APMS 2021, Nantes, France, September 5–9, 2021, Proceedings* 5.: Switzerland: Springer, 2021. P. 477–485.
Добавлено: 9 сентября 2021 г.
ван де Вайвер Ф., , in: Cross-cultural analysis: methods and applications, second edition.: L.: Routledge, 2018. P. 3–43.
Добавлено: 29 октября 2018 г.
Майлз Я. Д., Саритас О., Соколов А. В., , in: Foresight for Science Technology and Innovation.: Netherlands: Springer, 2016. P. 95–124.
...
Добавлено: 23 сентября 2016 г.
Chulok A., , in: Deploying Foresight for Policy and Strategy Makers: Creating Opportunities Through Public Policies and Corporate Strategies in Science, Technology and Innovation.: Netherlands: Springer, 2016. P. 125–143.
Добавлено: 31 мая 2016 г.
Штефан М. А., Орнатский А. А., Финансы и кредит 2015 № 5 (629) С. 51–63
В статье на основе анализа предлагаемых в специальной литературе и на практике методов и критериев оценки инвестиционных проектов сделан вывод о необходимости использования не только количественных, но и качественных характеристик объектов инвестирования. Предложено для выбора наиболее привлекательных и оптимальных инвестиционных проектов дополнительно к широко апробированным количественным методам, основанным на дисконтированных критериях оценки (чистой приведенной стоимости, ...
Добавлено: 29 января 2015 г.