Проектирование инструментария для выбора методов интерпретируемого машинного обучения

А. В. Суворова; А. В. Смирнова

?

Проектирование инструментария для выбора методов интерпретируемого машинного обучения

С. 247–257.

Интерпретируемые методы машинного обучения (IML) дают ценную информацию о поведении модели, но из-за разнообразия доступных инструментов интерпретации конкретное решение может не оптимально соответствовать потребностям целевых пользователей. Для поддержки принятия решений при построении и исследовании моделей мы предлагаем модульную структуру для выбора алгоритма. Структура основана на обзоре свойств методов IML, доступных метриках и существующих руководствах по разработке и оценке систем объяснения.

Язык: русский

Полный текст

Текст на другом сайте

Ключевые слова: метрики качества Quality metrics explainable AI объяснимый ИИ Algorithm Selection выбор алгоритма

В книге

Интегрированные модели и мягкие вычисления в искусственном интеллекте ИММВ-2022. Сборник научных трудов XI Международной научно-практической конференции. В 2-х томах, том 1

Т. 1. , Универсум, 2022.

Topological Metric for Unsupervised Embedding Quality Evaluation

Shestov A., Klenitskiy A., Denisova D. и др., , in: Advances in Information Retrieval: 48th European Conference on Information Retrieval, ECIR 2026, Delft, The Netherlands, March 29 – April 2, 2026, Proceedings, Part II. (LNCS, volume 16484).: Cham: Springer Publishing Company, 2026. P. 596–605.

Добавлено: 18 июня 2026 г.

Проблема рационализации и чрезмерного полагания на инструменты XAI: анализ объяснений больших языковых моделей

Суворова А. В., В кн.: XXII национальная конференция по искусственному интеллекту с международным участием (КИИ-2025)Т. 1.: СПб.: Санкт-Петербургский Федеральный исследовательский центр РАН, 2025. С. 310–318.

В работе исследуется проблема чрезмерного полагания (overreliance) пользователей на результаты интерпретации моделей машинного обучения, а также способов ее решения с помощью пояснений, генерируемых большими языковыми моделями (LLM). Результаты эксперимента показали, что большинство моделей, так же как и пользователи-люди в исходном эксперименте, игнорировали аномалии или предлагали правдоподобные, но ложные объяснения, рационализируя выводы. Это указывает на риски ...

Добавлено: 15 февраля 2026 г.

A review of Explainable Artificial Intelligence in healthcare

Sadeghi Z., Alizadehsani R., Cifci M. A. и др., Computers and Electrical Engineering 2024 Vol. 118 No. A Article 109370

Добавлено: 8 июня 2024 г.

Estimating the Transfer Learning Ability of a Deep Neural Networks by Means of Representations

Magai German, Soroka A., , in: Advances in Neural Computation, Machine Learning, and Cognitive Research VIIVol. 1120.: Studies in Computational Intelligence, 2023.

Добавлено: 29 октября 2023 г.

Revealing stock liquidity determinants by means of explainable AI: The role of ESG before and during the COVID-19 pandemic

Tamara Teplova, Tatiana Sokolova, David Kissa, Resources Policy 2023 Vol. 86 No. B Article 104253

Добавлено: 23 октября 2023 г.

A Visual Analytics System for Improving Attention-based Traffic Forecasting Models

Джин С., Lee H., Park C. и др., IEEE Transactions on Visualization and Computer Graphics 2023 Vol. 29 No. 1 P. 1102–1112

Добавлено: 17 мая 2023 г.

Bringing Explainability to Model Deployment Pipeline in Deep Learning Workbench

Демидовский А. В., Savina T., Suvorov A. и др., , in: Proceedings of Seventh International Congress on Information and Communication Technology. ICICT 2022, London, Volume 2Vol. 2.: Springer, 2022. P. 785–794.

Добавлено: 11 августа 2022 г.

Interpretable Feature Generation in ECG Using a Variational Autoencoder

Kuznetsov V. V., Moskalenko V. A., Грибанов Д. В. и др., Frontiers in Genetics 2021 Article 638191

Добавлено: 29 октября 2021 г.

Machine Learning Models Interpretations: User Demands Exploration

Anna Smirnova, Суворова А. В., , in: Digital Transformation and Global Society: 5th International Conference, DTGS 2020, St. Petersburg, Russia, June 17–19, 2020, Revised Selected Papers.: Springer, 2020. Ch. 8 P. 107–116.

Добавлено: 30 сентября 2021 г.

Interpretable Concept-Based Classification with Shapley Values

Игнатов Д. И., Kwuida L., , in: Ontologies and Concepts in Mind and Machine. 25th International Conference on Conceptual Structures, ICCS 2020.: Springer, 2020. P. 90–102.

Добавлено: 30 октября 2020 г.

Shapley and Banzhaf Vectors of a Formal Concept

Игнатов Д. И., Kwuida L., , in: Proceedings of the Fifthteenth International Conference on Concept Lattices and Their ApplicationsVol. 2668.: CEUR-WS.org, 2020. P. 259–271.

Добавлено: 30 октября 2020 г.

Численные параметры пользовательского интерфейса

Крылов С. В., Пчельникова М. И., Вестник компьютерных и информационных технологий 2015 № 12 С. 50–55

Представлены метрики пользовательского интерфейса, численно характеризующие программное обеспечение и позволяющие делать обоснованные сравнения и выводы о его качестве.Приведены примеры измерения удачных и неудачных программных продуктов, представлены получившиеся результаты. ...

Добавлено: 9 ноября 2018 г.

Neural Approach to the Discovery Problem in Process Mining

Shunin T., Zubkova N., Sergey Shershakov, , in: Analysis of Images, Social Networks and Texts. 7th International Conference AIST 2018.: Springer, 2018. P. 261–273.

Добавлено: 21 июня 2018 г.

What is a Fair Value of Your Recommendation List?

Бобриков В. В., Ненова Е. Н., Игнатов Д. И., , in: Proceedings of the Third Workshop on Experimental Economics and Machine Learning (EEML 2016), Moscow, Russia, July 18, 2016Vol. 1627.: Aachen: CEUR Workshop Proceedings, 2016. P. 1–12.

Добавлено: 24 октября 2016 г.

Оценка качества процесса сопровождения ИТ-систем

Сухов А. А., Семин В. Г., Никольский С. Н., В кн.: Программное и информационное обеспечение систем различного назначения на базе персональных ЭВМ: межвузовский сборник научных трудовВып. 13.: М.: Московский государственный университет приборостроения и информатики, 2010. С. 80–86.

В статье приведены результаты разработки подхода к построению модели качества процесса сопровождения ИТ-систем. Предложены метрики для оценки качества процесса управления проблемами. ...

Добавлено: 11 мая 2012 г.