Проблема рационализации и чрезмерного полагания на инструменты XAI: анализ объяснений больших языковых моделей

С. 310–318.

Суворова А. В.

В работе исследуется проблема чрезмерного полагания (overreliance) пользователей на результаты интерпретации моделей машинного обучения, а также способов ее решения с помощью пояснений, генерируемых большими языковыми моделями (LLM). Результаты эксперимента показали, что большинство моделей, так же как и пользователи-люди в исходном эксперименте, игнорировали аномалии или предлагали правдоподобные, но ложные объяснения, рационализируя выводы. Это указывает на риски некритичного использования LLM для интерпретации моделей машинного обучения без дополнительных механизмов валидации.

Ключевые слова: машинное обучение, объяснимый ИИ, explainable AI (XAI), Large language models (LLM), user evaluation, пользовательское оценивание моделей

В книге

XXII национальная конференция по искусственному интеллекту с международным участием (КИИ-2025)

Т. 1. , СПб.: Санкт-Петербургский Федеральный исследовательский центр РАН, 2025.