Оценка моделей LLM по степени готовности решать задачи управления в области ESG

SSRN , 2025.

Сторчевой М. А., Мыльников Л. А., Чернышев В. В., Булатов А. В., Холоднов Н. Е., Баютина А. А., Кондратьева В. И.

Внимание к охране природы принимает все большую значимость для бизнеса с одной стороны в связи с ужесточением в природоохранном законодательстве, а с другой в связи с использованием ESG рейтингов при принятии решений о коммерческой деятельности компаний. Составление рейтинга LLM систем, способных оказывать консультационные услуги в области природоохраны и ESG, позволяет осуществить выбор такой системы для использова-ния в своей деятельности, что позволит как сократить текущие расходы на обеспечение этой деятельности, так и снизить объем возможных штрафов от принятия неверных решений. Ран-жирование существующих LLM осуществляется на основе эталонных ответов. Для ранжирова-ния выбраны LLM, использующие разные архитектуры нейронных сетей, а также сформулиро-ваны группы вопросов, сгруппированные по тематикам, предполагаемой форме ответа и сложности. Для ранжирования использован подход на основе оценки когерентности ответов LLM с эталонными ответами подготовленными экспертами.

Ключевые слова: рейтинг, ранжирование, экспертная деятельность, rating, environment protection, ecological regulation, когерентность, LLM, ESG, ESG, consultation, LLM

ПУБЛИКАЦИЯ ПОДГОТОВЛЕНА ПО РЕЗУЛЬТАТАМ ПРОЕКТА: Экономико-математический анализ рынков, игр и систем принятия решений (2025)