?
Геометрический подход к интерпретации синтаксической структуры предложения на основе контекстуализированных векторных представлений
Анализ векторных представлений языковых моделей позволяет исследователям выявить, какие лингвистические свойства (например, частеречная классификация, синтаксические связи, семантические отношения) закодированы в векторах. В своей работе мы исследуем, как изменяется геометрия пространства векторных представлений при сохранении лексики и изменения синтаксиса предложений. Мы собрали датасет из 1000 пар предложений вида <(0) местоимение ‘он’ (1) глагол (2) существительное в винительном падеже (3) существительное в родительном?дательном падеже>. За счет смены падежа внутри каждой пары меняются только синтаксические связи между словами, а лексика сохраняется. Например: <он находит игрушку ребёнка/он находит игрушку ребёнку>, <он покажет труд работника/он покажет труд работнику>. Мы векторизовали предложения с помощью BERT модели для русского языка: RuBERT от DeepPavlov. Далее изменения в геометрии пространства анализировались тремя способами: мы классифицировали предложения на основе попарных расстояний между словами, на основе метрики Representation Topology Divergence и с помощью анализа топологии матриц внимания. Для каждого слоя модели обучался свой классификатор, качество оценивалось с помощью точности и метрики MCC – Matthews correlation coefficient. Эксперименты показали, что изменение геометрии расположения точек и топологии матриц внимания на некоторых слоях модели позволяет определить синтаксическую структуру предложения с точностью до 80-85%. Полученные результаты подтверждают потенциал геометрических и топологических методов как инструмента для исследования семантических и синтаксических свойств векторных пространств.