?
Контролируемое дообучение трансформерных моделей для классификации текстов: влияние на качество классификации и сохранение знаний предобучения
Стандартное дообучение нейронных сетей с архитектурой трансформер на задачи классификации текстов обычно выполняется с использованием кросс-энтропийной функции потерь. Такой подход обладает ограниченной интерпретируемостью, поскольку не позволяет явно контролировать геометрию пространства представлений, формируемого моделью после оптимизации. В данной работе предложен новый метод дообучения, позволяющий явно задавать желаемую геометрию пространства эмбеддингов. В процессе оптимизации модель приближает свои представления к целевым векторам с использованием среднеквадратичной функции потерь, при этом целевые векторы формируются так, чтобы обеспечить линейную разделимость классов в пространстве эмбеддингов. Основные эксперименты проведены на датасетах SST-2 и QNLI. Полученные результаты показывают, что предложенный метод обеспечивает качество, сопоставимое со стандартным подходом на основе кросс-энтропийной функции потерь. Кроме того, проведённые эксперименты показывают, что предложенный метод лучше сохраняет локальную структуру пространства представлений и обеспечивает более высокие результаты линейного пробинга на части задач бенчмарка GLUE, что может свидетельствовать о лучшем сохранении знаний, приобретённых моделью на этапе предобучения.