Нейросетевое обучение метрик: сравнение функций потерь

Доклады Российской академии наук. Математика, информатика, процессы управления (ранее - Доклады Академии Наук. Математика). 2023. Т. 514. № 2. С. 60–71.

Дьяконов А. Г., Васильев Р. Л.

Представлен обзор методов обучения метрик с помощью глубоких нейронных сетей. Эти методы появились в последние годы, но сравнивались лишь с предшественниками, используя для обучения представлений (на которых вычисляется метрика) нейронные сети устаревших на данный момент архитектур. Проведено сравнение описанных методов на разных датасетах из нескольких доменов, используя предобученные нейронные сети, сопоставимые по качеству с SotA (state of the art): ConvNeXt для изображений, DistilBERT для текстов. Использовались размеченные наборы данных, разбитые на две части (обучение и контроль) таким образом, чтобы классы не пересекались (т.е. в контроле нет объектов тех классов, которые были в обучении). Подобное масштабное честное сравнение сделано впервые и привело к неожиданным выводам: некоторые “старые” методы, например Tuplet Margin Loss, превосходят по качеству свои современные модификации и методы, предложенные в совсем свежих работах.

Ключевые слова: метрика, machine learning, metric, deep learning, similarity, Машинное обучение и анализ данных, глубокое обучение, автоматическое машинное обучение, схожесть