Dynamic convolution for image matching

European Physical Journal: Special Topics. 2024. P. 1–9.

Soloviev I., Ковальчук А. В., Клиньшов В. В.

Сверточные нейронные сети (CNN) повсеместно присутствуют в современных моделях компьютерного зрения, а также широко используются в других задачах, таких как распознавание голоса, анализ временных рядов, машинный перевод и т. д. В настоящей статье мы представляем новую архитектуру CNN, использующую динамические свертки, в которой ядра генерируются на основе входных данных. Мы применяем эту архитектуру к проблеме сопоставления изображений и разрабатываем двухветвевую сеть, в которой одна ветвь генерирует ядра, используемые в сверточных слоях другой ветви. Мы тестируем нашу модель на каноническом бенчмарке MNIST и демонстрируем, что она показывает более быстрое обучение и лучшую производительность, чем базовая модель со стандартными свертками. Потенциальные приложения нашей архитектуры включают многочисленные проблемы анализа изображений, прогнозирования временных рядов, машинного обучения на основе физической информации и т. д.

Ключевые слова: CNN (Convolutional neural network)