ИССЛЕДОВАНИЕ ВЛИЯНИЯ АДАПТИВНОЙ СПЕКТРАЛЬНОЙ НОРМАЛИЗАЦИИ НА КАЧЕСТВО ГЕНЕРАТИВНЫХ МОДЕЛЕЙ И СТАБИЛЬНОСТЬ ИХ ОБУЧЕНИЯ

Доклады Российской академии наук. Математика, информатика, процессы управления (ранее - Доклады Академии Наук. Математика). 2023. Т. 514. № 2. С. 49–59.

Егоров Е. А., Рогачев А. И.

При использовании для обучения генеративно-состязательных сетей (GAN) функции потерь, основанной на расстоянии Вассерштейна (т.н. Wasserstein GAN), теоретически необходимым является ограничение выразительной способности дискриминатора (нормализация дискриминатора). Такое ограничение повышает стабильность обучения GAN ценой меньшей выразительности итоговой модели. Спектральная нормализация является одним из алгоритмов нормализации и заключается в применении фиксированной операции независимо к каждому слою дискриминатора. Однако для разных задач оптимальная сила ограничения дискриминатора различается, поэтому возникает необходимость в параметризованном методе нормализации. В данной работе предлагаются варианты модификации алгоритма спектральной нормализации, позволяющие изменять силу ограничения дискриминатора. Помимо параметризации, в предлагаемых методах сила ограничения может меняться во время обучения в отличие от оригинального алгоритма. Для каждого из предложенных методов исследуется качество получаемых моделей.

Ключевые слова: high energy physics, физика высоких энергий, generative models, генеративно-состязательные сети, Generative adversarial network, глубокие генеративные модели, spectral normalization, спектральная нормализация

ПУБЛИКАЦИЯ ПОДГОТОВЛЕНА ПО РЕЗУЛЬТАТАМ ПРОЕКТА: Исследование точных моделей быстрой симуляции методами машинного обучения при прохождении заряженных частиц: разработка методов (2023)