Существующие методы генерации изображений на основе циклических генеративных состязательных сетей достигают хороших результатов в задачах преобразования несопоставимых изображений за счет внедрения независимых универсальных модулей внимания, однако при этом увеличивается сложность модели и время обучения, а также сложно учесть все детали ключевых областей изображения, оставляя пространство для улучшения качества генерации. Для решения указанных проблем предложена циклическая генеративная состязательная сеть с двойным специализированным механизмом внимания (Dual-SAG-CycleGAN), в которой генератор и дискриминатор направляются разными механизмами внимания. Во-первых, предложен специализированный модуль внимания под названием SAG (Special Attention-mechanism Guided) для руководства генератором, который повышает качество сгенерированных изображений и одновременно уменьшает сложность сети; затем для дискриминатора используется модуль с специализированным механизмом внимания на основе CAM (Class Activation Mapping), подавляющий нерелевантный шум, создаваемый генератором; наконец, предложена циклическая функция потерь согласованности с маской фона для направления генератора к созданию более точных масок, лучше поддерживающих преобразование изображений. Эксперименты показали, что предложенный метод по сравнению с существующими аналогами снижает количество параметров модели примерно на 32.8%, ускоряет обучение на 34.5%, при этом минимальные значения KID и FID достигают 1.13 и 57.54 соответственно, обеспечивая более высокое качество изображений.

Генеративные состязательные сети;Преобразование несопоставимых изображений;Специализированный механизм внимания;Циклическая функция потерь;Генерация изображений