В сложных сценариях моделям слияния часто трудно полноценно извлечь глобальную крупномасштабную структуру инфракрасных изображений и локальные мелкомасштабные детали видимых изображений и эффективно их совместно объединить, что приводит к плохому качеству слияния. В данной работе предложен принцип совместного слияния, основанный на разделении по масштабам, и разработана новая модель слияния, основанная на структуре автокодировщика, где кодировщик и декодировщик используют архитектуру сверточных нейронных сетей (CNN). Модель использует глобальный двойной групповой механизм внимания, который извлекает информацию из карт признаков по длине и ширине, а затем взвешивает карты признаков через двугрупповые карты внимания по каналам, создавая новые карты признаков с большим количеством глобальной крупномасштабной информации, обеспечивая извлечение многомерной информации изображения; использует многоуровневый пространственный пеленгованный свёрточный механизм, через различные размеры рецептивных полей и выполнение глобального среднего и медианного пулинга, для извлечения локальных мелкомасштабных признаков в изображениях; декодер интегрирует плотно связанные слои и скип-соединения крупномасштабной структуры и мелких деталей, чтобы они совместно сливались и реконструировали объединённое изображение. Экспериментальные результаты показывают, что на наборах данных MSRS и TNO по сравнению с другими методами энтропия информации, средний градиент и интенсивность краёв увеличились на 0,95%, 6,28%, 6,19% и 1,75%, 13,51%, 11,75% соответственно. Пространственная частота на наборе MSRS увеличилась на 4,61%, и на наборе TNO была второй после метода MDLSR-RFM, эффективно улучшая качество объединённых изображений в сложных сценариях, а также обладая хорошей стабильностью и обобщающей способностью.

слияние инфракрасных и видимых изображений;улучшение изображений;глобальное двойное групповое внимание;пеленгованный свёрточный слой