В сложных сценариях модели слияния часто испытывают трудности с полным извлечением глобальной крупномасштабной структуры инфракрасных изображений и локальных мелкомасштабных деталей видимых изображений и их совместным слиянием, что приводит к плохому качеству слияния. В данной статье предложен принцип кооперативного слияния на основе масштабного разделения, разработана новая модель слияния на основе структуры автоэнкодера, где кодировщик и декодировщик построены на сверточных нейронных сетях (CNN). Модель использует глобальный механизм двойного внимания групп, который извлекает информацию из карты признаков путем группировки по длине и ширине, а затем с помощью кросс-канального двойного внимания взвешивает картину признаков, создавая новую карту признаков с большим объемом глобальной крупномасштабной информацией, что позволяет извлекать информацию изображения в нескольких измерениях; используется многомасштабный механизм полувпускного свертки с полостями, с разными размерами рецептивных полей и операциями глобального среднего и медианного пулинга для извлечения локальных мелкомасштабных особенностей; декодер интегрирует плотные соединения и пропускающие связи крупномасштабной структуры и мелких деталей, что позволяет им кооперативно сливаться и реконструировать итоговое изображение. Результаты экспериментов показывают, что метод на наборах данных MSRS и TNO по сравнению с другими методами увеличивает энтропию информации, средний градиент и интенсивность границ на 0,95%, 6,28%, 6,19% и 1,75%, 13,51%, 11,75% соответственно. Пространственная частота на наборе данных MSRS увеличилась на 4,61%, а на TNO была второй после метода MDLSR-RFM, эффективно улучшая качество слияния изображений в сложных сценариях, а также обладает хорошей стабильностью и обобщающей способностью.

слияние инфракрасных и видимых изображений;улучшение изображений;глобальное двойное групповое внимание;полостная свертка