복잡한 장면에서 융합 모델은 적외선 이미지의 전역 대규모 구조와 가시광선 이미지의 국부 소규모 세부 특징을 완벽하게 추출하고 이를 협력적으로 융합하기 어렵기 때문에 융합 효과가 좋지 않은 경우가 많다. 본 논문은 규모 분업에 기반한 협력 융합 원칙을 제안하고, 오토인코더 구조 기반의 새로운 융합 모델을 설계하였으며, 모델의 인코더와 디코더는 합성곱 신경망(CNN) 구조를 사용한다. 본 모델은 전역 쌍체 주의 메커니즘을 이용해 길이와 너비 방향으로 특징 맵을 그룹으로 나누어 정보를 추출한 후, 채널 간 쌍체 주의 맵을 통해 특징 맵에 가중치를 부여하여 더 많은 전역 대규모 구조 정보를 포함하는 새로운 특징 맵을 생성하여 다차원 이미지 정보 추출을 실현한다; 다중 규모의 확장된 풀링 합성곱 메커니즘을 이용해 다양한 크기의 수용 영역과 전역 평균, 중간 값 풀링 연산을 수행하여 이미지 내 국부 소규모 특징 정보를 추출한다; 디코더는 밀집 연결 층과 스킵 연결을 통합하여 대규모 구조와 소규모 세부 특징을 협력적으로 융합해 융합 이미지를 재구성한다. 실험 결과, 본 방법은 MSRS 및 TNO 데이터셋에서 다른 방법과 비교할 때 정보 엔트로피, 평균 그래디언트, 엣지 강도를 각각 0.95%, 6.28%, 6.19% 그리고 1.75%, 13.51%, 11.75% 향상시켰다. 공간 주파수는 MSRS 데이터셋에서 4.61% 향상되었으며, TNO 데이터셋에서는 MDLSR-RFM 방법 다음으로 우수해 복잡한 장면에서 융합 이미지 품질을 효과적으로 향상시키고 안정성과 일반화 능력 또한 뛰어나다.

적외선 및 가시광선 영상 융합;영상 개선;전역 쌍체 주의;확장 합성곱