서로 다른 의료 영상 모달리티 간 공간 정보 분포에 차이가 있어 깊은 특징 공간의 효과적인 정렬이 어렵고, 이로 인해 융합 이미지의 특정 영역에서 얕은 정보가 손실되거나 특정 모달리티 정보에 과도하게 의존하는 문제가 발생한다. 이러한 문제를 해결하기 위해 Restoration Transformer(Restormer)와 이중 주의 메커니즘을 기반으로 한 비대칭 의료 영상 융합 모델을 제안한다. 먼저 Restormer 모듈을 사용하여 서로 다른 모달리티 영상의 깊은 특징을 탐색하고, 이중 주의 메커니즘을 도입하여 서로 다른 모달리티 영상의 전역 및 국부 특징을 추출한다. 다음으로, 비대칭 특징 융합 전략을 설계하여 각 모달리티별 독립적인 특징 인코더를 만들고 추출한 특징을 융합한다. 마지막으로 융합한 특징을 디코더를 통해 융합 영상을 생성한다. 본 모델은 2단계 훈련을 적용하는데, 1단계에서는 서로 다른 모달리티 영상에서 전역 및 국부 특징을 추출하고 원본 영상을 재구성하여 손실을 계산하며, 2단계에서는 심층 특징을 계속 추출하고 융합 영상을 생성한다. 7가지 주류 영상 융합 모델과 비교하여 본 모델은 표준 편차, 공간 주파수, 시각 정보 충실도, 스펙트럼 상관도, 상호 정보, 평균 기울기, 혼합 융합 평가 지표 Q 지수 등 7가지 평가 지표에서 각각 평균 12.63%, 28.30%, 31.37%, 27.40%, 19.01%, 37.36%, 32.44% 향상되었다. 본 모델의 융합 전략은 서로 다른 모달리티에서 나온 인코딩 특징을 효율적으로 통합할 뿐만 아니라 수동으로 융합 규칙을 설계하지 않고도 보완 정보 통합과 전역 정보 상호 작용을 완성하여 서로 다른 모달리티 이미지를 더 잘 융합할 수 있게 한다.

의료 영상 융합; 이중 주의 메커니즘; 비대칭 융합; 2단계 훈련