적외선-가시광 영상 융합에서 시각적 융합 품질과 의미론적 작업 정확도 간의 균형을 맞추기 어려운 장기적인 문제를 해결하기 위해 본 논문에서는 의미론적 사전 지식을 기반으로 다중 모달 의미분할 강화 프레임워크를 제안한다. 기존의 적외선-가시광 영상 융합 방법은 융합 영상의 시각적 품질을 일정 부분 향상시킬 수 있으나 종종 영상 내 의미 정보의 표현을 약화시켜 하류 의미분할 작업의 성능에 영향을 미친다. 이를 해결하기 위해 본 논문에서는 사전 학습된 SAM(Segment Anything Model)을 고정된 의미론적 사전 모델로 도입하여 융합 과정에서 다중 모달 특징 학습을 유도함으로써 의미 정보의 일관성을 유지한다. 제안된 프레임워크에서 RGB 영상과 적외선 영상은 먼저 SAM 인코더에 부분 입력되어 다계층 시각 특징 표현을 얻고, 동시에 특수 설계된 융합 모듈을 통해 서로 다른 모달 간 상보적 특징을 추출한다. 각 특징 단계에서 SAM이 추출한 특징은 의미 보존 분기를 통해 추가 최적화되며, 의미 인식 크로스 모달 강화 모듈을 도입하여 특징을 강화한다. 이 모듈은 텍스트 라벨 임베딩 정보를 융합하여 모델의 다양한 목표 클래스에 대한 반응 능력을 향상시키고 목표 경계 영역의 분할 정확도를 효과적으로 높인다. 실험 결과는 제안된 방법이 의미 정보 유지 능력, 융합 정밀도 및 시각적 재구성 품질 측면에서 모두 유의미한 향상을 보여 적외선-가시광 의미분할 작업에서 프레임워크의 유효성과 안정성을 검증한다.

다중 모달 의미분할; 적외선-가시광 영상 융합; 사전 학습된 SAM; 특징 조절; 게이트 융합 메커니즘; 의미론적 사전; 크로스 모달 학습