赤外線と可視光画像の融合において、視覚的融合品質と意味的タスクの精度の両立が難しい長期的な問題に対し、本論文では意味的事前情報に基づくマルチモーダル意味分割強化フレームワークを提案する。既存の赤外線-可視光融合手法は、融合画像の視覚品質をある程度向上させることはできるが、画像内の意味情報の表現を弱める傾向があり、下流の意味分割タスクの性能に影響を与える。本研究では、この問題を解決するために、事前学習済みのSAM（Segment Anything Model）を固定された意味的事前情報モデルとして導入し、融合過程でマルチモーダル特徴学習を誘導し、意味情報の一貫性を保持する。提案フレームワークでは、RGB画像と赤外線画像がまず部分的にSAMエンコーダに入力され、多層レベルの視覚特徴表現を取得し、同時に専用設計の融合モジュールを通じて異なるモダリティ間の補完的特徴を抽出する。各特徴段階で、SAMが抽出した特徴は意味保持ブランチを通じてさらに最適化され、意味認識型クロスモーダル強化モジュールによって特徴強化が行われる。本モジュールはテキストラベル埋め込み情報を融合することで、モデルの異なるカテゴリ対象への応答能力を向上させ、対象境界領域の分割精度を効果的に高める。実験結果は、本手法が意味情報の保持能力、融合精度、および視覚的再構成品質の面で顕著な改善を達成し、赤外線-可視光意味分割タスクにおけるフレームワークの有効性と安定性を検証したことを示している。

マルチモーダル意味分割;赤外-可視光画像融合;事前学習済みSAM;特徴調整;ゲーティング融合機構;意味的事前情報;クロスモーダル学習