異なる医療画像モダリティ間では空間情報の分布に差異があり、深層特徴空間の効果的な整合を妨げており、融合画像の特定領域で浅層情報の欠落や一つのモダリティ情報への過度な依存を引き起こしている。この問題に対し、Restoration Transformer（Restormer）と二重注意機構に基づく非対称医療画像融合モデルを提案した。まず、Restormerモジュールを用いて異なるモダリティ画像の深層特徴を抽出し、二重注意機構を導入して異なるモダリティ画像のグローバルおよびローカル特徴を抽出する。次に、非対称特徴融合戦略を設計し、各モダリティに独立した特徴エンコーダを設け、抽出した特徴を融合する。最後に、融合した特徴をデコーダを通して融合画像として生成する。本モデルは二段階の訓練を採用し、第1段階では異なるモダリティ画像からグローバルおよびローカル特徴を抽出し、元画像の再構成により損失を計算する。第2段階では深層特徴を継続抽出し融合画像を生成する。7つの主流画像融合モデルと比較して、標準偏差、空間周波数、視覚情報忠実度、スペクトル相関度、相互情報量、平均勾配、混合融合評価のQ指数の7つの評価指標でそれぞれ平均12.63%、28.30%、31.37%、27.40%、19.01%、37.36%、32.44%の向上を示した。本モデルの融合戦略は異なるモダリティの符号化特徴を効率的に統合するだけでなく、手動で融合ルールを設計することなく補完情報の統合とグローバル情報の交流を実現し、異なるモダリティ画像のより良い融合を可能にする。

医療画像融合;二重注意機構;非対称融合;二段階訓練