Il existe des différences dans la distribution des informations spatiales entre les modalités d'imagerie médicale différentes, ce qui rend difficile l'alignement efficace de l'espace des caractéristiques profondes, conduisant à la perte d'informations superficielles dans des régions spécifiques ou à une dépendance excessive aux informations d'une modalité particulière. Pour résoudre ce problème, un modèle de fusion d'images médicales asymétriques basé sur le transformateur de restauration (Restormer) et un mécanisme d'attention double a été proposé. Premièrement, utilisation du module Restormer pour explorer les caractéristiques profondes des images de modalités différentes et introduction d'un mécanisme d'attention double pour extraire des caractéristiques globales et locales des images de modalités différentes. Deuxièmement, conception d'une stratégie de fusion de caractéristiques asymétrique, où un codeur de caractéristiques indépendant est conçu pour chaque modalité, et les caractéristiques extraites sont fusionnées ; enfin, les caractéristiques fusionnées passent par un décodeur pour générer l'image fusionnée. Ce modèle a connu une formation en deux étapes, où dans la première phase, les caractéristiques globales et locales sont extraites des différentes images de modalités, et une tentative est faite pour reconstruire l'image d'origine pour calculer la perte, tandis que dans la deuxième phase, l'extraction de caractéristiques profondes se poursuit et une image fusionnée est générée. Par rapport à sept modèles courants de fusion d'images, une amélioration moyenne de 12,63%, 28,30%, 31,37%, 27,40%, 19,01%, 37,36% et 32,44% sur les sept indices d'évaluation, l'écart type, la fréquence spatiale, la fidélité visuelle, la corrélation spectrale, l'information mutuelle, le gradient moyen, et le Q index pour évaluer la fusion mixte a été observée. Cette stratégie de fusion permet non seulement d'intégrer efficacement les caractéristiques codantes de différentes modalités, mais elle ne nécessite pas non plus de concevoir manuellement des règles de fusion pour accomplir l'intégration des informations complémentaires et l'interaction des informations globales, ce qui permet de mieux fusionner les images de différentes modalités.

Fusion d'images médicales ; Mécanisme d'attention double ; Fusion asymétrique ; Formation en deux étapes