Il existe des différences dans la distribution des informations spatiales entre différentes modalités d'imagerie médicale, ce qui nuit à l'alignement efficace dans l'espace des caractéristiques profondes, entraînant la perte d'informations superficielles dans certaines régions de l'image fusionnée ou une dépendance excessive à une modalité particulière. Pour remédier à ce problème, un modèle de fusion d'images médicales asymétrique basé sur Restoration Transformer (Restormer) et un mécanisme d'attention double est proposé. Tout d'abord, le module Restormer est utilisé pour extraire les caractéristiques profondes des images multimodales, en intégrant un mécanisme d'attention double pour extraire les caractéristiques globales et locales. Ensuite, une stratégie d'intégration asymétrique des caractéristiques est conçue, avec un encodeur de caractéristiques indépendant pour chaque modalité et une fusion des caractéristiques extraites. Enfin, les caractéristiques fusionnées sont décodées pour générer l'image fusionnée. Le modèle est entraîné en deux étapes : la première consiste à extraire les caractéristiques globales et locales des différentes modalités et à tenter de reconstruire l'image originale pour calculer la perte ; la seconde continue d'extraire des caractéristiques profondes et de générer l'image fusionnée. Comparé à sept modèles de fusion d'images de premier plan, le modèle améliore en moyenne de 12,63 %, 28,30 %, 31,37 %, 27,40 %, 19,01 %, 37,36 % et 32,44 % respectivement l'écart type, la fréquence spatiale, la fidélité de l'information visuelle, la corrélation spectrale, l'information mutuelle, le gradient moyen et l'indice Q utilisé pour évaluer la fusion mixte. La stratégie de fusion de ce modèle permet non seulement d'intégrer efficacement les caractéristiques codées issues de différentes modalités, mais aussi d'intégrer les informations complémentaires et d'interagir globalement sans avoir à concevoir manuellement des règles de fusion, ce qui améliore la fusion des images multimodales.

fusion d'images médicales; mécanisme d'attention double; fusion asymétrique; apprentissage en deux étapes