Entre las diferentes modalidades de imagen médica existen diferencias en la distribución de la información espacial, lo que dificulta el alineamiento efectivo del espacio de características profundas, lo que lleva a la pérdida de información superficial en áreas específicas o a una dependencia excesiva de la información de una modalidad particular. Para resolver este problema, se propuso un modelo de fusión de imágenes médicas asimétrico basado en el transformador de restauración (Restormer) y un mecanismo de atención doble. En primer lugar, se utiliza el módulo Restormer para explorar las características profundas de imágenes de diferentes modalidades e introducir un mecanismo de atención doble para extraer características globales y locales de imágenes de diferentes modalidades. En segundo lugar, se diseñó una estrategia de fusión de características asimétrica, donde se diseña un codificador de características independiente para cada modalidad, y las características extraídas se fusionan; finalmente, las características fusionadas pasan por un decodificador para generar la imagen fusionada. Este modelo pasó por una formación en dos etapas, donde en la primera fase se extraen características globales y locales de diferentes imágenes de modalidades, y se intenta reconstruir la imagen original para calcular la pérdida, mientras que en la segunda fase continúa la extracción de características profundas y se genera una imagen fusionada. En comparación con siete modelos populares de fusión de imágenes, se observó un promedio de mejora del 12,63%, 28,30%, 31,37%, 27,40%, 19,01%, 37,36% y 32,44% en las siete métricas de evaluación, desviación estándar, frecuencia espacial, fidelidad visual, correlación espectral, información mutua, gradiente promedio y el índice Q para evaluar la fusión mixta. Esta estrategia de fusión no solo puede integrar eficazmente las características del codificador de diferentes modalidades, sino que tampoco requiere diseñar manualmente reglas de fusión para completar la integración de información complementaria y la interacción de información global, pudiendo fusionar mejor las imágenes de diferentes modalidades.

Fusión de imágenes médicas; Mecanismo de atención doble; Fusión asimétrica; Formación en dos etapas