Existen diferencias en la distribución de la información espacial entre diferentes modalidades de imágenes médicas, lo que dificulta la alineación efectiva en el espacio de características profundas, provocando la pérdida de información superficial en áreas específicas de la imagen fusionada o una dependencia excesiva de la información de una sola modalidad. Para abordar este problema, se propone un modelo asimétrico de fusión de imágenes médicas basado en Restoration Transformer (Restormer) y un mecanismo de atención dual. Primero, se utiliza el módulo Restormer para extraer características profundas de imágenes de diferentes modalidades, e introduce un mecanismo de atención dual para extraer características globales y locales. Luego, se diseña una estrategia asimétrica de fusión de características con codificadores independientes para cada modalidad y se fusionan las características extraídas. Finalmente, las características fusionadas se decodifican para generar la imagen fusionada. El modelo utiliza un entrenamiento en dos etapas: en la primera etapa, se extraen características globales y locales de diferentes modalidades y se intenta reconstruir la imagen original para calcular la pérdida; en la segunda etapa, se continúa extrayendo características profundas y generando la imagen fusionada. En comparación con siete modelos principales de fusión de imágenes, el modelo mejora en promedio un 12,63 %, 28,30 %, 31,37 %, 27,40 %, 19,01 %, 37,36 % y 32,44 % respectivamente en desviación estándar, frecuencia espacial, fidelidad de la información visual, correlación espectral, información mutua, gradiente promedio e índice Q para evaluar la fusión mixta. La estrategia de fusión del modelo no solo integra eficazmente las características codificadas de diferentes modalidades, sino que también completa la integración de información complementaria e interacción global sin necesidad de diseñar manualmente reglas de fusión, lo que permite fusionar mejor las imágenes de diferentes modalidades.

fusión de imágenes médicas; mecanismo de atención dual; fusión asimétrica; entrenamiento en dos etapas