Existem diferenças na distribuição de informações espaciais entre diferentes modalidades de imagem médica, o que dificulta o alinhamento eficaz no espaço de características profundas, levando à perda de informações superficiais em regiões específicas da imagem fundida ou à dependência excessiva das informações de uma única modalidade. Para resolver esses problemas, propõe-se um modelo assimétrico de fusão de imagens médicas baseado no Restoration Transformer (Restormer) e no mecanismo de atenção dupla. Primeiramente, o módulo Restormer é usado para explorar características profundas das imagens multimodais, sendo introduzido o mecanismo de atenção dupla para extrair características globais e locais das imagens multimodais. Em seguida, é projetada uma estratégia assimétrica de fusão de características, com codificadores de características independentes para cada modalidade e fusão das características extraídas. Por fim, as características fundidas são passadas por um decodificador para gerar a imagem fundida. O modelo utiliza treinamento em duas etapas: na primeira etapa, extrai características globais e locais de diferentes modalidades e tenta reconstruir a imagem original para calcular a perda; na segunda etapa, continua extraindo características profundas e gerando a imagem fundida. Comparado a sete modelos principais de fusão de imagens, melhorou em média 12,63%, 28,30%, 31,37%, 27,40%, 19,01%, 37,36% e 32,44% nos indicadores de desvio padrão, frequência espacial, fidelidade da informação visual, correlação espectral, informação mútua, gradiente médio e índice Q usado para avaliação da fusão mista, respectivamente. A estratégia de fusão deste modelo não apenas integra eficientemente as características codificadas de diferentes modalidades, mas também consegue integrar informações complementares e a interação de informações globais sem a necessidade de projetar manualmente regras de fusão, permitindo uma melhor fusão das imagens multimodais.

fusão de imagens médicas; mecanismo de atenção dupla; fusão assimétrica; treinamento em duas etapas