Fusão de imagens infravermelhas e visíveis baseada em atenção global de dupla agrupação

ZHAO Yang ,  

YANG Wengui ,  

GAO Cuiyun ,  

摘要

Em cenários complexos, os modelos de fusão frequentemente têm dificuldade em extrair plenamente a estrutura global em grande escala das imagens infravermelhas e as características locais em pequena escala das imagens visíveis e em fundi-las de forma colaborativa, resultando em efeitos de fusão insatisfatórios. Este artigo propõe o princípio de fusão colaborativa baseado na divisão de escalas e projeta um novo modelo de fusão baseado na estrutura de autoencoder, onde o codificador e o decodificador utilizam a arquitetura de redes neurais convolucionais (CNN). O modelo utiliza um mecanismo de atenção global de dupla agrupação, extraindo informações agrupadas nas direções de comprimento e largura dos mapas de características, para depois ponderar os mapas de características por meio de mapas de atenção de dupla agrupação entre canais, gerando novos mapas que contêm mais informações globais em grande escala, realizando a extração de informações de imagem em múltiplas dimensões; utiliza um mecanismo de convolução com pooling dilatado em múltiplas escalas, por meio de campos receptivos de vários tamanhos e operações de pooling médio global e mediano, para extrair informações locais em pequena escala da imagem; o decodificador integra camadas conectadas densamente e conexões de salto das características estruturais em grande escala e dos detalhes em pequena escala para que sejam fundidos colaborativamente, reconstruindo a imagem fundida. Os resultados experimentais mostram que este método, nos conjuntos de dados MSRS e TNO, em comparação com outros métodos, aumentou a entropia da informação, o gradiente médio e a intensidade das bordas em 0,95%, 6,28%, 6,19% e 1,75%, 13,51%, 11,75%, respectivamente. A frequência espacial aumentou 4,61% no conjunto MSRS e ficou em segundo lugar, atrás apenas do método MDLSR-RFM no conjunto TNO, melhorando efetivamente a qualidade da imagem fundida em cenários complexos, além de apresentar boa estabilidade e capacidade de generalização.

关键词

fusão de imagens infravermelhas e visíveis;melhoria de imagem;atenção global de dupla agrupação;convolução dilatada

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website