Fusión de imágenes infrarrojas y visibles basada en atención global de doble grupo

ZHAO Yang ,  

YANG Wengui ,  

GAO Cuiyun ,  

摘要

En escenarios complejos, los modelos de fusión a menudo tienen dificultades para extraer completamente la estructura global a gran escala de las imágenes infrarrojas y las características locales a pequeña escala de las imágenes visibles, y fusionarlas de manera colaborativa, lo que resulta en una fusión deficiente. Este artículo propone un principio de fusión colaborativa basado en la división de escalas, y diseña un nuevo modelo de fusión basado en la estructura de un autoencoder, donde el codificador y el decodificador usan la arquitectura de redes neuronales convolucionales (CNN). El modelo utiliza un mecanismo de atención global de doble grupo, extrayendo información agrupada en las direcciones de longitud y ancho de los mapas de características, y luego pondera los mapas a través de un mapa de atención de doble grupo a través de canales, generando nuevos mapas de características que contienen más información global a gran escala, logrando la extracción de información de imagen en múltiples dimensiones; utiliza un mecanismo de convolución dilatada multiescala que, mediante campos receptivos de diferentes tamaños y la implementación de pooling global medio y mediano, extrae características locales a pequeña escala en las imágenes; el decodificador integra capas de conexión densa y conexiones de salto de las características de estructura a gran escala y detalles a pequeña escala para que se fusionen colaborativamente y reconstruyan la imagen fusionada. Los resultados experimentales muestran que este método en los conjuntos de datos MSRS y TNO, en comparación con otros métodos, mejora la entropía de la información, el gradiente medio y la intensidad del borde en un 0,95%, 6,28%, 6,19% y 1,75%, 13,51%, 11,75% respectivamente. La frecuencia espacial aumentó un 4,61% en el conjunto MSRS, y fue la segunda mejor después del método MDLSR-RFM en TNO, mejorando eficazmente la calidad de las imágenes fusionadas en escenarios complejos, además de tener buena estabilidad y capacidad de generalización.

关键词

fusión de imágenes infrarrojas y visibles;mejora de imágenes;atención global de doble grupo;convolución dilatada

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website