La fusión de imágenes de infrarrojos y luz visible tiene como objetivo conservar diversas características complementarias para lograr una percepción robusta de escenas complejas, y tiene un valor de aplicación vital en muchos campos como la vigilancia de la seguridad, la recolección de inteligencia militar, la conducción autónoma, etc. Sin embargo, los algoritmos existentes de fusión de imágenes se centran en mejorar el efecto visual de las imágenes, lo que conduce a una conservación insuficiente de la información semántica clave en el proceso de fusión, lo que a su vez afecta la eficacia del uso de imágenes fusionadas en tareas avanzadas de percepción visual. Aunque los métodos actuales intentan vincular la tarea de fusión con la percepción visual avanzada (segmentación, detección, etc.), esta conexión secuencial tiene un efecto limitado en la mejora de la información semántica. Para equilibrar el efecto visual y las sub tareas, este estudio propone una estructura de red SDFusion para fusionar imágenes de infrarrojos y luz visible impulsada por la semántica. Primero, se utiliza un codificador de características compartido para extraer características cruzadas para las imágenes de infrarrojos y luz visible, luego una observación conjunta y una optimización conjunta para la decodificación de fusión y la decodificación de segmentación en paralelo, con la inyección de características codificadas en las características decodificadas para reforzar la representación de características y lograr una representación conjunta de las características de fusión y semántica. En términos de rendimiento de fusión, los experimentos muestran que este método mejoró en un 3,7%, 7,3%, 45,3%, 18,5%, 7,2% en comparación con los métodos tradicionales en cinco indicadores de evaluación objetivos: EN, SD, MI, VIFF, QAB / F . Además, los resultados de fusión de este método muestran un mejor rendimiento en las tareas de segmentación en comparación con los métodos tradicionales. Estos experimentos demuestran completamente la eficacia del método SDFusion, que no solo mejoró el efecto visual de los resultados de fusión, sino que también promovió en gran medida el desarrollo de tareas visuales avanzadas, brindando nuevas ideas y métodos para el desarrollo de la tecnología de fusión de imágenes de infrarrojos y luz visible.

fusión de imágenes de infrarrojos y luz visible; impulsada por la semántica; optimización conjunta