Para abordar el problema de larga data sobre la dificultad de equilibrar la calidad de fusión visual y la precisión de las tareas semánticas en la fusión de imágenes infrarrojas-visibles, este artículo propone un marco mejorado de segmentación semántica multimodal basado en priorización semántica. Aunque los métodos actuales de fusión infrarroja-visible pueden mejorar hasta cierto punto la calidad visual de la imagen fusionada, a menudo debilitan la expresión de la información semántica en la imagen, afectando así el rendimiento de las tareas posteriores de segmentación semántica. Para resolver este problema, el artículo introduce el modelo SAM (Segment Anything Model) preentrenado como un modelo de prioridad semántica congelado que guía el aprendizaje de características multimodales durante el proceso de fusión para mantener la coherencia de la información semántica. En el marco propuesto, la imagen RGB y la imagen infrarroja se ingresan parcialmente al codificador SAM para obtener representaciones de características visuales multinivel, mientras que a través de un módulo de fusión diseñado específicamente se extraen características complementarias entre las modalidades. En cada etapa de las características, las características extraídas por SAM se optimizan aún más a través de una rama de preservación semántica y se introduce un módulo de mejora multimodal consciente de la semántica para reforzar las características. Este módulo, al fusionar información incrustada de etiquetas de texto, mejora la capacidad del modelo para responder a diferentes clases de objetos y mejora eficazmente la precisión de la segmentación en las áreas de borde del objetivo. Los resultados experimentales demuestran que el método propuesto logra mejoras significativas en la capacidad de preservación de la información semántica, precisión de fusión y calidad de reconstrucción visual, validando la efectividad y estabilidad del marco en la tarea de segmentación semántica infrarrojo-visible.

segmentación semántica multimodal; fusión de imágenes infrarrojas-visibles; modelo SAM preentrenado; modulación de características; mecanismo de fusión con compuertas; prioridades semánticas; aprendizaje cruzado modal