Pour résoudre le problème de longue date concernant la difficulté à concilier la qualité visuelle de la fusion des images infrarouges et visibles avec la précision des tâches sémantiques, cet article propose un cadre renforcé de segmentation sémantique multimodale basé sur des priorités sémantiques. Bien que les méthodes actuelles de fusion infrarouge-visible puissent améliorer dans une certaine mesure la qualité visuelle des images fusionnées, elles tendent souvent à affaiblir l'expression des informations sémantiques dans l'image, ce qui affecte la performance des tâches de segmentation sémantique en aval. Pour résoudre ce problème, cet article introduit le modèle pré-entraîné SAM (Segment Anything Model) en tant que modèle figé de priorités sémantiques, guidant l'apprentissage des caractéristiques multimodales durant le processus de fusion afin de maintenir la cohérence des informations sémantiques. Dans le cadre proposé, les images RGB et infrarouges sont partiellement entrées dans l'encodeur SAM pour obtenir des représentations de caractéristiques visuelles multilignes, tout en extrayant à travers un module de fusion spécialement conçu des caractéristiques complémentaires entre les modalités. À chaque étape des caractéristiques, les caractéristiques extraites par SAM sont optimisées via une branche de préservation sémantique, avec l'introduction d'un module d'amélioration intermodale sensible au sémantique pour renforcer les caractéristiques. Ce module, par la fusion des informations d'intégration des labels textuels, améliore la capacité du modèle à répondre aux différentes classes d'objets et améliore efficacement la précision de la segmentation dans les zones de contour des objets. Les résultats expérimentaux démontrent que la méthode proposée améliore significativement la capacité de préservation des informations sémantiques, la précision de la fusion et la qualité de la reconstruction visuelle, confirmant l'efficacité et la stabilité de ce cadre dans la tâche de segmentation sémantique infrarouge-visible.

segmentation sémantique multimodale; fusion d'images infrarouges-visibles; modèle SAM pré-entraîné; modulation des caractéristiques; mécanisme de fusion à portes; priorités sémantiques; apprentissage cross-modal