La fusion d'images infrarouges et visibles vise à conserver des caractéristiques complémentaires diverses pour réaliser une perception robuste de scènes complexes, elle a une valeur d'application vitale dans de nombreux domaines tels que la surveillance de la sécurité, la reconnaissance militaire, la conduite autonome, etc. Mais les algorithmes de fusion d'images existants mettent l'accent sur l'amélioration de l'effet visuel des images, ce qui conduit à une conservation insuffisante des informations sémantiques clés au cours du processus de fusion, ce qui affecte à son tour l'efficacité de l'utilisation des images fusionnées dans les tâches avancées de perception visuelle. Bien que les méthodes actuelles tentent de lier la tâche de fusion à la perception visuelle avancée (segmentation, détection, etc.), cette connexion séquentielle a un effet limité sur l'amélioration de l'information sémantique. Pour équilibrer l'effet visuel et les sous-tâches, cette étude propose une structure de réseau SDFusion pour fusionner des images infrarouges et visibles motivée par la sémantique. Tout d'abord, un codeur de fonctionnalités partagé est utilisé pour extraire des fonctionnalités croisées pour les images infrarouges et visibles, puis une observation conjointe et une optimisation conjointe pour le décodage de fusion et le décodage de segmentation en parallèle, avec l'injection de fonctionnalités encodées dans les fonctionnalités décodées pour renforcer la représentation des fonctionnalités et réaliser une représentation conjointe des fonctionnalités de fusion et de sémantique. En termes de performances de fusion, les expériences montrent que cette méthode s'est améliorée de 3,7%, 7,3%, 45,3%, 18,5%, 7,2% par rapport aux méthodes traditionnelles sur cinq indicateurs d'évaluation objectifs EN, SD, MI, VIFF, QAB / F . De plus, les résultats de fusion de cette méthode présentent de meilleures performances dans les tâches de segmentation par rapport aux méthodes traditionnelles. Ces expériences prouvent pleinement l'efficacité de la méthode SDFusion, qui non seulement a amélioré l'effet visuel des résultats de fusion, mais a également considérablement favorisé le développement de tâches visuelles avancées, offrant de nouvelles idées et méthodes pour le développement de la technologie de fusion d'images infrarouges et visibles.

fusion d'images infrarouges et visibles; motivée par la sémantique; optimisation conjointe