Para enfrentar o problema de longa data da dificuldade em equilibrar a qualidade visual da fusão de imagens infravermelhas-visíveis com a precisão das tarefas semânticas, este artigo propõe uma estrutura aprimorada de segmentação semântica multimodal baseada em priorização semântica. Embora os métodos atuais de fusão infravermelha-visível possam melhorar em certa medida a qualidade visual das imagens fusionadas, frequentemente enfraquecem a expressão das informações semânticas na imagem, afetando o desempenho das tarefas semânticas downstream. Para resolver esse problema, este artigo introduz o modelo pré-treinado SAM (Segment Anything Model) como um modelo congelado de prioridade semântica, guiando o aprendizado das características multimodais durante o processo de fusão para manter a consistência das informações semânticas. Na estrutura proposta, a imagem RGB e a imagem infravermelha são parcialmente inseridas no codificador SAM para obter representações visuais em vários níveis, enquanto um módulo de fusão projetado especificamente extrai características complementares entre as modalidades. Em cada estágio de características, as características extraídas pelo SAM são otimizadas adicionalmente por meio de um ramo de preservação semântica, e um módulo de aprimoramento cross-modal consciente semanticamente é introduzido para reforço de características. Esse módulo, por meio da fusão de informações incorporadas de etiquetas de texto, melhora a capacidade do modelo de responder a diferentes classes de alvos e aumenta eficazmente a precisão da segmentação nas regiões de borda do alvo. Os resultados experimentais mostram que o método proposto alcança melhorias significativas na capacidade de preservação de informações semânticas, precisão de fusão e qualidade de reconstrução visual, validando a eficácia e estabilidade da estrutura na tarefa de segmentação semântica infravermelha-visível.

segmentação semântica multimodal; fusão de imagens infravermelha-visível; modelo SAM pré-treinado; modulação de características; mecanismo de fusão com controle; prioridades semânticas; aprendizado cross-modal