Muitos modelos atuais de segmentação semântica utilizam dados de treinamento baseados em imagens RGB. Em alguns ambientes extremos, a estabilidade do modelo é significativamente afetada, não atendendo às necessidades reais de direção autônoma noturna. Para resolver o problema da segmentação semântica em cenas noturnas, foi utilizada a ResNet-152 como rede de extração de características, e foi construído um modelo multimodal de codificador-dual-decodificador com um módulo de atenção leve integrado. O codificador duplo extrai informações-chave das modalidades RGB e T, as funde através do módulo de atenção e, em seguida, envia as características extraídas para o decodificador. As imagens de características obtidas após as fases de upsampling e as imagens extraídas de cada camada do codificador são concatenadas, seguidas da extração de características por camadas convolucionais, restauração da resolução mediante upsampling e, finalmente, segmentação semântica. Os resultados experimentais mostram que a precisão média e o índice médio de interseção sobre união (IoU) no conjunto de teste MFNet são de 76% e 55,7%, respectivamente, representando uma melhoria em relação a outros modelos de rede e atendendo aos requisitos básicos para segmentação semântica precisa de imagens RGB-T em cenas diurnas e noturnas.

Segmentação semântica noturna; multimodal; módulo de atenção leve; informação multiescala