Muchos modelos actuales de segmentación semántica utilizan datos de entrenamiento basados en imágenes RGB. En algunos entornos extremos, la estabilidad del modelo se ve muy afectada y no cumple con las necesidades reales de la conducción autónoma nocturna. Para resolver el problema de segmentación semántica en escenas nocturnas, se utilizó ResNet-152 como red de extracción de características y se construyó un modelo multimodal de doble codificador-decodificador que integra un módulo de atención ligero. El doble codificador extrae información clave de las modalidades RGB-T y las fusiona a través del módulo de atención, luego las características extraídas se envían al decodificador, donde se concatenan las características de las etapas de remuestreo con las de cada capa del codificador, se extraen características mediante capas convolucionales, se restaura la resolución mediante remuestreo y finalmente se realiza la segmentación semántica. Los resultados experimentales muestran que la precisión promedio y el índice de intersección sobre unión (IoU) en el conjunto de prueba MFNet son del 76% y 55.7% respectivamente, representando una mejora en comparación con otros modelos de red y cumpliendo con los requerimientos básicos para segmentación semántica precisa de imágenes RGB-T en escenas diurnas y nocturnas.

Segmentación semántica nocturna; multimodal; módulo de atención ligero; información multiescala