현재 많은 의미 분할 모델이 RGB 이미지를 훈련 데이터로 사용하고 있으며, 일부 극한 환경에서는 모델의 안정성이 크게 영향을 받아 야간 자율주행의 실제 요구를 충족하지 못합니다. 야간 장면의 의미 분할 문제를 해결하기 위해 ResNet-152를 특성 추출 네트워크로 사용하여 경량화된 주의 모듈이 융합된 다중 모달 이중 인코더-디코더 모델을 구축하였습니다. 이중 인코더는 RGB-T 두 가지 모달에서 중요한 정보를 추출하고 주의 모듈을 통해 융합한 후, 추출된 특성 정보를 디코더로 전달합니다. 단계별 업샘플링 특성 맵과 각 인코더 계층에서 추출한 특성 맵을 연결하고, 컨볼루션 층을 통해 특징을 추출하며 업샘플링을 통해 해상도를 복원한 후, 최종적으로 의미 분할을 수행합니다. 실험 결과 해당 모델은 MFNet 테스트 세트에서 평균 정확도 76%와 평균 교집합비 55.7%를 기록하였으며, 다른 네트워크 모델에 비해 성능 향상을 보였고 RGB-T 모달 영상의 주야간 장면 의미 분할 기본 요구를 충족하였습니다.

야간 의미 분할; 다중 모달; 경량화 주의 모듈; 다중 스케일 정보