現在、多くのセマンティックセグメンテーションモデルではRGB画像を訓練データとして使用していますが、一部の過酷な環境下ではモデルの安定性が大きく影響を受け、夜間シーンにおける自動運転の実際の要求を満たすことができません。夜間シーンのセマンティックセグメンテーション問題を解決するために、ResNet-152を特徴抽出ネットワークとして使用し、軽量化された注意モジュールを融合したマルチモーダルな二重エンコーダ-デコーダモデルを構築しました。二重エンコーダはRGBとTの2つのモダリティから重要な情報を抽出し、注意モジュールを通して融合し、抽出された特徴情報をデコーダに送ります。段階的にアップサンプリングされた特徴マップと、各エンコーダ層から抽出された特徴マップを連結し、畳み込み層で特徴を抽出し、アップサンプリングによって解像度を復元した後、最終的にセマンティックセグメンテーションを行います。実験結果は、本モデルがMFNetテストセットで平均精度76％、平均交差率55.7％を示し、他のネットワークモデルに比べて性能が向上しており、RGB-Tモダリティ画像の昼夜シーンにおける正確なセマンティックセグメンテーションの基本要件を満たしていることを示しています。

夜間セマンティックセグメンテーション; マルチモーダル; 軽量注意モジュール; マルチスケール情報