Слияние изображений инфракрасного и видимого света направлено на сохранение разнообразных дополняющихся признаков для достижения устойчивого восприятия сложных сцен, обладает важной практической ценностью во многих областях, таких как охрана безопасности, военная разведка, автономное вождение и многих других. Однако существующие алгоритмы слияния изображений уделяют внимание улучшению визуального эффекта изображений, что приводит к недостаточному сохранению ключевой семантической информации в процессе слияния, что в свою очередь влияет на эффективность применения сливочных изображений в продвинутых задачах зрительного восприятия. Несмотря на попытки текущих методов связать задачи слияния с продвинутым зрительным восприятием (сегментация, обнаружение и т. Д.), Эта последовательная связь имеет ограниченное улучшение семантической информации. Для балансировки визуального эффекта и подзадач предлагается структура сети SDFusion для слияния изображений инфракрасного и видимого света, приводимая по целям. Во-первых, общий кодер признаков используется для извлечения перекрестных признаков для инфракрасных и видимых изображений, затем происходит совместное наблюдение и совместная оптимизация для декодирования слияния и декодирования сегментации параллельно, с инъекцией кодированных признаков в разложенные признаки для усиления представления признаков и достижения совместного представления признаков слияния и семантики. По результатам слияния экспериментов показывают, что этот метод улучшился на 3.7%, 7.3%, 45.3%, 18.5%, 7.2% по сравнению с традиционными методами по пяти объективным показателям EN, SD, MI, VIFF, QAB / F . Кроме того, результаты слияния этого метода показывают лучшую производительность в подзадачах сегментации по сравнению с традиционными методами. Эти опыты полностью доказывают эффективность метода SDFusion, который не только улучшил визуальный эффект результатов слияния, но и значительно способствовал развитию продвинутых зрительных задач, предоставив новые идеи и методы для развития технологии слияния изображений инфракрасного и видимого света.

слияние изображений инфракрасного и видимого света; водимые семантикой; совместная оптимизация