В данной работе предлагается рамочная структура для многомодального семантического сегментирования с использованием семантических приоритетов, направленная на решение давней проблемы компромисса между качеством визуального слияния инфракрасных и видимых изображений и точностью семантических задач. Существующие методы слияния инфракрасных и видимых изображений хотя и улучшают визуальное качество слияния, часто ослабляют выражение семантической информации на изображении, что влияет на производительность последующих задач семантической сегментации. Для решения этой проблемы в работе вводится предварительно обученная модель SAM (Segment Anything Model) в качестве замороженной модели семантического приоритета, которая направляет обучение многомодальных признаков в процессе слияния для сохранения согласованности семантической информации. В предложенной структуре изображения RGB и инфракрасные изображения частично подаются на кодировщик SAM для получения многоуровневого представления визуальных признаков, а также через специально разработанный модуль слияния извлекаются дополняющие признаки между различными модальностями. На разных этапах признаков извлеченные SAM признаки дополнительно оптимизируются через ветвь сохранения семантики и вводится семантически осознающий кросс-модальный модуль усиления для усиления признаков. Этот модуль через слияние встраиваемой текстовой информации повышает реакцию модели на разные классы объектов и эффективно улучшает точность сегментации в областях границ объектов. Экспериментальные результаты показывают, что предложенный метод значительно улучшает способности сохранения семантической информации, точность слияния и качество визуального восстановления, подтверждая эффективность и стабильность данной рамки в задаче семантической сегментации инфракрасно-видимых изображений.

многомодальное семантическое сегментирование; слияние инфракрасных и видимых изображений; предварительно обученная модель SAM; модуляция признаков; механизм гейтированного слияния; семантические приоритеты; кросс-модальное обучение