Обнаружение изменений в спутниковых изображениях на основе структуры CNN-Transformer

PAN Mengyang ,  

YANG Hang ,  

FAN Xianghui ,  

摘要

Обнаружение изменений в современных высокоразрешающих спутниковых изображениях с помощью сверточных нейронных сетей (Convolutional Neural Network, CNN) достигло значительных результатов. Однако ограниченный размер рецептивного поля сверточных операций приводит к недостаткам в обучении глобальному контексту и дальним пространственным связям. Хотя визуальный трансформер эффективно улавливает зависимости дальних признаков, его обработка деталей изменений в изображениях недостаточна, что приводит к ограниченной пространственной локализации и низкой вычислительной эффективности. Для решения этих проблем в данной статье предлагается модель обнаружения изменений, основанная на гибридной структуре CNN-Transformer с пространственно-расширенным пирамидальным пулами и сквозной каскадной линейной интеграцией между уровнями, объединяющая преимущества визуального трансформера и CNN. Сначала с помощью сдвоенной CNN-сети извлекаются признаки изображений, которые затем точно обрабатываются модулем расширенного пирамидального пула для более точного захвата детальной информации. Далее извлечённые признаки преобразуются в визуальные слова и моделируются с помощью кодировщика трансформера для получения богатой контекстной информации. Эта информация возвращается в визуальное пространство, где декодер трансформера усиливает исходные признаки, повышая их выражательность. Затем, при помощи каскадного объединения между уровнями, признаки CNN и признаки трансформера объединяются с использованием технологии повышения разрешения, что позволяет связать карты признаков с разным разрешением и объединить позиционную и семантическую информацию. В конце, модуль усиления различий генерирует карту признаков различий, содержащую богатую информацию об изменениях. Широкие эксперименты на 4 открытых наборах данных LEVIR, CDD, DSIFN и WHUCD подтвердили эффективность предложенного метода. По сравнению с другими передовыми методами, модель демонстрирует превосходную классификационную производительность и эффективно решает проблемы недо-сегментации, пере-сегментации и грубых краёв при обнаружении изменений.

关键词

спутниковые изображения; обнаружение изменений; сверточные нейронные сети; трансформер; пространственно-расширенный пирамидальный пул

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website