CNN-Transformer構造に基づくリモートセンシング画像変化検出

PAN Mengyang ,  

YANG Hang ,  

FAN Xianghui ,  

摘要

現代の高解像度リモートセンシング画像の変化検出は、畳み込み神経ネットワーク(Convolutional Neural Network、CNN)を活用して顕著な成果を上げている。しかし、畳み込み処理の受容野の制限により、グローバルな文脈や遠隔空間関係の学習に不足がある。視覚Transformerは遠隔特徴の依存関係を効果的に捉えることができるが、画像変化の細部処理が不十分であり、空間的な位置特定能力が限定的で計算効率も低い。この問題を解決するために、本稿では空間拡張ピラミッドプーリングに基づく層間連鎖線形融合のエンドツーエンドハイブリッドCNN-Transformerエンコーダ・デコーダ型変化検出モデルを提案し、視覚TransformerとCNNの利点を兼ね備えている。まず、双子CNNネットワークを用いて画像特徴を抽出し、空間拡張ピラミッドプーリングモジュールによって特徴を精緻に処理し、画像の細部特徴情報をより正確に捉える。次に、抽出された特徴を視覚単語に変換し、Transformerエンコーダでモデリングして豊富な文脈情報を取得する。これらの情報は視覚空間にフィードバックされ、Transformerデコーダによって元の特徴が強化され、特徴表現能力が向上する。続いて、層間連鎖方式を採用してCNNで抽出した特徴とTransformerのエンコード・デコード特徴を融合し、アップサンプリング技術により異なる解像度の特徴マップを連結し、位置情報と意味情報の融合を実現する。最後に、差分強調モジュールにより豊富な変化情報を含む差分特徴マップを生成する。LEVIR、CDD、DSIFN、およびWHUCDの4つの公開リモートセンシングデータセットで広範な実験を行い、本手法の有効性を検証した。他の先進手法と比較して、本モデルは分類性能が優れており、変化検出における過小分割、過剰分割および境界の粗さ問題を効果的に改善した。

关键词

リモートセンシング画像;変化検出;畳み込み神経ネットワーク;Transformer;空間拡張ピラミッドプーリング

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website