Detecção de mudanças em imagens de sensoriamento remoto baseada na estrutura CNN-Transformer

PAN Mengyang ,  

YANG Hang ,  

FAN Xianghui ,  

摘要

A detecção de mudanças em imagens modernas de sensoriamento remoto de alta resolução alcançou resultados notáveis com o auxílio de redes neurais convolucionais (Convolutional Neural Network, CNN). Entretanto, a limitação do campo receptivo da operação convolucional resulta em deficiências na aprendizagem do contexto global e nas relações espaciais remotas. Embora o Transformer visual consiga capturar eficientemente a dependência de características distantes, seu tratamento dos detalhes das mudanças nas imagens é insuficiente, resultando em capacidade limitada de localização espacial e baixa eficiência computacional. Para resolver esses problemas, este artigo propõe um modelo de detecção de mudanças baseado na fusão linear em cascata intercamadas com codificador-decodificador híbrido CNN-Transformer de ponta a ponta, baseado em um pool piramidal dilatado espacial, que combina as vantagens do Transformer visual e do CNN. Primeiramente, utiliza-se uma rede CNN gêmea para extrair características das imagens, que são processadas detalhadamente por um módulo de pooling piramidal dilatado para capturar com maior precisão as informações detalhadas das características. Em seguida, as características extraídas são convertidas em palavras visuais e modeladas por meio de um codificador Transformer para obter informações contextuais ricas. Essas informações são então realimentadas ao espaço visual, onde o decodificador Transformer reforça as características originais, melhorando a expressividade das mesmas. Posteriormente, utiliza-se uma fusão em cascata intercamadas para integrar as características extraídas pelo CNN com as características codificadas/decodificadas pelo Transformer, empregando técnicas de upsampling para conectar mapas de características de diferentes resoluções, alcançando a fusão das informações de posição e semântica. Por fim, um módulo de realce de diferenças gera um mapa de características diferenciais rico em informações sobre mudanças. Amplos experimentos em quatro conjuntos públicos de dados de sensoriamento remoto: LEVIR, CDD, DSIFN e WHUCD, validaram a eficácia do método proposto. Em comparação com outros métodos avançados, o modelo apresenta melhor desempenho de classificação, melhorando efetivamente os problemas de subsegmentação, supersegmentação e bordas irregulares na detecção de mudanças.

关键词

imagens de sensoriamento remoto; detecção de mudanças; redes neurais convolucionais; Transformer; pool piramidal dilatado espacial

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website