Reconhecimento de cena baseado em aprendizado profundo métrico e segmentação semântica

JIA Xuan ,  

ZHANG Ye ,  

CHANG Xuling ,  

SUN Jianbo ,  

摘要

Para enfrentar o problema da baixa taxa de reconhecimento de imagens de cena devido a diferenças sutis entre classes e classificação ambígua dentro das classes, este artigo propõe uma nova estrutura de segmentação semântica. Ao introduzir o aprendizado profundo métrico, o foco está nas relações semânticas entre pixels, melhorando a precisão do modelo. Primeiro, as características são extraídas por meio de um módulo de pooling piramidal espacial dilatado; durante o processo de decodificação, a fusão estrutural das características de alta resolução rasas e das características de baixa resolução profundas restaura melhor os detalhes e as bordas da imagem. Em seguida, no módulo de aprendizado profundo métrico, aprende-se um espaço de incorporação semântica de pixels bem estruturado, maximizando a distância euclidiana entre pixels de diferentes classes e minimizando a distância entre pixels da mesma classe, o que permite uma classificação eficaz dos pixels. Por fim, é adotada uma função de perda de fusão ponderada que combina perda de foco e perda de contraste, equilibrando a importância entre diferentes amostras, permitindo medir com mais precisão o desempenho do modelo e melhorando a precisão e robustez do reconhecimento de cena. Os resultados experimentais mostram que o modelo alcança uma média de interseção sobre união (mIoU) de 47,6% e 83,1% nos conjuntos de dados públicos ADE20K e Cityscapes, respectivamente. Comparado aos atuais métodos avançados de reconhecimento de cena usados como linha de base, os resultados mostram que o método proposto é viável e avançado.

关键词

aprendizado profundo; aprendizado profundo métrico; segmentação semântica; reconhecimento de cena; desequilíbrio de classes

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website