Reconnaissance de scène basée sur l'apprentissage profond métrique et la segmentation sémantique

JIA Xuan ,  

ZHANG Ye ,  

CHANG Xuling ,  

SUN Jianbo ,  

摘要

Pour faire face au problème du faible taux de reconnaissance des images de scène dues à des différences subtiles entre les classes et à une classification floue à l'intérieur des classes, cet article propose un nouveau cadre de segmentation sémantique. En introduisant l'apprentissage profond métrique, il se concentre sur les relations sémantiques entre les pixels, améliorant ainsi la précision du modèle. Tout d'abord, l'extraction des caractéristiques est effectuée via un module de pooling pyramidal à trous dilatés, puis lors du décodage, la fusion structurelle des caractéristiques de haute résolution des couches superficielles et des caractéristiques de basse résolution des couches profondes permet une meilleure restauration des détails et des contours des images. Ensuite, dans le module d'apprentissage profond métrique, en apprenant un espace d'intégration sémantique des pixels bien structuré, en maximisant la distance euclidienne entre les pixels de différentes classes et en minimisant celle entre les pixels de la même classe, la classification des pixels est effectuée efficacement. Enfin, une fonction de perte fusionnée pondérée combinant la perte focale et la perte contrastive est adoptée pour équilibrer l'importance entre différents échantillons, permettant ainsi une mesure plus précise des performances du modèle et améliorant la précision et la robustesse de la reconnaissance des scènes. Les résultats expérimentaux montrent que le modèle obtient une moyenne d'intersection sur union (mIoU) de 47,6 % et 83,1 % sur les ensembles de données publics ADE20K et Cityscapes respectivement. Comparé aux méthodes avancées actuelles servant de référence, les résultats montrent que la méthode proposée est faisable et avancée.

关键词

apprentissage profond; apprentissage profond métrique; segmentation sémantique; reconnaissance de scène; déséquilibre des classes

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website