La segmentation sémantique d’images avec peu d’exemples est une tâche très difficile qui vise à utiliser quelques échantillons annotés pour segmenter des objets de nouvelles classes. Les méthodes courantes présentent souvent un faible pouvoir discriminant des caractéristiques et un biais des prototypes. Pour atténuer ces problèmes, cet article propose une méthode de segmentation sémantique d’images avec peu d’exemples basée sur une double agrégation et un réseau d’auto-fusion, capable d’exploiter pleinement la similarité des caractéristiques et de réduire le biais des prototypes. Tout d’abord, un module de double agrégation caractéristiques-masque est proposé, construisant une relation dense de similarité couvrant toutes les positions spatiales entre les caractéristiques de soutien et de requête, fournissant une information sémantique globale pour l’agrégation des caractéristiques et des masques. Plus précisément, grâce à l’agrégation double des caractéristiques et des masques sur la matrice de similarité des caractéristiques, on peut obtenir pour l’image de requête des caractéristiques renforcées guidées et un masque initial. Ensuite, un décodeur d’auto-fusion est proposé, qui réduit le biais des prototypes en fusionnant des auto-prototypes basés sur le masque initial avec des prototypes de soutien connus, et transmet une information sémantique riche des classes au décodeur en fusionnant les caractéristiques renforcées avec les prototypes fusionnés. Enfin, les résultats prédits par le décodeur sont encore optimisés grâce à l’information de prédiction des classes de base. Notre méthode atteint un mIoU de 68,3% et 71,5% dans les cas 1-shot et 5-shot sur le jeu de données PASCAL-5ⁱ, et de 46,5% et 51,4% sur le jeu de données COCO-20ⁱ, surpassant les performances des méthodes courantes de segmentation, permettant une segmentation plus précise des zones cibles des nouvelles classes.

segmentation sémantique d’images avec peu d’exemples;similarité des caractéristiques;double agrégation;variabilité intraclasse;auto-fusion