Méthode d'évaluation de la qualité d'image sans référence basée sur la symbolisation des caractéristiques et le Transformer

SONG Wei ,  

LI Jia-jin ,  

LIU Xiao-chen ,  

LIU Zhi-xiang ,  

SHI Shao-hua ,  

摘要

Les méthodes d'évaluation de la qualité d'image sans référence basées sur l'apprentissage profond présentent actuellement des problèmes de corrélation sémantique insuffisante ou de fortes exigences en matière d'entraînement des modèles. Pour y remédier, cet article propose une méthode d'évaluation de la qualité d'image sans référence basée sur la symbolisation des caractéristiques sémantiques et le Transformer. Premièrement, un réseau de neurones convolutif profond est utilisé pour extraire les caractéristiques sémantiques de haut niveau de l'image ; ensuite, les caractéristiques sémantiques sont cartographiées en symboles de caractéristiques visuelles, et la relation entre ces symboles est modélisée à l'aide du mécanisme d'attention auto du Transformer pour extraire les caractéristiques globales de l'image. Parallèlement, un réseau de neurones peu profond extrait les caractéristiques locales de bas niveau de l'image pour capturer les informations de distorsion basse fréquence ; enfin, la combinaison des informations globales et locales est utilisée pour prédire la qualité de l'image. Afin de vérifier la précision et la robustesse du modèle, des expériences ont été menées en utilisant les coefficients de corrélation PLCC et SROCC comme indicateurs d'évaluation sur cinq ensembles de données d'évaluation de la qualité d'image principaux et un ensemble de données d'évaluation de la qualité d'image sous-marine, et la méthode proposée a été comparée à 15 méthodes traditionnelles et basées sur l'apprentissage profond. Les résultats expérimentaux montrent que la méthode proposée atteint des performances supérieures sur divers ensembles de données avec un nombre de paramètres réduit (environ 1,56 Mo), en particulier en augmentant le SROCC à 0,958 sur l'ensemble de données à distorsions multiples LIVE-MD, démontrant ainsi sa capacité à évaluer précisément la qualité de l'image dans des conditions de distorsion complexes, et la structure du réseau répond aux scénarios d'application pratique.

关键词

Qualité d'image; évaluation de la qualité d'image sans référence; Transformer; auto-attention; symbolisation des caractéristiques

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website