Referenzlose Bildqualitätsbewertungsmethode basierend auf Merkmalsymbolisierung und Transformer

SONG Wei ,  

LI Jia-jin ,  

LIU Xiao-chen ,  

LIU Zhi-xiang ,  

SHI Shao-hua ,  

摘要

Methoden zur bildqualitätsbewertung ohne Referenz, die auf Deep Learning basieren, leiden derzeit unter unzureichender semantischer Korrelation oder hohen Anforderungen an das Modelltraining. Daher schlägt dieser Artikel eine Methode zur bildqualitätsbewertung ohne Referenz vor, die auf der semantischen Merkmalsymbolisierung und Transformer basiert. Zunächst wird ein tiefes Faltungsneuronales Netzwerk verwendet, um hochstufige semantische Merkmale des Bildes zu extrahieren; anschließend werden die semantischen Merkmale in visuelle Merkmalsymbole abgebildet, und die Beziehungen zwischen den visuellen Merkmalsymbolen werden basierend auf dem selbstaufmerksamen Mechanismus des Transformers modelliert, um globale Bildmerkmale zu extrahieren, während ein flaches neuronales Netzwerk niedrigstufige lokale Bildmerkmale extrahiert, um niedrigstufige Verzerrungsinformationen zu erfassen; schließlich werden globale und lokale Bildinformationen kombiniert, um die Bildqualität vorherzusagen. Zur Überprüfung der Genauigkeit und Robustheit des Modells wurden Experimente mit den Korrelationskoeffizienten PLCC und SROCC als Bewertungsmaßstäben auf fünf führenden Bildqualitätsbewertungsdatensätzen und einem Unterwasser-Bildqualitätsdatensatz durchgeführt, und die vorgeschlagene Methode wurde mit 15 traditionellen und tiefenlern-basierten Referenzlosen Bildqualitätsbewertungsmethoden verglichen. Die Ergebnisse zeigen, dass die vorgeschlagene Methode bei einer geringen Anzahl von Parametern (etwa 1,56 MB) auf verschiedenen Datensätzen überlegene Leistungen erzielt, insbesondere mit einer Steigerung des SROCC auf 0,958 auf dem Mehrfachverzerrungs-Datensatz LIVE-MD, was beweist, dass die Methode auch unter komplexen Verzerrungsbedingungen eine genaue Bildqualitätsbewertung ermöglicht, und die Netzwerkstruktur reale Anwendungsszenarien erfüllt.

关键词

Bildqualität; referenzlose Bildqualitätsbewertung; Transformer; Selbstaufmerksamkeit; Merkmalsymbolisierung

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website