Método de evaluación de la calidad de imagen sin referencia basado en simbolización de características y Transformer

SONG Wei ,  

LI Jia-jin ,  

LIU Xiao-chen ,  

LIU Zhi-xiang ,  

SHI Shao-hua ,  

摘要

Los métodos de evaluación de la calidad de imagen sin referencia basados en aprendizaje profundo actualmente enfrentan problemas de insuficiente correlación semántica o altos requisitos de entrenamiento del modelo. Por ello, este artículo propone un método de evaluación de calidad de imagen sin referencia basado en la simbolización de características semánticas y Transformer. Primero, se utiliza una red neuronal convolucional profunda para extraer características semánticas de alto nivel de la imagen; luego, las características semánticas se mapean a símbolos de características visuales y, basándose en el mecanismo de auto-atención de Transformer, se modelan las relaciones entre estos símbolos visuales para extraer características globales de la imagen, mientras que una red neuronal superficial extrae características locales de bajo nivel de la imagen para capturar información de distorsión de bajo nivel; finalmente, se combinan las informaciones global y local para predecir la calidad de la imagen. Para verificar la precisión y robustez del modelo, se realizaron experimentos utilizando los coeficientes de correlación PLCC y SROCC como métricas de evaluación en cinco conjuntos de datos principales para evaluación de calidad de imagen y un conjunto de datos bajo el agua, y se comparó el método propuesto con 15 métodos tradicionales y basados en aprendizaje profundo para evaluación sin referencia. Los resultados experimentales muestran que el método propuesto logra un rendimiento superior en varios conjuntos de datos con una cantidad reducida de parámetros (aproximadamente 1.56 MB), especialmente aumentando el SROCC a 0.958 en el conjunto de datos LIVE-MD con distorsión múltiple, demostrando que puede evaluar con precisión la calidad de la imagen en condiciones de distorsión complejas y que la estructura de la red satisface escenarios de aplicación práctica.

关键词

Calidad de imagen; evaluación de calidad de imagen sin referencia; Transformer; auto-atención; simbolización de características

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website