Método de avaliação de qualidade de imagem sem referência baseado em simbolização de características e Transformer

SONG Wei ,  

LI Jia-jin ,  

LIU Xiao-chen ,  

LIU Zhi-xiang ,  

SHI Shao-hua ,  

摘要

Os métodos de avaliação de qualidade de imagem sem referência baseados em aprendizado profundo atualmente enfrentam problemas de insuficiente correlação semântica ou altos requisitos de treinamento do modelo. Para isso, este artigo propõe um método de avaliação de qualidade de imagem sem referência baseado na simbolização de características semânticas e Transformer. Primeiramente, utiliza-se uma rede neural convolucional profunda para extrair características semânticas de alto nível da imagem; em seguida, as características semânticas são mapeadas para símbolos de características visuais, e com base no mecanismo de autoatenção do Transformer, modelam-se as relações entre os símbolos de características visuais para extrair características globais da imagem, enquanto uma rede neural rasa extrai características locais de baixo nível da imagem para capturar informações de distorção de baixo nível; por fim, combina-se a informação global e local da imagem para prever a qualidade da imagem. Para verificar a precisão e a robustez do modelo, foram realizados experimentos utilizando os coeficientes de correlação PLCC e SROCC como métricas de avaliação em cinco conjuntos de dados principais de avaliação da qualidade de imagem e um conjunto de dados de avaliação de qualidade de imagem submarina, comparando o método proposto com 15 métodos tradicionais e baseados em aprendizado profundo para avaliação sem referência. Os resultados experimentais mostram que o método proposto alcança desempenho superior em vários conjuntos de dados com uma quantidade reduzida de parâmetros (aproximadamente 1,56 MB), especialmente elevando o SROCC para 0,958 no conjunto de dados LIVE-MD com múltiplas distorções, demonstrando que pode avaliar com precisão a qualidade da imagem em condições de distorção complexas, e que a estrutura da rede atende a cenários de aplicações práticas.

关键词

Qualidade da imagem; avaliação de qualidade de imagem sem referência; Transformer; autoatenção; simbolização de características

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website