特徴符号化とTransformerに基づく無参照画像品質評価手法

SONG Wei ,  

LI Jia-jin ,  

LIU Xiao-chen ,  

LIU Zhi-xiang ,  

SHI Shao-hua ,  

摘要

深層学習に基づく無参照画像品質評価手法は現在、意味的な関連性の不足やモデル訓練の高い要求という問題を抱えています。これに対し、本稿では意味特徴の符号化とTransformerに基づく無参照画像品質評価手法を提案します。まず、深層畳み込みニューラルネットワークを用いて画像の高次意味特徴を抽出し、次に意味特徴を視覚特徴符号にマッピングし、Transformerの自己注意機構に基づいて視覚特徴符号間の関係をモデリングし、画像の全局的特徴を抽出します。同時に浅層ニューラルネットワークを用いて低次局所画像特徴を抽出し、画像の低レベル歪み情報を捉えます。最後に全局的画像情報と局所的画像情報を組み合わせて画像品質を予測します。モデルの精度と頑健性を検証するために、相関係数PLCCおよびSROCCを評価指標として、5つの主流画像品質評価データセットおよび1つの水中画像品質評価データセットで実験を行い、提案手法を15種類の従来手法および深層学習に基づく無参照画像品質評価手法と比較しました。実験結果は、本手法が比較的少ないパラメータ数(約1.56MB)で各種データセットにおいて優れた性能を達成し、特に多重歪みデータセットLIVE-MDにおいてSROCCを0.958に向上させ、複雑な歪み条件下でも画像品質を正確に評価できることを示しており、本ネットワーク構造が実際の応用シーンに適していることを証明しました。

关键词

画像品質;無参照画像品質評価;Transformer;自己注意;特徴符号

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website