Метод оценки качества изображений без эталона на основе символизации признаков и Transformer

SONG Wei ,  

LI Jia-jin ,  

LIU Xiao-chen ,  

LIU Zhi-xiang ,  

SHI Shao-hua ,  

摘要

Существующие методы оценки качества изображений без эталона на основе глубокого обучения в настоящее время сталкиваются с проблемами недостаточной семантической связности или высокими требованиями к обучению модели. В связи с этим в данной работе предложен метод оценки качества изображений без эталона, основанный на семантической символизации признаков и Transformer. Сначала с помощью глубокой сверточной нейронной сети извлекаются высокоуровневые семантические признаки изображения; затем семантические признаки отображаются в визуальные признаки-символы, и на их основе с помощью механизма самовнимания Transformer моделируются отношения между визуальными признаками-символами для извлечения глобальных признаков изображения, одновременно используется неглубокая нейронная сеть для извлечения низкоуровневых локальных признаков изображения, захватывая информацию о низкоуровневых искажениях; в конце комбинируются глобальная и локальная информация изображения для предсказания качества изображения. Для проверки точности и устойчивости модели проведены эксперименты с использованием коэффициентов корреляции PLCC и SROCC в качестве оценочных метрик на пяти основных наборах данных для оценки качества изображений и одном наборе данных для оценки качества подводных изображений, и предложенный метод сравнен с 15 традиционными и глубокими методами оценки без эталона. Результаты экспериментов показывают, что предложенный метод достигает превосходной производительности на всех наборах данных при небольшом количестве параметров (около 1.56 МБ), особенно повышая SROCC до 0.958 на многократном искажённом наборе LIVE-MD, что демонстрирует способность точно оценивать качество изображения в условиях сложных искажений, а структура сети подходит для практических применений.

关键词

Качество изображения; оценка качества изображений без эталона; Transformer; самовнимание; символизация признаков

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website