طريقة تقييم جودة الصورة غير المرجعية القائمة على ترميز الميزات وTransformer
摘要
تعاني طرق تقييم جودة الصور غير المرجعية القائمة على التعلم العميق حالياً من نقص في الارتباط الدلالي أو تطلبات تدريبية عالية للنماذج. لذلك، تقترح هذه الورقة طريقة تقييم جودة الصور غير المرجعية مبنية على ترميز الميزات الدلالية وTransformer. أولاً، يتم استخدام شبكة عصبية تلافيفية عميقة لاستخراج الميزات الدلالية العليا للصورة؛ ثم يتم تحويل الميزات الدلالية إلى رموز ميزات بصرية، ويتم نمذجة العلاقات بين هذه الرموز البصرية استناداً إلى آلية الانتباه الذاتي في Transformer لاستخراج الميزات العالمية للصورة، مع استخدام شبكة عصبية سطحية لاستخراج الميزات المحلية السفلية للصورة لالتقاط معلومات التشويه منخفض المستوى؛ وأخيراً يتم دمج المعلومات العالمية والمحلية للتنبؤ بجودة الصورة. للتحقق من دقة وقوة النموذج، تم إجراء تجارب باستخدام معامل الارتباط PLCC وSROCC كمؤشرات تقييم على خمسة مجموعات بيانات رئيسية لتقييم جودة الصور ومجموعة بيانات لتقييم جودة الصور تحت الماء، وتمت مقارنة الطريقة المقترحة مع 15 طريقة تقليدية وعميقة للتقييم. تظهر النتائج أن الطريقة المقترحة تحقق أداء متفوقاً على مختلف المجموعات بكمية معلمات قليلة (حوالي 1.56 ميجابايت)، لا سيما بتحسين SROCC إلى 0.958 على مجموعة بيانات LIVE-MD متعددة التشويش، مما يدل على قدرة الشبكة على تقييم جودة الصور بدقة في ظروف التشويه المعقدة، وأن هيكل الشبكة يناسب سيناريوهات التطبيق العملي.
关键词
جودة الصورة; تقييم جودة الصورة غير المرجعية; Transformer; الانتباه الذاتي; ترميز الميزات
以上内容由讯飞翻译自动生成，翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果，本网站不承担任何商业和法律责任。
The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website