Reconstruction de super-résolution vidéo légère basée sur OFCA-Transformer

REN Pengyang ,  

PANG Kai ,  

摘要

Pour résoudre les problèmes existants des méthodes de super-résolution vidéo dans des scènes à mouvements complexes, tels que le mauvais alignement inter-frames, l’utilisation insuffisante des informations temporelles, et la complexité computationnelle élevée des mécanismes d’attention traditionnels, cet article propose un réseau de super-résolution vidéo intégrant une attention croisée guidée par le flux optique (OFCA-Transformer). Premièrement, un module d’estimation de flux optique multi-échelle léger est conçu pour générer des informations de mouvement à granularité multiple ; deuxièmement, un mécanisme d’attention croisée guidé par le flux optique est introduit de manière innovante, créant une fenêtre d’attention locale centrée sur la position prédite du flux optique, pour réaliser une fusion profonde entre les prior géométriques explicites et la perception implicite du contenu, améliorant la précision de l’alignement tout en réduisant significativement la complexité computationnelle ; enfin, un module d’agrégation de caractéristiques en couches est construit pour réaliser une fusion plus efficace des caractéristiques spatio-temporelles dans l’architecture Transformer. Avec des facteurs d’agrandissement ×2, ×3 et ×4, la méthode proposée est comparée à d’autres méthodes sur trois ensembles de données publics. Les résultats montrent que la valeur PSNR de l’OFCA-Transformer sur plusieurs ensembles de données diffère seulement de 0,16 dB par rapport aux méthodes avancées, tandis que le nombre de paramètres du modèle est réduit de 82,8 %, améliorant efficacement l’efficacité de calcul. De plus, la méthode proposée montre une restauration des détails plus précise et une meilleure cohérence temporelle dans les scènes à mouvements complexes, obtenant objectivement de meilleures mesures quantitatives pour tous les facteurs d’agrandissement.

关键词

super-résolution vidéo;Transformer;estimation de flux optique;attention croisée;alignement du mouvement

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website