基于OFCA-Transformer的轻量化视频超分辨率重建

任朋炀; 庞凯

doi:10.37188/CJLCD.2025-0256

您当前的位置：

首页 >

文章列表页 >

基于OFCA-Transformer的轻量化视频超分辨率重建

图像处理 | 更新时间：2026-09-20

- 基于OFCA-Transformer的轻量化视频超分辨率重建
- Lightweight video super-resolution reconstruction based on OFCA-Transformer
- 液晶与显示 2026年41卷第3期页码：440-451
- 作者机构：
  
  1.合肥工业大学机械工程学院，安徽合肥 230002
  2.东北大学机械工程与自动化学院，辽宁沈阳 110167
- 作者简介：
  
  庞凯，男，硕士研究生，2020年于燕山大学获得学士学位，主要从事视觉处理与图像识别的研究。E-mail： neu_pangkai@163.com
- 基金信息：
- DOI：10.37188/CJLCD.2025-0256
  中图分类号： TP391.4
- CSTR：32172.14.CJLCD.2025-0256
- 收稿：2025-12-28，
  
  修回：2026-02-02，
  
  纸质出版：2026-03-05
- 稿件说明：
移动端阅览
任朋炀, 庞凯. 基于OFCA-Transformer的轻量化视频超分辨率重建[J]. 液晶与显示, 2026,41(3):440-451.

REN Pengyang, PANG Kai. Lightweight video super-resolution reconstruction based on OFCA-Transformer[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(3): 440-451.
任朋炀, 庞凯. 基于OFCA-Transformer的轻量化视频超分辨率重建[J]. 液晶与显示, 2026,41(3):440-451. DOI： 10.37188/CJLCD.2025-0256. CSTR： 32172.14.CJLCD.2025-0256.

REN Pengyang, PANG Kai. Lightweight video super-resolution reconstruction based on OFCA-Transformer[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(3): 440-451. DOI： 10.37188/CJLCD.2025-0256. CSTR： 32172.14.CJLCD.2025-0256.

摘要

针对现有视频超分辨率方法在复杂运动场景下存在的帧间对齐不准确、时序信息利用不充分，以及传统注意力机制计算复杂度高等问题，本文提出一种融合光流引导交叉注意力的视频超分辨率网络（OFCA-Transformer）。首先，设计一个轻量级的多尺度光流估计模块，生成多粒度运动信息；其次，创新性引入光流引导的交叉注意力机制，以光流预测位置为中心建立局部注意力窗口，实现显式几何先验与隐式内容感知的深度融合，在提升对齐精度的同时显著降低计算复杂度；最后，构建分层特征聚合模块，在Transformer架构内实现更有效的时空特征融合。在放大因子分别为×2、×3、×4时，将本文的研究方法与其他方法在3个公开数据集进行对比。结果表明，OFCA-Transformer在多个数据集上的PSNR值与其他先进方法相比仅差0.16 dB，而模型参数量降低82.8%，有效地提高了计算效率。此外，本文所提的研究方法在复杂运动场景下表现出更精确的细节恢复和更好的时间一致性，客观上在各个放大因子下均取得较好的定量指标。

Abstract

To address the limitations of existing video super-resolution methods in complex motion scenes-including inaccurate frame-to-frame alignment， insufficient utilization of temporal information， and high computational complexity of traditional attention mechanisms， this paper proposes an optical flow-guided cross-attention video super-resolution network （OFCA-Transformer）. First， a lightweight multi-scale optical flow estimation module is designed to generate multi-granularity motion information. Second， we innovatively introduce a flow-guided cross-attention mechanism. By establishing local attention windows centered on flow-predicted positions， we achieve an explicit fusion of geometric priors with implicit content awareness. This approach significantly enhances alignment accuracy while substantially reducing computational complexity. Additionally， we construct a hierarchical feature aggregation module to enable more efficient spatio-temporal feature fusion within the Transformer architecture. Our method was evaluated against other approaches on three public datasets at magnification factors of ×2， ×3， and ×4. The results demonstrate that OFCA-Transformer achieves PSNR values only 0.16 dB lower than the state-of-the-art methods across multiple datasets， while reducing model parameters by 82.8%， effectively improving computational efficiency. Furthermore， the proposed method exhibits more precise detail recovery and better temporal consistency in complex motion scenes， objectively achieving superior quantitative metrics across all magnification factors.

关键词

Keywords

references

唐麒，赵耀，刘美琴，等 . 基于深度学习的视频超分辨率重建算法进展［J］. 自动化学报， 2025 ， 51 （ 7 ）： 1480 - 1524 . doi: 10.16383/j.aas.c240235 http://dx.doi.org/10.16383/j.aas.c240235

TANG Q ， ZHAO Y ， LIU M Q ， et al . A review of video super-resolution algorithms based on deep learning ［J］. Acta Automatica Sinica ， 2025 ， 51 （ 7 ）： 1480 - 1524 . （in Chinese） . doi: 10.16383/j.aas.c240235 http://dx.doi.org/10.16383/j.aas.c240235

江俊君，程豪，李震宇，等 . 深度学习视频超分辨率技术综述［J］. 中国图象图形学报， 2023 ， 28 （ 7 ）： 1927 - 1964 . doi: 10.11834/jig.220130 http://dx.doi.org/10.11834/jig.220130

JIANG J J ， CHENG H ， LI Z Y ， et al . Deep learning based video-related super-resolution technique： a survey ［J］. Journal of Image and Graphics ， 2023 ， 28 （ 7 ）： 1927 - 1964 . （in Chinese） . doi: 10.11834/jig.220130 http://dx.doi.org/10.11834/jig.220130

WAN Z Y ， ZHANG B ， CHEN D D ， et al . Bringing old films back to life ［C］// Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New Orleans， USA ： IEEE ， 2022 ： 17673 - 17682 . doi: 10.1109/cvpr52688.2022.01717 http://dx.doi.org/10.1109/cvpr52688.2022.01717

LI G ， JI J ， QIN M H ， et al . Towards high-quality and efficient video super-resolution via spatial-temporal data overfitting ［C］// Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver， Canada ： IEEE ， 2023 ： 10259 - 10269 . doi: 10.1109/cvpr52729.2023.00989 http://dx.doi.org/10.1109/cvpr52729.2023.00989

KHAN M A ， JAVED K ， KHAN S A ， et al . Human action recognition using fusion of multiview and deep features： an application to video surveillance ［J］. Multimedia Tools and Applications ， 2024 ， 83 （ 5 ）： 14885 - 14911 .

LUO L G ， YI B S ， WANG Z Y ， et al . Efficient lightweight network for video super-resolution ［J］. Neural Computing and Applications ， 2024 ， 36 （ 2 ）： 883 - 896 . doi: 10.1007/s00521-023-09065-z http://dx.doi.org/10.1007/s00521-023-09065-z

SUN X ， LONG X ， HE D L ， et al . VSRNet： end-to-end video segment retrieval with text query ［J］. Pattern Recognition ， 2021 ， 119 ： 108027 . doi: 10.1016/j.patcog.2021.108027 http://dx.doi.org/10.1016/j.patcog.2021.108027

CHAN K C K ， WANG X T ， YU K ， et al . BasicVSR： the search for essential components in video super-resolution and beyond ［C］// Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Nashville， USA ： IEEE ， 2021 ： 4947 - 4956 . doi: 10.1109/cvpr46437.2021.00491 http://dx.doi.org/10.1109/cvpr46437.2021.00491

CHAN K C K ， ZHOU S C ， XU X Y ， et al . BasicVSR++： IMPROVING video super-resolution with enhanced propagation and alignment ［C］// Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans ： IEEE ， 2022 ： 5972 - 5981 . doi: 10.1109/cvpr52688.2022.00588 http://dx.doi.org/10.1109/cvpr52688.2022.00588

CAO J Z ， LI Y W ， ZHANG K ， et al . Video super-resolution transformer ［J/OL］. arXiv ， 2021 ： 2106 . 06847 .

WANG X ， WANG H ， ZHANG M L ， et al . Combining optical flow and Swin Transformer for space-time video super-resolution ［J］. Engineering Applications of Artificial Intelligence ， 2024 ， 137 ： 109227 . doi: 10.1016/j.engappai.2024.109227 http://dx.doi.org/10.1016/j.engappai.2024.109227

夏振平，陈豪，张宇宁，等 . 基于混合时空卷积的轻量级视频超分辨率重建［J］. 光学精密工程， 2024 ， 32 （ 16 ）： 2564 - 2576 . doi: 10.37188/OPE.20243216.2564 http://dx.doi.org/10.37188/OPE.20243216.2564

XIA Z P ， CHEN H ， ZHANG Y N ， et al . Lightweight video super-resolution based on hybrid spatio-temporal convolution ［J］. Optics and Precision Engineering ， 2024 ， 32 （ 16 ）： 2564 - 2576 . （in Chinese） . doi: 10.37188/OPE.20243216.2564 http://dx.doi.org/10.37188/OPE.20243216.2564

林坚普，吴镇城，王崑赋，等 . 级联残差优化Transformer网络的图像超分辨率重建［J］. 光学精密工程， 2024 ， 32 （ 12 ）： 1902 - 1914 . doi: 10.37188/OPE.20243212.1902 http://dx.doi.org/10.37188/OPE.20243212.1902

LIN J P ， WU Z C ， WANG K F ， et al . Cascade residual-optimized image super-resolution reconstruction in Transformer network ［J］. Optics and Precision Engineering ， 2024 ， 32 （ 12 ）： 1902 - 1914 . （in Chinese） . doi: 10.37188/OPE.20243212.1902 http://dx.doi.org/10.37188/OPE.20243212.1902

XUE T F ， CHEN B A ， WU J J ， et al . Video enhancement with task-oriented flow ［J］. International Journal of Computer Vision ， 2019 ， 127 （ 8 ）： 1106 - 1125 . doi: 10.1007/s11263-018-01144-2 http://dx.doi.org/10.1007/s11263-018-01144-2

陈清江，陈鹏民 . 多维度聚合Transformer的图像超分辨率重建［J］. 光学精密工程， 2025 ， 33 （ 12 ）： 1955 - 1970 . doi: 10.37188/ope.20253312.1955 http://dx.doi.org/10.37188/ope.20253312.1955

CHEN Q J ， CHEN P M . MDAT： multi-dimensional aggregation Transformer for image super-resolution reconstruction ［J］. Optics and Precision Engineering ， 2025 ， 33 （ 12 ）： 1955 - 1970 . （in Chinese） . doi: 10.37188/ope.20253312.1955 http://dx.doi.org/10.37188/ope.20253312.1955

JIN B Y ， HOU Y W ， XI P . Bridging microscale and macroscale light-field image reconstruction using ‘real-time and universal network’ ［J］. Light： Advanced Manufacturing ， 2025 ， 6 （ 3 ）： 399 - 401 . doi: 10.37188/lam.2025.060 http://dx.doi.org/10.37188/lam.2025.060

贺兴，王磊，张鹏超，等 . 基于多维注意力网络的图像超分辨率重建［J］. 液晶与显示， 2025 ， 40 （ 7 ）： 1056 - 1066 . doi: 10.37188/cjlcd.2025-0058 http://dx.doi.org/10.37188/cjlcd.2025-0058

HE X ， WANG L ， ZHANG P C ， et al . Image super-resolution reconstruction based on multidimensional attention network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 7 ）： 1056 - 1066 . （in Chinese） . doi: 10.37188/cjlcd.2025-0058 http://dx.doi.org/10.37188/cjlcd.2025-0058

阎刚，宋子怡，耿树泽 . 基于全方位状态空间模型的轻量化图像超分辨率重建［J］. 液晶与显示， 2025 ， 40 （ 4 ）： 642 - 654 . doi: 10.37188/cjlcd.2024-0246 http://dx.doi.org/10.37188/cjlcd.2024-0246

YAN G ， SANG Z Y ， GENG S Z . PMambaIR： panoramic vision state space model for lightweight image super-resolution ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 4 ）： 642 - 654 . （in Chinese） . doi: 10.37188/cjlcd.2024-0246 http://dx.doi.org/10.37188/cjlcd.2024-0246

YANG M Q ， WANG Y H ， YANG Y ， et al . Multi-scale spatiotemporal feature fusion for super-resolution video reconstruction in dynamic scenes ［J］. Engineering Applications of Artificial Intelligence ， 2025 ， 161 ： 112327 . doi: 10.1016/j.engappai.2025.112327 http://dx.doi.org/10.1016/j.engappai.2025.112327

SUN D Q ， YANG X D ， LIU M Y ， et al . PWC-Net： CNNs for optical flow using pyramid， warping， and cost volume ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 8934 - 8943 . doi: 10.1109/cvpr.2018.00931 http://dx.doi.org/10.1109/cvpr.2018.00931

RANJAN A ， BLACK M J . Optical flow estimation using a spatial pyramid network ［C］// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Honolulu ： IEEE ， 2017 ： 2720 - 2729 . doi: 10.1109/cvpr.2017.291 http://dx.doi.org/10.1109/cvpr.2017.291

TIAN Y P ， ZHANG Y L ， FU Y ， et al . TDAN： temporally-deformable alignment network for video super-resolution ［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Seattle ： IEEE ， 2020 ： 3357 - 3366 . doi: 10.1109/cvpr42600.2020.00342 http://dx.doi.org/10.1109/cvpr42600.2020.00342

WANG X L ， GIRSHICK R ， GUPTA A ， et al . Non-local neural networks ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 7794 - 7803 . doi: 10.1109/cvpr.2018.00813 http://dx.doi.org/10.1109/cvpr.2018.00813

JOHNSON J ， ALAHI A ， FEI-FEI L . Perceptual losses for real-time style transfer and super-resolution ［C］// Proceedings of the 14th European Conference on Computer Vision . Amsterdam ： Springer ， 2016 ： 694 - 711 . doi: 10.1007/978-3-319-46475-6_43 http://dx.doi.org/10.1007/978-3-319-46475-6_43

SIMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［C］// Proceedings of the 3rd International Conference on Learning Representations . San Diego ： OpenReview.net ， 2015 ： 1 - 14 .

NAH S ， BAIK S ， HONG S ， et al . NTIRE 2019 challenge on video deblurring and super-resolution： dataset and study ［C］// Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW） . Long Beach ： IEEE ， 2019 ： 1996 - 2005 . doi: 10.1109/cvprw.2019.00251 http://dx.doi.org/10.1109/cvprw.2019.00251

LIU C ， SUN D Q . On Bayesian adaptive video super resolution ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2014 ， 36 （ 2 ）： 346 - 360 . doi: 10.1109/tpami.2013.127 http://dx.doi.org/10.1109/tpami.2013.127

浏览量

880

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于时空一致性的协同感知鲁棒融合方法

喷墨打印液晶配向膜厚度的TOF-SIMS深度分析方法

基于偏振激光直写光取向的液晶几何相位平面光学元件

基于挠曲电效应的场致双模式液晶切换光栅

基于ZYNQ与YOLO26n的PCB缺陷检测