基于FPGA的多路实时视频处理系统设计

严飞; 丁兆东; 刘银萍; 陈伟; 刘佳

doi:10.37188/CJLCD.2022-0001

您当前的位置：

首页 >

文章列表页 >

基于FPGA的多路实时视频处理系统设计

驱动与控制 | 更新时间：2022-07-25

- 基于FPGA的多路实时视频处理系统设计
- Design of multi-channel real-time video processing system based on FPGA
- 液晶与显示 2022年37卷第7期页码：861-870
- 作者机构：
  
  1.南京信息工程大学自动化学院，江苏南京 210044
  2.江苏省大气环境与装备技术协同创新中心，江苏南京 210044
  3.南京信息工程大学大气物理学院，江苏南京 210044
- 作者简介：
  
  [ "严飞（1983—），男，江苏南京人，博士，讲师，2013年于中国科学院大学获得博士学位，主要从事三维测量和信息显示技术方面的研究。E-mail：fyan@nuist.edu.cn" ]
  [ "刘佳（1981—），女，江苏扬州人，博士，教授， 2008年于东南大学获得博士学位，主要从事虚拟现实/增强现实、人机交互及机器人技术方面的研究。E-mail：liujia@nuist.edu.cn" ]
- 基金信息：
  
  江苏省产业前瞻与关键核心技术重点项目(BE2020006-2);国家自然科学基金(61605083)
- DOI：10.37188/CJLCD.2022-0001
  中图分类号： TP274
- 收稿日期：2022-01-01，
  
  修回日期：2022-02-17，
  
  纸质出版日期：2022-07-05
- 稿件说明：
移动端阅览
严飞, 丁兆东, 刘银萍, 等. 基于FPGA的多路实时视频处理系统设计[J]. 液晶与显示, 2022,37(7):861-870.

Fei YAN, Zhao-dong DING, Yin-ping LIU, et al. Design of multi-channel real-time video processing system based on FPGA[J]. Chinese journal of liquid crystals and displays, 2022, 37(7): 861-870.
严飞, 丁兆东, 刘银萍, 等. 基于FPGA的多路实时视频处理系统设计[J]. 液晶与显示, 2022,37(7):861-870. DOI： 10.37188/CJLCD.2022-0001.

Fei YAN, Zhao-dong DING, Yin-ping LIU, et al. Design of multi-channel real-time video processing system based on FPGA[J]. Chinese journal of liquid crystals and displays, 2022, 37(7): 861-870. DOI： 10.37188/CJLCD.2022-0001.

摘要

基于FPGA平台，采用双线性插值缩放算法，实现了对多路实时视频任意比例的缩放。进行了DDR3的读写逻辑设计，采用乒乓操作以及多通道读写仲裁模块，实现了实时的图像缓存。采用Alpha叠加融合算法，实现了对多路视频任意位置的漫游叠加，以及任意通道视频透明度的调节。实验结果表明，本次设计的多路实时视频处理系统，实现了最大分辨率为3 840×2 160、最低分辨率为100×100的缩放，能够灵活改变叠加位置的大小和位置，图像清晰、无闪屏、无错位情况的发生。

Abstract

Based on FPGA platform， the bilinear interpolation scaling algorithm is used to realize arbitrary scaling of multichannel real-time video. DDR3 read and write logic is designed. Using ping-pong operation and multi-channel read and write arbitration module， the real-time image cache is achieved. Alpha overlay fusion algorithm is used to realize roaming overlay at any position of multichannel video and adjust the video transparency of any channel. The experimental results show that the multi-channel real-time video processing system designed in this paper can realize the maximum resolution of 3 840×2 160 and the minimum resolution of 100×100， and can flexibly change the size and position of the stacking position. The image is clear， no flash screen and no dislocation.

关键词

Keywords

references

BAILEY D G . 基于FPGA的嵌入式图像处理系统设计［M］.原魁，何文浩，肖晗，译. 北京：电子工业出版社， 2013 .

BAILEY D G . Design for Embedded Image Processing on FPGAs ［M］. YUAN K， HE W H， XIAO H， trans. Beijing ： Publishing House of Electronics Industry ， 2013 . （in Chinese）

金永明，蒋韬 . DP与DVI接口在4K显示器上叠加显示的电路设计［J］. 山东工业技术， 2016 （ 14 ）： 144 - 146 .

JIN Y M ， JIANG T . Circuit design of DP and DVI interface superimposed display on 4K display ［J］. Shandong Industrial Technology ， 2016 （ 14 ）： 144 - 146 . （in Chinese）

RADICKE S ， HAHN J U ， WANG Q ， et al . A parallel HEVC intra prediction algorithm for heterogeneous CPU+GPU platforms ［J］. IEEE Transactions on Broadcasting ， 2016 ， 62 （ 1 ）： 103 - 119 . doi: 10.1109/tbc.2015.2505401 http://dx.doi.org/10.1109/tbc.2015.2505401

KASSIM A A ， CHUA K S ， FONG F K ， et al . DSP-based system for real-time video communications ［J］. International Journal of Imaging Systems and Technology ， 1999 ， 10 （ 1 ）： 47 - 53 . doi: 10.1002/(sici)1098-1098(1999)10:1<47::aid-ima5>3.0.co;2-c http://dx.doi.org/10.1002/(sici)1098-1098(1999)10:1<47::aid-ima5>3.0.co;2-c

KIM K ， KOH J S ， SUH K B ， et al . An efficient frame memory interface of MPEG-2 video encoder ASIC chip ［C］// 1999 Digest of Technical Papers . International Conference on Consumer Electronics . Los Angeles ： IEEE ， 1999 ： 58 - 59 . doi: 10.1109/30.793534 http://dx.doi.org/10.1109/30.793534

严飞，宋振声，刘银萍，等 . 4K裸眼立体显示系统设计［J］. 液晶与显示， 2019 ， 34 （ 9 ）： 862 - 870 . doi: 10.3788/yjyxs20193409.0862 http://dx.doi.org/10.3788/yjyxs20193409.0862

YAN F ， SONG Z S ， LIU Y P ， et al . Design of 4K bare-eye stereoscopic display system ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 9 ）： 862 - 870 . （in Chinese） . doi: 10.3788/yjyxs20193409.0862 http://dx.doi.org/10.3788/yjyxs20193409.0862

易子川，林跃，王利 . 基于FPGA的多路视频实时处理系统［J］. 华南师范大学学报（自然科学版）， 2017 ， 49 （ 1 ）： 51 - 55 .

YI Z C ， LIN Y ， WANG L . Multi-channel real-time video processing system based on FPGA ［J］. Journal of South China Normal University （Natural Science Edition）， 2017 ， 49 （ 1 ）： 51 - 55 . （in Chinese）

郭昕 . 基于FPGA的多路超高清视频实时处理系统设计［D］. 上海：华东师范大学， 2018 .

GUO X . FPGA-based multi-channel ultra-high definition video real-time processing system design ［D］. Shanghai ： East China Normal University ， 2018 . （in Chinese）

丁雪晶 . 实现图像缩放功能的Matlab插值算法研究与比较［J］. 湖北大学学报（自然科学版）， 2018 ， 40 （ 4 ）： 396 - 400，406 .

DING X J . Research and comparison of Matlab interpolation algorithm for image scaling function ［J］. Journal of Hubei University （Natural Science）， 2018 ， 40 （ 4 ）： 396 - 400， 406 . （in Chinese）

李向军 . 数字视频系统接口应用［J］. 电视技术， 2016 ， 40 （ 10 ）： 37 - 40 .

LI X J . Application of interfaces in digital video system ［J］. Video Engineering ， 2016 ， 40 （ 10 ）： 37 - 40 . （in Chinese）

严飞，陆宝毅，刘银萍，等 . 实时视频流缩放系统设计［J］. 液晶与显示， 2019 ， 34 （ 11 ）： 1124 - 1130 . doi: 10.3788/yjyxs20193411.1124 http://dx.doi.org/10.3788/yjyxs20193411.1124

YAN F ， LU B Y ， LIU Y P ， et al . Design of real-time video stream scaling system ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 11 ）： 1124 - 1130 . （in Chinese） . doi: 10.3788/yjyxs20193411.1124 http://dx.doi.org/10.3788/yjyxs20193411.1124

SINGH R ， RADPOUR F ， NARAYAN J ， et al . In - situ rapid isiheial pocessing of thin epitaxial dieleciric films on silicon and compound semi semiconductors ［J］. MRS Online Proceedings Library ， 1986 ， 75 （ 1 ）： 681 - 690 . doi: 10.1557/proc-75-681 http://dx.doi.org/10.1557/proc-75-681

YUSIANTO R ， MARIMIN ， SUPRIHATIN ， et al . Green logistics approach in bioethanol conversion from potato starch in central Java ［C］// IOP Conference Series： Materials Science and Engineering . Jeju Island ： IOP ， 2019 ： 012100 . doi: 10.1088/1757-899x/598/1/012100 http://dx.doi.org/10.1088/1757-899x/598/1/012100

张梁，王景存，梅镖 . 视频缩放在FPGA中的应用和实现［J］. 电子技术应用， 2016 ， 42 （ 6 ）： 34 - 37 . doi: 10.2991/meici-16.2016.149 http://dx.doi.org/10.2991/meici-16.2016.149

ZHANG L ， WANG J C ， MEI B . Application and implementation of video scaling algorithm based on FPGA ［J］. Application of Electronic Technique ， 2016 ， 42 （ 6 ）： 34 - 37 . （in Chinese） . doi: 10.2991/meici-16.2016.149 http://dx.doi.org/10.2991/meici-16.2016.149

岳鑫，肖晨 . 基于奇异值分解和双三次插值的图像缩放算法改进［J］. 西安邮电大学学报， 2018 ， 23 （ 4 ）： 72 - 77 .

YUE X ， XIAO C . Improvement of image scaling algorithm based on singular value decomposition and bicubic interpolation ［J］. Journal of Xi'an University of Posts and Telecommunications ， 2018 ， 23 （ 4 ）： 72 - 77 . （in Chinese）

于亚龙，穆远彪 . 插值算法的研究［J］. 现代计算机（专业版）， 2014 （ 5 ）： 32 - 35 .

YU Y L ， MU Y B . Research on interpolation algorithm ［J］. Modern Computer （Professional Edition）， 2014 （ 5 ）： 32 - 35 . （in Chinese）

潘亮，穆仕博，何广亮，等 . FPGA的SDR/DDR3 SDRAM控制器设计［J］. 单片机与嵌入式系统应用， 2020 ， 20 （ 1 ）： 52 - 55 .

PAN L ， MU S B ， HE G L ， et al . Design of SDR/DDR3 SDRAM controllers based on FPGA ［J］. Microcontrollers & Embedded Systems ， 2020 ， 20 （ 1 ）： 52 - 55 . （in Chinese）

VERSEN M ， ERNST W . Row hammer avoidance analysis of DDR3 SDRAM ［J］. Microelectronics Reliability ， 2020 ， 114 ： 113744 . doi: 10.1016/j.microrel.2020.113744 http://dx.doi.org/10.1016/j.microrel.2020.113744

杨朋飞，聂亮 . 基于FPGA和DDR3的图像采集系统设计及实现［J］. 自动化与仪表， 2019 ， 34 （ 9 ）： 37 - 40，51 .

YANG P F ， NIE L . Design and implementation of image acquisition system based on FPGA and DDR3 ［J］. Automation & Instrumentation ， 2019 ， 34 （ 9 ）： 37 - 40， 51 . （in Chinese）

齐佳硕，王洪岩 . 基于FPGA的SDRAM接口设计及实现［J］. 电子测量技术， 2018 ， 41 （ 19 ）： 141 - 144 . doi: 10.1109/imcec.2018.8469378 http://dx.doi.org/10.1109/imcec.2018.8469378

QI J S ， WANG H Y . Design and implementation of the SDRAM interface based on the FPGA ［J］. Electronic Measurement Technology ， 2018 ， 41 （ 19 ）： 141 - 144 . （in Chinese） . doi: 10.1109/imcec.2018.8469378 http://dx.doi.org/10.1109/imcec.2018.8469378

侯广琦，魏平，白廷柱 . 多通道嵌入式高速图像采集存储系统的研究［J］. 仪器仪表学报， 2011 ， 32 （ 11 ）： 2543 - 2548 .

HOU G Q ， WEI P ， BAI T Z . Study of multi-channel high-speed embedded image capture and storage system ［J］. Chinese Journal of Scientific Instrument ， 2011 ， 32 （ 11 ）： 2543 - 2548 . （in Chinese）

何雯，董威，苟辉 . 基于FPGA的高速视频采集系统的设计［J］. 国外电子测量技术， 2016 ， 35 （ 5 ）： 83 - 87 . doi: 10.3969/j.issn.1002-8978.2016.05.020 http://dx.doi.org/10.3969/j.issn.1002-8978.2016.05.020

HE W ， DONG W ， GOU H . Design of high-speed video acquisition system based on FPGA ［J］. Foreign Electronic Measurement Technology ， 2016 ， 35 （ 5 ）： 83 - 87 . （in Chinese） . doi: 10.3969/j.issn.1002-8978.2016.05.020 http://dx.doi.org/10.3969/j.issn.1002-8978.2016.05.020

HALL A ， LEGER D S ， SINGH A ， et al . The utility of computed tomography and diffusion-weighted magnetic resonance imaging fusion in cholesteatoma： illustration with a UK case series ［J］. The Journal of Laryngology & Otology ， 2020 ， 134 （ 2 ）： 178 - 183 . doi: 10.1017/s0022215119002640 http://dx.doi.org/10.1017/s0022215119002640

KURALT M ， GAŠPERŠIČ R ， FIDLER A . 3D computer-aided treatment planning in periodontology： a novel approach for evaluation and visualization of soft tissue thickness ［J］. Journal of Esthetic and Restorative Dentistry ， 2020 ， 32 （ 5 ）： 457 - 462 . doi: 10.1111/jerd.12614 http://dx.doi.org/10.1111/jerd.12614

MORGAN H L ， BUTLER E ， RITCHIE S ， et al . Modeling superimposed preeclampsia using Ang Ⅱ （Angiotensin Ⅱ） infusion in pregnant stroke-prone spontaneously hypertensive rats ［J］. Hypertension ， 2018 ， 72 （ 1 ）： 208 - 218 . doi: 10.1161/hypertensionaha.118.10935 http://dx.doi.org/10.1161/hypertensionaha.118.10935

ULRICH R ， SCHRÖTER H ， LEUTHOLD H ， et al . Automatic and controlled stimulus processing in conflict tasks： superimposed diffusion processes and delta functions ［J］. Cognitive Psychology ， 2015 ， 78 ： 148 - 174 . doi: 10.1016/j.cogpsych.2015.02.005 http://dx.doi.org/10.1016/j.cogpsych.2015.02.005

浏览量

535

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

FPGA实现的视频图像缩放显示

基于CNN的异构FPGA硬件加速器设计

基于FPGA的分段近似双边滤波算法设计与实现

LED显示串行总线数据分发芯片的设计