High precision registration of monochrome and color video based on improved SIFT and mutual information method

XIE Wan-peng; LIU Huan; WU Yin-hua; CHEN Lei; ZHANG Yan; WANG Wen-na; HU Jia; HAN Jun

doi:10.37188/CJLCD.2023-0034

您当前的位置：

首页 >

文章列表页 >

High precision registration of monochrome and color video based on improved SIFT and mutual information method

Image Processing | 更新时间：2024-07-28

- High precision registration of monochrome and color video based on improved SIFT and mutual information method
- Chinese Journal of Liquid Crystals and Displays Vol. 38, Issue 12, Pages: 1689-1697(2023)
- 作者机构：
  
  1.西安工业大学光电工程学院，陕西西安 710021
  2.西安工业大学计算机科学与工程学院，陕西西安 710021
- 作者简介：
- 基金信息：
  
  Natural Science Foundation of China （NSFC）(12103039);Natural Science Basic Research Program of Shaanxi Province(2021JQ-640);Key Scientific Research Program of Education Department of Shaanxi Province(21JY016);Key Re search and Development Program of Shaanxi(2019ZDLGY16-01)
- DOI：10.37188/CJLCD.2023-0034
  CLC： TP391.41;TP18
- Received：05 February 2023，
  
  Revised：19 March 2023，
  
  Published：05 December 2023
- 稿件说明：
移动端阅览
XIE Wan-peng, LIU Huan, WU Yin-hua, et al. High precision registration of monochrome and color video based on improved SIFT and mutual information method[J]. Chinese journal of liquid crystals and displays, 2023, 38(12): 1689-1697.
DOI：

XIE Wan-peng, LIU Huan, WU Yin-hua, et al. High precision registration of monochrome and color video based on improved SIFT and mutual information method[J]. Chinese journal of liquid crystals and displays, 2023, 38(12): 1689-1697. DOI： 10.37188/CJLCD.2023-0034.

摘要

为了解决单色视频和彩色视频的全自动高精度配准问题，设计了针对视频配准的首帧及后续帧配准方法，在保证配准速度的同时提高了配准精度。对于首帧，首先在尺度不变特征变换（SIFT）基础上，基于双摄像头的特点进行了改进，进而对单色视频和彩色视频进行了粗配准，增加了粗配准矩阵的获取稳定性和精确性；随后根据粗配准矩阵系数，使用尺度金字塔模式对单色视频和彩色视频的配准矩阵进行了配准修正。对于视频中的后续帧，采用具有步长金字塔的平移修正方法，对首帧中得到的修正配准矩阵进行再利用，并通过平移修正方法弥补了由不确定时差波动和相机摆动带来的平移误差，最终提高了单色视频和彩色视频的配准效率和配准精确度。实验结果表明，对于640×480大小的单色视频和彩色视频，本文算法相比传统SIFT算法将首帧配准均方根误差减少了0.79%，首帧标记点误差由约为1像素缩小到不可察，且连续视频帧的平均配准时间为0.357 s，同时仍然保持标记点误差不可察，较好地满足了单色视频和彩色视频配准的全自动、精度高、速度快、鲁棒性强等要求。

Abstract

In order to solve the problem of fully automatic and high-precision alignment of monochrome and color videos， the first frame and subsequent frame alignment methods for video alignment are designed to improve the alignment accuracy while ensuring the speed of alignment. For the first frame， firstly， the scale invariant feature transform （SIFT） is improved based on the characteristics of dual cameras， and then the coarse alignment is performed for monochrome and color videos， which increases the stability and accuracy of the coarse alignment matrix. Subsequently， the alignment matrices of monochrome and color videos are modified according to the coarse alignment matrix coefficients using the scale pyramid model. For the subsequent frames in the video， a translation correction method with a step pyramid is used to reuse the corrected alignment matrix obtained in the first frame， and the translation correction method is used to compensate for the translation errors caused by uncertain time difference fluctuations and camera oscillations， which finally improves the alignment efficiency and alignment accuracy of monochrome and color videos. The experimental results show that for monochrome and color videos of 640×480 size， the algorithm in this paper reduces the root mean square error of the first frame alignment by 0.79% and the marker point error of the first frame from about 1 pixel to undetectable compared with the traditional SIFT algorithm， and the average alignment time of consecutive video frames is only 0.357 s， while still keeping the marker point error undetectable. The algorithm in this paper better meets the requirements of fully automatic， high accuracy， fast and robustness for monochrome and color video alignment.

关键词

Keywords

references

武越，白壮飞，公茂果，等 . 遥感图像配准中的群智汇聚方法［J］. 中国科学：技术科学， 2023 ， 53 （ 2 ）： 147 - 166 ． doi: 10.1360/sst-2021-0193 http://dx.doi.org/10.1360/sst-2021-0193

WU Y ， BAI Z F ， GONG M G ， et al . Application of swarm intelligence and a bioinspired computing algorithm in remote sensing image registration ［J］. Scientia Sinica Technologica ， 2023 ， 53 （ 2 ）： 147 - 166 . （in Chinese） . doi: 10.1360/sst-2021-0193 http://dx.doi.org/10.1360/sst-2021-0193

李云红，刘宇栋，苏雪平，等 . 红外与可见光图像配准技术研究综述［J］. 红外技术， 2022 ， 44 （ 7 ）： 641 - 651 ． doi: 10.11846/j.issn.1001-8891.2022.7.hwjs202207001 http://dx.doi.org/10.11846/j.issn.1001-8891.2022.7.hwjs202207001

LI Y H ， LIU Y D ， SU X P ， et al . Review of infrared and visible image registration ［J］. Infrared Technology ， 2022 ， 44 （ 7 ）： 641 - 651 . （in Chinese） . doi: 10.11846/j.issn.1001-8891.2022.7.hwjs202207001 http://dx.doi.org/10.11846/j.issn.1001-8891.2022.7.hwjs202207001

TONG X H ， YE Z ， XU Y S ， et al . Image registration with Fourier-based image correlation： a comprehensive review of developments and applications ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2019 ， 12 （ 10 ）： 4062 - 4081 . doi: 10.1109/jstars.2019.2937690 http://dx.doi.org/10.1109/jstars.2019.2937690

HASKINS G ， KRUGER U ， YAN P K . Deep learning in medical image registration： a survey ［J］. Machine Vision and Applications ， 2020 ， 31 （ 1/2 ）： 8 . doi: 10.1007/s00138-020-01060-x http://dx.doi.org/10.1007/s00138-020-01060-x

陈建明，曾祥津，钟丽云，等 . 基于深度学习的图像配准方法研究进展［J］. 量子电子学报， 2022 ， 39 （ 6 ）： 899 - 926 ． doi: 10.3969/j.issn.1007-5461. http://dx.doi.org/10.3969/j.issn.1007-5461.

CHEN J M ， ZENG X J ， ZHONG L Y ， et al . Research progress of image registration methods based on deep learning ［J］. Chinese Journal of Quantum Electronics ， 2022 ， 39 （ 6 ）： 899 - 926 . （in Chinese） . doi: 10.3969/j.issn.1007-5461. http://dx.doi.org/10.3969/j.issn.1007-5461.

孙新博，李英成，王恩泉，等 . 一种无人机视频影像快速配准方法［J］. 测绘通报， 2019 （ 6 ）： 77 - 80 .

SUN X B ， LI Y C ， WANG E Q ， et al . A fast registration method for UAV video frames ［J］. Bulletin of Surveying and Mapping ， 2019 （ 6 ）： 77 - 80 . （in Chinese）

李绩鹏，陈颖，王东振．融合双注意力与深度神经网络的遥感图像配准［J］. 计算机仿真， 2022 ， 39 （ 7 ）： 42 - 47 ． doi: 10.3969/j.issn.1006-9348.2022.07.009 http://dx.doi.org/10.3969/j.issn.1006-9348.2022.07.009

LI J P ， CHEN Y ， WANG D Z . Simulation of remote sensing image registration for fusing attention and networks in network ［J］. Computer Simulation ， 2022 ， 39 （ 7 ）： 42 - 47 . （in Chinese） . doi: 10.3969/j.issn.1006-9348.2022.07.009 http://dx.doi.org/10.3969/j.issn.1006-9348.2022.07.009

王洪庆，许廷发，孙兴龙，等 . 目标运动轨迹匹配式的红外-可见光视频自动配准［J］. 光学精密工程， 2018 ， 26 （ 6 ）： 1533 - 1541 ． doi: 10.3788/ope.20182606.1533 http://dx.doi.org/10.3788/ope.20182606.1533

WANG H Q ， XU T F ， SUN X L ， et al . Infrared-visible video registration with matching motion trajectories of targets ［J］. Optics and Precision Engineering ， 2018 ， 26 （ 6 ）： 1533 - 1541 . （in Chinese） . doi: 10.3788/ope.20182606.1533 http://dx.doi.org/10.3788/ope.20182606.1533

翟玉卫，刘岩，李灏，等 . 可见光热反射成像测温中图像配准技术研究［J］. 计量学报， 2022 ， 43 （ 3 ）： 355 - 359 ． doi: 10.3969/j.issn.1000-1158.2022.03.09 http://dx.doi.org/10.3969/j.issn.1000-1158.2022.03.09

ZHAI Y W ， LIU Y ， LI H ， et al . Weak signal measurement in thermoreflectance temperature testing based on stochastic resonance ［J］. Acta Metrologica Sinica ， 2022 ， 43 （ 3 ）： 355 - 359 . （in Chinese） . doi: 10.3969/j.issn.1000-1158.2022.03.09 http://dx.doi.org/10.3969/j.issn.1000-1158.2022.03.09

王一波，梁伟鄯，赵云 . 面向视觉SLAM的图像配准评价算法［J］. 物联网技术， 2022 ， 12 （ 8 ）： 27 - 30 ．

WANG Y B ， LIANG W S ， ZHAO Y . Image registration evaluation algorithm for visual SLAM ［J］. Internet of Things Technologies ， 2022 ， 12 （ 8 ）： 27 - 30 . （in Chinese）

孙兴龙，韩广良，郭立红，等 . 采用轮廓特征匹配的红外-可见光视频自动配准［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1140 - 1151 ．

SUN X L ， HAN G L ， GUO L H ， et al . Infrared-visible video automatic registration with contour feature matching ［J］. Optics and Precision Engineering ， 2020 ， 28 （ 5 ）： 1140 - 1151 . （in Chinese）

王中军，晁艳锋 . 采用SURF特征和局部互相关信息的图像配准算法［J］. 红外与激光工程， 2022 ， 51 （ 6 ）： 20210950 ．

WANG Z J ， CHAO Y F . Image registration algorithm using SURF feature and local cross-correlation information ［J］. Infrared and Laser Engineering ， 2022 ， 51 （ 6 ）： 20210950 . （in Chinese）

叶松涛，文雪琴 . 基于关节角度和DTW的太极拳视频配准方法［J］. 计算技术与自动化， 2020 ， 39 （ 1 ）： 117 - 122 ．

YE S T ， WEN X Q . TaiChi video registration method based on joint angle and DTW ［J］. Computing Technology and Automation ， 2020 ， 39 （ 1 ）： 117 - 122 . （in Chinese）

DONG X Y ， YU S I ， WENG X S ， et al . Supervision-by-registration： an unsupervised approach to improve the precision of facial landmark detectors ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 360 - 368 . doi: 10.1109/cvpr.2018.00045 http://dx.doi.org/10.1109/cvpr.2018.00045

陈磊，陈颖，李文举，等 . 残差块改进暹罗网络的遥感图像配准［J］. 计算机仿真， 2022 ， 39 （ 3 ）： 224 - 229 ． doi: 10.3969/j.issn.1006-9348.2022.03.044 http://dx.doi.org/10.3969/j.issn.1006-9348.2022.03.044

CHEN L ， CHEN Y ， LI W J ， et al . Residual block improves remote sensing image registration of SiameseNetwork ［J］. Computer Simulation ， 2022 ， 39 （ 3 ）： 224 - 229 . （in Chinese） . doi: 10.3969/j.issn.1006-9348.2022.03.044 http://dx.doi.org/10.3969/j.issn.1006-9348.2022.03.044

王苹 . 高精度视频配准算法中的静态图像配准算法［J］. 液晶与显示， 2020 ， 35 （ 6 ）： 612 - 618 ． doi: 10.3788/yjyxs20203506.0612 http://dx.doi.org/10.3788/yjyxs20203506.0612

WANG P . Static image registration algorithm in high-precision video registration algorithm ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 6 ）： 612 - 618 . （in Chinese） . doi: 10.3788/yjyxs20203506.0612 http://dx.doi.org/10.3788/yjyxs20203506.0612

付添，邓长征，韩欣月，等 . 基于深度学习的电力设备红外与可见光图像配准［J］. 红外技术， 2022 ， 44 （ 9 ）： 936 - 943 ． doi: 10.11846/j.issn.1001-8891.2022.9.hwjs202209006 http://dx.doi.org/10.11846/j.issn.1001-8891.2022.9.hwjs202209006

FU T ， DENG C Z ， HAN X Y ， et al . Infrared and visible image registration for power equipments based on deep learning ［J］. Infrared Technology ， 2022 ， 44 （ 9 ）： 936 - 943 . （in Chinese） . doi: 10.11846/j.issn.1001-8891.2022.9.hwjs202209006 http://dx.doi.org/10.11846/j.issn.1001-8891.2022.9.hwjs202209006

BALAKRISHNAN G ， ZHAO A ， SABUNCU M R ， et al . An unsupervised learning model for deformable medical image registration ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 9252 - 9260 . doi: 10.1109/cvpr.2018.00964 http://dx.doi.org/10.1109/cvpr.2018.00964

DE VOS B D ， BERENDSEN F F ， VIERGEVER M A ， et al . A deep learning framework for unsupervised affine and deformable image registration ［J］. Medical Image Analysis ， 2019 ， 52 ： 128 - 143 . doi: 10.1016/j.media.2018.11.010 http://dx.doi.org/10.1016/j.media.2018.11.010

邱红艳，陈红阳 . 基于深度学习理论的红外图像和可见光图像配准［J］. 激光杂志， 2022 ， 43 （ 11 ）： 164 - 168 ．

QIU H Y ， CHEN H Y . Infrared image and visible image registration based on depth learning theory ［J］. Laser Journal ， 2022 ， 43 （ 11 ）： 164 - 168 . （in Chinese）

GHANEM B ， ZHANG T ， AHUJA N . Robust video registration applied to field-sports video analysis ［C］. IEEE International Conference on Acoustics， Speech， and Signal Processing （ICASSP） . kyoto ： IEEE ， 2012 ： 2 .

BAI Z W ， LI Y ， CHEN X H ， et al . Real-time video stitching for mine surveillance using a hybrid image registration method ［J］. Electronics ， 2020 ， 9 （ 9 ）： 1336 . doi: 10.3390/electronics9091336 http://dx.doi.org/10.3390/electronics9091336

段琳锋，侯新国，胡致远 . NSCT轮廓与主方向一致性红外与可见光图像配准［J］. 电光与控制， 2022 ， 29 （ 6 ）： 1 - 5 ． doi: 10.3969/j.issn.1671-637X.2022.06.001 http://dx.doi.org/10.3969/j.issn.1671-637X.2022.06.001

DUAN L F ， HOU X G ， HU Z Y . Infrared and visible image registration based on NSCT contour and main direction consistency ［J］. Electronics Optics & Control ， 2022 ， 29 （ 6 ）： 1 - 5 . （in Chinese） . doi: 10.3969/j.issn.1671-637X.2022.06.001 http://dx.doi.org/10.3969/j.issn.1671-637X.2022.06.001

YANG N ， YANG Y ， LI P ， et al . Research on infrared and visible image registration of substation equipment based on multi-scale Retinex and ASIFT features ［C］// Proceedings of SPIE 11913 ， . Chengdu ： SPIE ， 2021 ： 1191303 . doi: 10.1117/12.2605000 http://dx.doi.org/10.1117/12.2605000

王小芳，项国强，魏玮 . 结合对齐度准则的视频人脸快速配准算法［J］. 传感器与微系统， 2019 ， 38 （ 6 ）： 122 - 125，132 ．

WANG X F ， XIANG G Q ， WEI W . Fast registration algorithm for face in video based on alignment metric ［J］. Transducer and Microsystem Technologies ， 2019 ， 38 （ 6 ）： 122 - 125， 132 . （in Chinese）

ZUO C ， QIAN J M ， FENG S J ， et al . Deep learning in optical metrology： a review ［J］. Light： Science & Applications ， 2022 ， 11 （ 1 ）： 39 . doi: 10.1038/s41377-022-00714-x http://dx.doi.org/10.1038/s41377-022-00714-x

Views

176

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Image dehazing method combining diffusion model and Fourier filter

Multi-attention micro-expression recognition based on color and optical flow

Advances in twin network research in visual tracking technology

Text-to-image generation method based on self-supervised attention and image features fusion

Satellite pose estimation method based on space carving and self-attention

Related Author

XIAO Polin

LIU Jinfeng

HUANG Kai

WANG Feng

WANG Ye

CHANG Yiting

HE Zemin

ZENG Juntao

Related Institution

College of Information Engineering， Ningxia University

College of Electrical and Power Engineering， Taiyuan University of Technology

College of Electronic Information and Optical Engineering， Taiyuan University of Technology

School of Artificial Intelligence， Optics and Electronics， Northwestern Polytechnical University

Beijing Xinghang Electromechanical Equipment Co. Ltd.

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰