Adaptive low overlap multispectral image fast mosaic algorithm based on phase correlation enhancement

Ting-ting JIA; Hui-qin WANG; Ke WANG; Zhan WANG; Gang ZHEN; Yuan LI

doi:10.37188/CJLCD.2021-0294

您当前的位置：

首页 >

文章列表页 >

Adaptive low overlap multispectral image fast mosaic algorithm based on phase correlation enhancement

Image Processing | 更新时间：2022-06-14

- Adaptive low overlap multispectral image fast mosaic algorithm based on phase correlation enhancement
- Chinese Journal of Liquid Crystals and Displays Vol. 37, Issue 4, Pages: 483-493(2022)
- 作者机构：
  
  1.西安建筑科技大学信息与控制工程学院，陕西西安 710055
  2.陕西省文物保护研究院，陕西西安 710075
  3.西安博物院，陕西西安 710054
- 作者简介：
- 基金信息：
  
  Shaanxi Provincial Natural Science Basic Research Plan Project(2021JM-377);Supported by Shaanxi Provincial Department of Science and Technology International Science and Technology Cooperation Program Project(2020KW-012);Shaanxi Provincial Department of Education Key Project High-end Think Tank(18JT006);Xi'an Science and Technology Bureau Project(GXYD10.1)
- DOI：10.37188/CJLCD.2021-0294
  CLC： TP751.1;TP391.41
- Received：18 November 2021，
  
  Revised：16 December 2021，
  
  Published：05 April 2022
- 稿件说明：
移动端阅览
Ting-ting JIA, Hui-qin WANG, Ke WANG, et al. Adaptive low overlap multispectral image fast mosaic algorithm based on phase correlation enhancement[J]. Chinese journal of liquid crystals and displays, 2022, 37(4): 483-493.
DOI：

Ting-ting JIA, Hui-qin WANG, Ke WANG, et al. Adaptive low overlap multispectral image fast mosaic algorithm based on phase correlation enhancement[J]. Chinese journal of liquid crystals and displays, 2022, 37(4): 483-493. DOI： 10.37188/CJLCD.2021-0294.

摘要

在进行多光谱图像拼接时，由于成像需求及不同波段图像的信息差异，导致无法在低重叠率条件下完成全波段光谱图像快速拼接。针对该问题，本文提出一种相位相关性增强的自适应低重叠率多光谱图像快速拼接算法。以多光谱图像信息熵最大通道作为基准通道，设计图像相关性增强切分方法，切除基准通道下两幅相邻镜头光谱图像的特定步长，提高待匹配光谱图像重叠率；引入最小二乘法动态调整切分次数及切分步长，实现相对偏移量寻优的同时提高算法的自适应性和精确度；利用不同通道下两幅相邻分镜头图像偏移量一致原则，通过基准通道位移量定位映射，解决个别通道因信息量不足无法拼接问题的同时提高多光谱图像的拼接效率。实验表明，该方法可实现重叠率不低于5%的16个通道光谱图像的快速拼接，在整体拼接质量和时间成本上均优于Harris、SIFT、FAST-SURF、BRISK-ORB四种算法，具有一定的实用价值。

Abstract

In multispectral image mosaic， due to the imaging requirements and the information differences of different band images， it is impossible to complete the fast mosaic of full band spectral images under the condition of low overlap rate. To solve this problem， an adaptive low overlap multispectral image fast mosaic algorithm based on phase correlation enhancement is proposed in this paper. Taking the maximum information entropy channel of spectral image as the reference channel， an image correlation enhancement segmentation method is designed to cut off the specific step of two adjacent lens spectral images under the reference channel to improve the overlap rate of spectral images to be matched. The least square method is introduced to dynamically adjust the number of divisions and the division step length to realize the optimization of the relative offset while improving the realization and rationality of the algorithm. Using the principle of consistent offset of two adjacent sub lens images under different channels， through the positioning mapping of the displacement of the reference channel， the problem that individual channels cannot be spliced due to insufficient information is solved， and the splicing efficiency of multispectral images is improved. Experiments show that this method can realize the fast mosaic of 16 channel spectral images with an overlap rate of no less than 5%， which is superior to Harris， SURF and ORB algorithms in overall mosaic quality and time cost.

关键词

Keywords

references

魏晴，刘晋铭，徐其志 . 基于分类分块的全色多光谱图像比值变换融合方法［J］. 航天返回与遥感， 2021 ， 42 （ 5 ）： 108 - 117 . doi: 10.3969/j.issn.1009-8518.2021.05.012 http://dx.doi.org/10.3969/j.issn.1009-8518.2021.05.012

WEI Q ， LIU J M ， XU Q Z . Panchromatic and multispectral image fusion by ratio enhancement based on classification and block ［J］. Spacecraft Recovery & Remote Sensing ， 2021 ， 42 （ 5 ）： 108 - 117 . （in Chinese） . doi: 10.3969/j.issn.1009-8518.2021.05.012 http://dx.doi.org/10.3969/j.issn.1009-8518.2021.05.012

宁纪锋，倪静，何宜家，等 . 基于卷积注意力的无人机多光谱遥感影像地膜农田识别［J］. 农业机械学报， 2021 ， 52 （ 9 ）： 213 - 220 . doi: 10.6041/j.issn.1000-1298.2021.09.025 http://dx.doi.org/10.6041/j.issn.1000-1298.2021.09.025

NING J F ， NI J ， HE Y J ， et al . Convolutional attention based plastic mulching farmland identification via UAV multispectral remote sensing image ［J］. Transactions of the Chinese Society for Agricultural Machinery ， 2021 ， 52 （ 9 ）： 213 - 220 . （in Chinese） . doi: 10.6041/j.issn.1000-1298.2021.09.025 http://dx.doi.org/10.6041/j.issn.1000-1298.2021.09.025

CHAI B L ， SU B M ， ZHANG W Y ， et al . Standard multispectral image database for paint materials used in the Dunhuang murals ［J］. Spectroscopy and Spectral Analysis ， 2017 ， 37 （ 10 ）： 3289 - 3306 .

王雪培，赵虹霞，李青会，等 . 多光谱成像技术分析彩色艺术品的相关基础研究［J］. 光学学报， 2015 ， 35 （ 10 ）： 1030003 . doi: 10.3788/aos201535.1030003 http://dx.doi.org/10.3788/aos201535.1030003

WANG X P ， ZHAO H X ， LI Q H ， et al . Relevant fundamental research of colored artworks by multispectral imaging technology ［J］. Acta Optica Sinica ， 2015 ， 35 （ 10 ）： 1030003 . （in Chinese） . doi: 10.3788/aos201535.1030003 http://dx.doi.org/10.3788/aos201535.1030003

程宇峰，金淑英，王密，等 . 一种光学遥感卫星多相机成像系统的高精度影像拼接方法［J］. 光学学报， 2017 ， 37 （ 8 ）： 0828003 . doi: 10.3788/aos201737.0828003 http://dx.doi.org/10.3788/aos201737.0828003

CHENG Y F ， JIN S Y ， WANG M ， et al . An high accuracy image mosaicking approach of optical remote sensing satellite for multi-camera system ［J］. Acta Optica Sinica ， 2017 ， 37 （ 8 ）： 0828003 . （in Chinese） . doi: 10.3788/aos201737.0828003 http://dx.doi.org/10.3788/aos201737.0828003

赵婷，康海林，张正平 . 结合区域分块的快速BRISK图像拼接算法［J］. 激光与光电子学进展， 2018 ， 55 （ 3 ）： 031005 . doi: 10.3788/lop55.031005 http://dx.doi.org/10.3788/lop55.031005

ZHAO T ， KANG H L ， ZHANG Z P . Fast image mosaic algorithm based on area blocking and BRISK ［J］. Laser & Optoelectronics Progress ， 2018 ， 55 （ 3 ）： 031005 . （in Chinese） . doi: 10.3788/lop55.031005 http://dx.doi.org/10.3788/lop55.031005

罗杰超，郭俊达，米凤文，等 . 基于变形目镜和OLED的全景周视成像与显示技术［J］. 中国光学， 2020 ， 13 （ 4 ）： 752 - 759 . doi: 10.37188/CO.2019-0214 http://dx.doi.org/10.37188/CO.2019-0214

LU J C ， GUO J D ， MI F W ， et al . Panoramic peripheral vision imaging and display technology based on a deformation eyepiece and OLED ［J］ Chinese Optics ， 2020 ， 13 （ 4 ）： 752 - 759 . （in Chinese） . doi: 10.37188/CO.2019-0214 http://dx.doi.org/10.37188/CO.2019-0214

于国栋，王春阳，兰孝野，等 . 基于离线标定的快速图像拼接算法［J］. 液晶与显示， 2021 ， 36 （ 10 ）： 1430 - 1436 .

YU G D ， WANG C Y ， LAN X Y ， et al . Fast image mosaic algorithm based on offline calibration ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 10 ）： 1430 - 1436 . （in Chinese）

蔡怀宇，韩晓艳，娄世良，等 . 扫频光学相干层析视网膜图像配准去噪算法［J］. 中国光学， 2021 ， 14 （ 2 ）： 289 - 297 . doi: 10.37188/CO.2020-0130 http://dx.doi.org/10.37188/CO.2020-0130

CAI H Y ， HAN X Y ， LOU S L ， et al . Speckle noise reduction in swept-source optical coherence tomography by retinal image registration ［J］ Chinese Optics ， 2021 ， 14 （ 2 ）： 289 - 297 . （in Chinese） . doi: 10.37188/CO.2020-0130 http://dx.doi.org/10.37188/CO.2020-0130

HARRIS C ， STEPHENS M . A combined corner and edge detector ［C］// Alvey Vision Conference 1988 . Manchester ： AVC ， 1988 ： 147 - 151 . doi: 10.5244/c.2.23 http://dx.doi.org/10.5244/c.2.23

LOWE D G . Distinctive image features from scale-invariant keypoints ［J］. International Journal of Computer Vision ， 2004 ， 60 （ 2 ）： 91 - 110 . doi: 10.1023/b:visi.0000029664.99615.94 http://dx.doi.org/10.1023/b:visi.0000029664.99615.94

BAY H ， ESS A ， TUYTELAARS T ， et al . Speeded-up robust features （SURF）［J］. Computer Vision and Image Understanding ， 2008 ， 110 （ 3 ）： 346 - 359 . doi: 10.1016/j.cviu.2007.09.014 http://dx.doi.org/10.1016/j.cviu.2007.09.014

陈伟，刘宇，王亚伟，等 . 基于改进的FAST-SURF快速图像拼接算法［J］. 应用光学， 2021 ， 42 （ 4 ）： 636 - 642 . doi: 10.5768/jao202142.0402001 http://dx.doi.org/10.5768/jao202142.0402001

CHEN W ， LIU Y ， WANG Y W ， et al . Fast image stitching algorithm based on improved FAST-SURF ［J］ Journal of Applied Optics ， 2021 ， 42 （ 4 ）： 636 - 642 . （in Chinese） . doi: 10.5768/jao202142.0402001 http://dx.doi.org/10.5768/jao202142.0402001

RUBLEE E ， RABAUD V ， KONOLIGE K ， et al . ORB： an efficient alternative to SIFT or SURF ［C］// 2011 International Conference on Computer Vision . Barcelona ： IEEE ， 2011 ： 2564 - 2571 . doi: 10.1109/iccv.2011.6126544 http://dx.doi.org/10.1109/iccv.2011.6126544

WU M Y . Research on optimization of image fast feature point matching algorithm ［J］. EURASIP Journal on Image and Video Processing ， 2018 ， 2018 （ 1 ）： 106 . doi: 10.1186/s13640-018-0354-y http://dx.doi.org/10.1186/s13640-018-0354-y

张晗，谢妮慧，于飞，等 . 基于相位相关方法的像移估计精度研究［J］. 航天返回与遥感， 2020 ， 41 （ 4 ）： 92 - 100 . doi: 10.3969/j.issn.1009-8518.2020.04.011 http://dx.doi.org/10.3969/j.issn.1009-8518.2020.04.011

ZHANG H ， XIE N H ， YU F ， et al . Study on the image motion estimate precision based on the phase correlation method ［J］. Spacecraft Recovery & Remote Sensing ， 2020 ， 41 （ 4 ）： 92 - 100 . （in Chinese） . doi: 10.3969/j.issn.1009-8518.2020.04.011 http://dx.doi.org/10.3969/j.issn.1009-8518.2020.04.011

KUGLIN C D ， HINES D C . The phase correlation image alignment method ［C］// Proceedings of the IEEE International Conference on Cybernetics and Society . New York ： IEEE ， 1975 ： 163 - 165 .

REDDY B S ， CHATTERJI B N . An FFT-based technique for translation， rotation， and scale-invariant image registration ［J］. IEEE Transactions on Image Processing ， 1996 ， 5 （ 8 ）： 1266 - 1271 . doi: 10.1109/83.506761 http://dx.doi.org/10.1109/83.506761

LI Y ， WANG J L ， YAO K N . Modified phase correlation algorithm for image registration based on pyramid ［J］. Alexandria Engineering Journal ， 2022 ， 61 （ 1 ）： 709 - 718 . doi: 10.1016/j.aej.2021.05.004 http://dx.doi.org/10.1016/j.aej.2021.05.004

ITO K ， NAKAJIMA H ， KOBAYASHI K ， et al . A fingerprint matching algorithm using phase-only correlation ［J］. IEICE Transactions on Fundamentals of Electronics， Communications and Computer Sciences ， 2004 ， E87-A（ 3 ）： 682 - 691 . doi: doi:10.1109/TKDE.2003.1262184 http://dx.doi.org/doi:10.1109/TKDE.2003.1262184

DONG Y Y ， LONG T F ， JIAO W L ， et al . A novel image registration method based on phase correlation using low-rank matrix factorization with mixture of Gaussian ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2018 ， 56 （ 1 ）： 446 - 460 . doi: 10.1109/tgrs.2017.2749436 http://dx.doi.org/10.1109/tgrs.2017.2749436

XIE X W ， ZHANG Y J ， LING X ， et al . A novel extended phase correlation algorithm based on Log-Gabor filtering for multimodal remote sensing image registration ［J］. International Journal of Remote Sensing ， 2019 ， 40 （ 14 ）： 5429 - 5453 . doi: 10.1080/01431161.2019.1579941 http://dx.doi.org/10.1080/01431161.2019.1579941

GAVIN H P . The Levenberg-Marquardt algorithm for nonlinear least squares curve-fitting problems ［R］. Durham ： Department of Civil and Environmental Engineering， Duke University ， 2019 ： 1 - 19 .

易俐娜，许筱，张桂峰，等 . 轻小型无人机高光谱影像拼接研究［J］. 光谱学与光谱分析， 2019 ， 39 （ 6 ）： 1885 - 1891 .

YI L N ， XU X ， ZHANG G F ， et al . Light and small UAV hyperspectral image mosaicking ［J］. Spectroscopy and Spectral Analysis ， 2019 ， 39 （ 6 ）： 1885 - 1891 . （in Chinese）

ZHAO Y S ， GAO F R ， YU J ， et al . Underwater image mosaic algorithm based on improved image registration ［J］. Applied Sciences ， 2021 ， 11 （ 13 ）： 5986 . doi: 10.3390/app11135986 http://dx.doi.org/10.3390/app11135986

徐一帆，王新华，张广，等 . 一种改进720°全景相机底部图像拼接方法［J］. 液晶与显示， 2021 ， 36 （ 10 ）： 1412 - 1419 .

XU Y F ， WANG X H ， ZHANG G ， et al . Improved bottom image mosaic method of 720° panoramic camera ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 10 ）： 1412 - 1419 . （in Chinese）

Views

233

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

No data

Related Author

JIA Ting-ting

WANG Hui-qin

WANG Ke

WANG Zhan

ZHEN Gang

LI Yuan

Related Institution

College of Information and Control Engineering， Xi'an University of Architecture and Technology

Xi'an Museum

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰