Image registration combining cross-scale point matching and multi-scale feature fusion

OU Zhuolin; LÜ Xiaoqi; GU Yu

doi:10.37188/CJLCD.2023-0278

您当前的位置：

首页 >

文章列表页 >

Image registration combining cross-scale point matching and multi-scale feature fusion

Object Tracking and Recognition | 更新时间：2024-08-16

- Image registration combining cross-scale point matching and multi-scale feature fusion
- Chinese Journal of Liquid Crystals and Displays Vol. 39, Issue 8, Pages: 1090-1102(2024)
- 作者机构：
  
  1.内蒙古科技大学信息工程学院，内蒙古包头 014010
  2.内蒙古工业大学信息工程学院，内蒙古呼和浩特 010051
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(62001255;61841204;61771266)
- DOI：10.37188/CJLCD.2023-0278
  CLC： TP391
- Received：24 August 2023，
  
  Revised：15 September 2023，
  
  Published：05 August 2024
- 稿件说明：
移动端阅览
OU Zhuolin, LÜ Xiaoqi, GU Yu. Image registration combining cross-scale point matching and multi-scale feature fusion[J]. Chinese journal of liquid crystals and displays, 2024, 39(8): 1090-1102.
DOI：

OU Zhuolin, LÜ Xiaoqi, GU Yu. Image registration combining cross-scale point matching and multi-scale feature fusion[J]. Chinese journal of liquid crystals and displays, 2024, 39(8): 1090-1102. DOI： 10.37188/CJLCD.2023-0278.

摘要

图像配准在脑部疾病的计算机辅助诊疗和远程手术等方面具有重要作用。U-Net及其变体网络广泛应用于医学图像配准领域，在配准精确度和配准时间上取得了较好效果。然而，现有的配准模型在处理复杂图像形变时，难以学习到图像中微小结构的边缘特征，且忽视了不同尺度上下文信息的关联。针对上述问题，本文提出了一种基于跨尺度点匹配结合多尺度特征融合的配准模型。首先，在模型的编码结构中引入跨尺度点匹配模块，增强对图像突出区域特征的表达以及对微小结构边缘细节特征的把握；然后，在解码结构中对多尺度特征进行融合，形成更全面的特征描述；最后，在多尺度特征融合模块中融入注意力模块，突出空间和通道的信息。在3个脑部核磁共振（Magnetic Resonance，MR）数据集上的实验结果表明，以OASIS-3数据集为例，本文方法的配准精确度相较于Affine、SyN、VoxelMorph以及CycleMorph等方法，本文方法分别提升了23.5%、12.4%、0.9%和2.1%；ASD值相较于各方法分别降低了1.074、0.434、0.043和0.076。本文提出的模型能更好地把握图像的特征信息，提升配准的精确度，对医学图像配准的发展具有重要意义。

Abstract

Image registration plays an important role in computer-aided diagnosis of brain diseases and remote surgery. The U-Net and its variants have been widely used in the field of medical image registration， achieving good results in registration accuracy and time. However， existing registration models have difficulty in learning the edge features of small structures in complex image deformations and ignore the correlation of contextual information at different scales. To address these issues， a registration model is proposed based on cross-scale point matching combined with multi-scale feature fusion. Firstly， a cross-scale point matching module is introduced into encoding structure of the model to enhance the representation of prominent region features and grasp the edge details of small structure features. Then， multi-scale features are fused in the decoding structure to form a more comprehensive feature description. Finally， an attention module is integrated into the multi-scale feature fusion module to highlight spatial and channel information. The experimental results on three brain Magnetic Resonance （MR） datasets show that， taking the OASIS-3 dataset as an example， the registration accuracy has been improved by 23.5%， 12.4%， 0.9%， and 2.1% compared to methods such as Affine， SyN， VoxelMorph and CycleMorph， respectively. The corresponding ASD values for each method have decreased by 1.074， 0.434， 0.043， and 0.076. The proposed model can better grasp the feature information of images， which improves registration accuracy and has important implications for the development of medical image registration.

关键词

Keywords

references

XIAO H N ， TENG X Z ， LIU C Y ， et al . A review of deep learning-based three dimensional medical image registration methods ［J］. Quantitative Imaging in Medicine and Surgery ， 2021 ， 11 （ 12 ）： 4895 - 4916 . doi: 10.21037/qims-21-175 http://dx.doi.org/10.21037/qims-21-175

AVANTS B B ， EPSTEIN C L ， GROSSMAN M ， et al . Symmetric diffeomorphic image registration with cross-correlation： evaluating automated labeling of elderly and neurodegenerative brain ［J］. Medical Image Analysis ， 2008 ， 12 （ 1 ）： 26 - 41 . doi: 10.1016/j.media.2007.06.004 http://dx.doi.org/10.1016/j.media.2007.06.004

FU Y B ， LEI Y ， WANG T H ， et al . Deep learning in medical image registration： a review ［J］. Physics in Medicine & Biology ， 2020 ， 65 （ 20 ）： 20TR01 . doi: 10.1088/1361-6560/ab843e http://dx.doi.org/10.1088/1361-6560/ab843e

EPPENHOF K A J ， PLUIM J P W . Pulmonary CT registration through supervised learning with convolutional neural networks ［J］. IEEE Transactions on Medical Imaging ， 2019 ， 38 （ 5 ）： 1097 - 1105 . doi: 10.1109/tmi.2018.2878316 http://dx.doi.org/10.1109/tmi.2018.2878316

HU Y P ， MODAT M ， GIBSON E ， et al . Weakly-supervised convolutional neural networks for multimodal image registration ［J］. Medical Image Analysis ， 2018 ， 49 ： 1 - 13 . doi: 10.1016/j.media.2018.07.002 http://dx.doi.org/10.1016/j.media.2018.07.002

BALAKRISHNAN G ， ZHAO A ， SABUNCU M R ， et al . An unsupervised learning model for deformable medical image registration ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 9252 - 9260 . doi: 10.1109/cvpr.2018.00964 http://dx.doi.org/10.1109/cvpr.2018.00964

林立昊，易见兵，曹锋，等 . 多尺度并行全卷积神经网络的肺计算机断层扫描图像非刚性配准算法［J］. 激光与光电子学进展， 2022 ， 59 （ 16 ）： 1617004 .

LIN L H ， YI J B ， CAO F ， et al . Non-rigid registration algorithm of lung computed tomography image based on multi-scale parallel fully convolutional neural network ［J］. Laser & Optoelectronics Progress ， 2022 ， 59 （ 16 ）： 1617004 . （in Chinese）

王鹏，严赟琦，钱黎俊，等 . 基于纹理滤波的无监督配准方法及其在肝脏电子计算机断层扫描中的应用［J］. 生物医学工程学杂志， 2021 ， 38 （ 5 ）： 819 - 827 .

WANG P ， YAN Y Q ， QIAN L J ， et al . Texture filtering based unsupervised registration methods and its application in liver computed tomography images ［J］. Journal of Biomedical Engineering ， 2021 ， 38 （ 5 ）： 819 - 827 . （in Chinese）

YANG Y F ， WU H H . Deformable medical image registration based on CNN ［J］. Journal of X-Ray Science and Technology ， 2023 ， 31 （ 1 ）： 85 - 94 . doi: 10.3233/xst-221252 http://dx.doi.org/10.3233/xst-221252

石甜甜，郭中华，闫翔，等 . 基于多尺度融合注意力改进UNet的遥感图像水体分割［J］. 液晶与显示， 2023 ， 38 （ 3 ）： 397 - 408 . doi: 10.37188/cjlcd.2022-0232 http://dx.doi.org/10.37188/cjlcd.2022-0232

SHI T T ， GUO Z H ， YAN X ， et al . Water body segmentation in remote sensing images based on multi-scale fusion attention module improved UNet ［J］. Chinese Journal of Liquid Crystals and Displays ， 2023 ， 38 （ 3 ）： 397 - 408 . （in Chinese） . doi: 10.37188/cjlcd.2022-0232 http://dx.doi.org/10.37188/cjlcd.2022-0232

JADERBERG M ， SIMONYAN K ， ZISSERMAN A . Spatial transformer networks ［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems . Montreal ： MIT Press ， 2015 ： 2017 - 2025 . doi: 10.1007/s11263-015-0823-z http://dx.doi.org/10.1007/s11263-015-0823-z

张明娜，吕晓琪，谷宇 . 残差混合注意力结合多分辨率约束的图像配准［J］. 光学精密工程， 2022 ， 30 （ 10 ）： 1203 - 1216 . doi: 10.37188/ope.20223010.1203 http://dx.doi.org/10.37188/ope.20223010.1203

ZHANG M N ， LÜ X Q ， GU Y . Image registration based on residual mixed attention and multi-resolution constraints ［J］. Optics and Precision Engineering ， 2022 ， 30 （ 10 ）： 1203 - 1216 . （in Chinese） . doi: 10.37188/ope.20223010.1203 http://dx.doi.org/10.37188/ope.20223010.1203

GLASNER D ， BAGON S ， IRANI M . Super-resolution from a single image ［C］// Proceedings of the IEEE 12th International Conference on Computer Vision . Kyoto ： IEEE ， 2009 ： 349 - 356 . doi: 10.1109/iccv.2009.5459271 http://dx.doi.org/10.1109/iccv.2009.5459271

ZONTAK M ， IRANI M . Internal statistics of a single natural image ［C］. The 2011 IEEE/CVF Computer Vision and Pattern Recognition Conference ， CVPR 2011. Colorado Springs ： IEEE ， 2011 ： 977 - 984 . doi: 10.1109/cvpr.2011.5995401 http://dx.doi.org/10.1109/cvpr.2011.5995401

MEI Y Q ， FAN Y C ， ZHOU Y Q ， et al . Image super-resolution with cross-scale non-local attention and exhaustive self-exemplars mining ［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 5689 - 5698 . doi: 10.1109/cvpr42600.2020.00573 http://dx.doi.org/10.1109/cvpr42600.2020.00573

LI X T ， HE H ， LI X ， et al . PointFlow： flowing semantics through points for aerial image segmentation ［C］// Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville ： IEEE ， 2021 ： 4215 - 4224 . doi: 10.1109/cvpr46437.2021.00420 http://dx.doi.org/10.1109/cvpr46437.2021.00420

ADELSON E H ， ANDERSON C H ， BERGEN J R ， et al . Pyramid methods in image processing ［J］. RCA Engineer ， 1984 ， 29 （ 6 ）： 33 - 41 .

FAN J H ， BOCUS M J ， HOSKING B ， et al . Multi-scale feature fusion： learning better semantic segmentation for road pothole detection ［C］. 2021 IEEE International Conference on Autonomous Systems （ICAS） . Montreal ： IEEE ， 2021 ： 1 - 5 . doi : 10.1109/icas49788.2021.9551165 http://dx.doi.org/10.1109/icas49788.2021.9551165

YANG T J ， BAI X H ， CUI X J ， et al . DAU-Net： An unsupervised 3D brain MRI registration model with dual-attention mechanism ［J］. International Journal of Imaging Systems and Technology ， 2023 ， 33 （ 1 ）： 217 - 229 . doi: 10.1002/ima.22801 http://dx.doi.org/10.1002/ima.22801

ROY A G ， NAVAB N ， WACHINGER C . Concurrent spatial and channel ‘squeeze & excitation’ in fully convolutional networks ［C］. 21st International Conference on Medical Image Computing and Computer Assisted Intervention . Granada ： Springer ， 2018 ： 421 - 429 . doi: 10.1007/978-3-030-00928-1_48 http://dx.doi.org/10.1007/978-3-030-00928-1_48

LAMONTAGNE P J ， KEEFE S ， LAUREN W ， et al . OASIS-3： longitudinal neuroimaging， clinical， and cognitive dataset for normal aging and Alzheimer disease ［J］. Alzheimers & Dementia the Journal of the Alzheimers Association ， 2018 ， DOI： 10.1016/j.jalz.2018.06.1439 http://dx.doi.org/10.1016/j.jalz.2018.06.1439 .

SHATTUCK D W ， MIRZA M ， ADISETIYO V ， et al . Construction of a 3D probabilistic atlas of human cortical structures ［J］. NeuroImage ， 2008 ， 39 （ 3 ）： 1064 - 1080 . doi: 10.1016/j.neuroimage.2007.09.031 http://dx.doi.org/10.1016/j.neuroimage.2007.09.031

DI MARTINO A ， YAN C G ， LI Q ， et al . The autism brain imaging data exchange： towards a large-scale evaluation of the intrinsic brain architecture in autism ［J］. Molecular Psychiatry ， 2014 ， 19 （ 6 ）： 659 - 667 . doi: 10.1038/mp.2013.78 http://dx.doi.org/10.1038/mp.2013.78

FISCHL B . FreeSurfer ［J］. NeuroImage ， 2012 ， 62 （ 2 ）： 774 - 781 . doi: 10.1016/j.neuroimage.2012.01.021 http://dx.doi.org/10.1016/j.neuroimage.2012.01.021

KIM B ， KIM D H ， PARK S H ， et al . CycleMorph： cycle consistent unsupervised deformable image registration ［J］. Medical Image Analysis ， 2021 ， 71 ： 102036 . doi: 10.1016/j.media.2021.102036 http://dx.doi.org/10.1016/j.media.2021.102036

杨云，周瑶，陈佳宁 . 基于多尺度混合卷积网络的高光谱图像分类［J］. 液晶与显示， 2023 ， 38 （ 3 ）： 368 - 377 . doi: 10.37188/cjlcd.2022-0225 http://dx.doi.org/10.37188/cjlcd.2022-0225

YANG Y ， ZHOU Y ， CHEN J N . Hyperspectral image classification based on multi-scale hybrid convolutional network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2023 ， 38 （ 3 ）： 368 - 377 . （in Chinese） . doi: 10.37188/cjlcd.2022-0225 http://dx.doi.org/10.37188/cjlcd.2022-0225

Views

109

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Few-shot wildlife detection based on multi-scale context extraction

Remote sensing scene classification model based on improved ShuffleNetV2 network

Lightweight method of feature point extraction and matching incorporating a progressive strategy

Lightweight image super-resolution combining residual learning and layer attention

Lens-free adversarial encoded imaging method based on convolutional attention mechanism

Related Author

LIU Ke

LIN Shanling

SHI Xinyu

LIN Jianpu

LÜ Shanhong

LIN Zhixian

GUO Tailiang

XU Huiwen

Related Institution

School of Advanced Manufacturing， Fuzhou University

Fujian Science and Technology Innovation Laboratory for Photoelectric Information

Digital Center， Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences

School of Computer Science and Technology， Taiyuan Normal University

Shanxi Provincial Key Laboratory of Intelligent Optimization Computing and Blockchain Technology Taiyuan Normal University

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰