基于空间雕刻和自注意力机制的卫星姿态估计算法

刘景赫; 林宝军

doi:10.37188/CJLCD.2023-0080

您当前的位置：

首页 >

文章列表页 >

基于空间雕刻和自注意力机制的卫星姿态估计算法

图像处理 | 更新时间：2024-07-28

- 基于空间雕刻和自注意力机制的卫星姿态估计算法
- Satellite pose estimation method based on space carving and self-attention
- 液晶与显示 2023年38卷第12期页码：1736-1744
- 作者机构：
  
  1.中国科学院微小卫星创新研究院，上海 201203
  2.中国科学院大学，北京 100049
  3.中国科学院空天信息创新研究院，北京 100049
- 作者简介：
  
  [ "刘景赫（1997—），男，河北秦皇岛人，硕士研究生，2020年于吉林大学获得学士学位，主要从事计算机视觉和姿态估计方面的研究。E-mail：2529565092@ qq.com" ]
  [ "林宝军（1963—），男，吉林松原人，博士，研究员，1991年于吉林工业大学获得博士学位，主要从事卫星导航与定位技术方面的研究。E-mail：linbaojun@ aoe.ac.cn" ]
- 基金信息：
  
  上海市青年科技发展基金(21yf1446000)
- DOI：10.37188/CJLCD.2023-0080
  中图分类号： TP391
- 收稿日期：2023-03-01，
  
  修回日期：2023-03-17，
  
  纸质出版日期：2023-12-05
- 稿件说明：
移动端阅览
刘景赫, 林宝军. 基于空间雕刻和自注意力机制的卫星姿态估计算法[J]. 液晶与显示, 2023,38(12):1736-1744.

LIU Jing-he, LIN Bao-jun. Satellite pose estimation method based on space carving and self-attention[J]. Chinese journal of liquid crystals and displays, 2023, 38(12): 1736-1744.
刘景赫, 林宝军. 基于空间雕刻和自注意力机制的卫星姿态估计算法[J]. 液晶与显示, 2023,38(12):1736-1744. DOI： 10.37188/CJLCD.2023-0080.

LIU Jing-he, LIN Bao-jun. Satellite pose estimation method based on space carving and self-attention[J]. Chinese journal of liquid crystals and displays, 2023, 38(12): 1736-1744. DOI： 10.37188/CJLCD.2023-0080.

摘要

传统的单目姿态估计算法采用卷积网络在图像中定位若干关键点，再基于2D-3D匹配技术估计目标的姿态，但卫星上的关键点分布较分散，卷积网络由于其受限的感受野导致关键点的定位精度低，影响后续姿态估计的精度。此外传统流程需要人工标注关键点位置和目标的掩膜，标注成本高。为了解决传统方法感受野受限问题，在卷积网络中引入自注意力机制，赋予其全局建模能力，提高了关键点的定位精度。为了改善传统方法需要大量人工标注的问题，通过空间雕刻，重构了目标的点云，再将点云重投影回像素平面，自动化获取所需标签，省略了人工标注过程，提高了算法实用性。实验结果表明：所提算法在SPEED数据集上进行验证，关键点定位精度为92%，姿态平移误差为0.236%，姿态旋转误差为9.86

https://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=50725848&type=

https://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=50725846&type=

2.20133328

2.37066650

-3

弧度，在简化算法复杂度的同时提升了精度。可以有效应用于航天器之间的相对姿态估计。

Abstract

In the traditional monocular pose estimation algorithm， convolution network is often used to locate several landmarks in the image， and then the target pose is estimated based on 2D-3D matching technology. But the distribution of landmarks on the satellite is scattered and due to the limited receptive field of convolution network， the positioning accuracy of landmarks is low， which affects the accuracy of subsequent pose estimation. In addition， the above process requires manual marking of landmark position labels and target mask labels， which is costly. For solving the two problems mentioned above， self-attention mechanism is introduced into the convolution network， which endows it with global modeling ability and improves the positioning accuracy of landmarks. In addition， the point cloud of the target is reconstructed through space carving， and then the point cloud is re-projected back to the pixel plane to automatically obtain the required labels， which improves the practicability of the algorithm. Experiment shows that the proposed algorithm has landmark localization accuracy of 92%， translation error of 0.236% and rotation error of 9.86×10

-3

rad on SPEED dataset， which improves the accuracy and simplifies the complexity. It can be effectively applied to relative pose estimation between spacecrafts.

关键词

Keywords

references

CASSINIS L P ， FONOD R ， GILL E . Review of the robustness and applicability of monocular pose estimation systems for relative navigation with an uncooperative spacecraft ［J］. Progress in Aerospace Sciences ， 2019 ， 110 ： 100548 . doi: 10.1016/j.paerosci.2019.05.008 http://dx.doi.org/10.1016/j.paerosci.2019.05.008

KISANTAL M ， SHARMA S ， PARK T H ， et al . Satellite pose estimation challenge： dataset， competition design， and results ［J］. IEEE Transactions on Aerospace and Electronic Systems ， 2020 ， 56 （ 5 ）： 4083 - 4098 . doi: 10.1109/taes.2020.2989063 http://dx.doi.org/10.1109/taes.2020.2989063

DUNG H A ， CHEN B ， CHIN T J . A spacecraft dataset for detection， segmentation and parts recognition ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville ： IEEE ， 2021 ： 2012 - 2019 . doi: 10.1109/cvprw53098.2021.00229 http://dx.doi.org/10.1109/cvprw53098.2021.00229

LIU C ， HU W D . Relative pose estimation for cylinder-shaped spacecrafts using single image ［J］. IEEE Transactions on Aerospace and Electronic Systems ， 2014 ， 50 （ 4 ）： 3036 - 3056 . doi: 10.1109/taes.2014.120757 http://dx.doi.org/10.1109/taes.2014.120757

KELSEY J M ， BYRNE J ， COSGROVE M ， et al . Vision-based relative pose estimation for autonomous rendezvous and docking ［C］. 2006 IEEE Aerospace Conference. Big Sky ： IEEE ， 2006 ： 20 .

D’AMICO S ， BENN M ， JØRGENSEN J L . Pose estimation of an uncooperative spacecraft from actual space imagery ［J］. International Journal of Space Science and Engineering ， 2014 ， 2 （ 2 ）： 171 - 189 . doi: 10.1504/ijspacese.2014.060600 http://dx.doi.org/10.1504/ijspacese.2014.060600

XIANG Y ， SCHMIDT T ， NARAYANAN V ， et al . PoseCNN： A convolutional neural network for 6d object pose estimation in cluttered scenes ［C］. 14th Robotics ： Science and Systems ⅩⅣ. Pittsburgh： RSS ， 2018 . doi: 10.15607/rss.2018.xiv.019 http://dx.doi.org/10.15607/rss.2018.xiv.019

SU H ， QI C R ， LI Y Y ， et al . Render for CNN： Viewpoint estimation in images using CNNs trained with rendered 3D model views ［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision . Santiago ： IEEE ， 2015 ： 2686 - 2694 . doi: 10.1109/iccv.2015.308 http://dx.doi.org/10.1109/iccv.2015.308

AMINI A ， PERIYASAMY A S ， BEHNKE S . T6D-direct： Transformers for multi-object 6D pose direct regression ［C］. 43rd DAGM German Conference on Pattern Recognition . Bonn ： Springer ， 2021 ： 530 - 544 . doi: 10.1007/978-3-030-92659-5_34 http://dx.doi.org/10.1007/978-3-030-92659-5_34

SHARMA S ， D’AMICO S . Neural network-based pose estimation for noncooperative spacecraft rendezvous ［J］. IEEE Transactions on Aerospace and Electronic Systems ， 2020 ， 56 （ 6 ）： 4638 - 4658 . doi: 10.1109/taes.2020.2999148 http://dx.doi.org/10.1109/taes.2020.2999148

SHARMA S ， D’AMICO S . Pose estimation for non-cooperative rendezvous using neural networks ［J/OL］. arXiv ， 2019 ： 1906 . 09868 . doi: 10.1109/aero.2018.8396425 http://dx.doi.org/10.1109/aero.2018.8396425

MAHENDRAN S ， ALI H ， VIDAL R . 3D pose regression using convolutional neural networks ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW） . Honolulu ： IEEE ， 2017 ： 494 - 495 . doi: 10.1109/cvprw.2017.73 http://dx.doi.org/10.1109/cvprw.2017.73

KENDALL A ， GRIMES M ， CIPOLLA R . PoseNet： A convolutional network for real-time 6-DOF camera relocalization ［C］// Proceedings of the IEEE International Conference on Computer Vision . Santiago ： IEEE ， 2015 ： 2938 - 2946 . doi: 10.1109/iccv.2015.336 http://dx.doi.org/10.1109/iccv.2015.336

TEKIN B ， SINHA S N ， FUA P . Real-time seamless single shot 6d object pose prediction ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 292 - 301 . doi: 10.1109/cvpr.2018.00038 http://dx.doi.org/10.1109/cvpr.2018.00038

PENG S D ， ZHOU X W ， LIU Y ， et al . PVNet： Pixel-wise voting network for 6DoF object pose estimation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2022 ， 44 （ 6 ）： 3212 - 3223 . doi: 10.1109/tpami.2020.3047388 http://dx.doi.org/10.1109/tpami.2020.3047388

CHEN B ， CAO J W ， PARRA A ， et al . Satellite pose estimation with deep landmark regression and nonlinear pose refinement ［C］. 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Seoul ： IEEE ， 2019 . doi: 10.1109/iccvw.2019.00343 http://dx.doi.org/10.1109/iccvw.2019.00343

林林，王延杰，孙海超 . 基于改进热图损失函数的目标6D姿态估计算法［J］. 液晶与显示， 2022 ， 37 （ 7 ）： 913 - 923 . doi: 10.37188/cjlcd.2021-0317 http://dx.doi.org/10.37188/cjlcd.2021-0317

LIN L ， WANG Y J ， SUN H C . Object 6D pose estimation algorithm based on improved heatmap loss function ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 7 ）： 913 - 923 . （in Chinese） . doi: 10.37188/cjlcd.2021-0317 http://dx.doi.org/10.37188/cjlcd.2021-0317

TORRALBA A ， RUSSELL B C ， YUEN J . Labelme： Online image annotation and applications ［J］. Proceedings of the IEEE ， 2010 ， 98 （ 8 ）： 1467 - 1484 . doi: 10.1109/jproc.2010.2050290 http://dx.doi.org/10.1109/jproc.2010.2050290

VASWANI A ， SHAZEER N ， PARMAR N ， et al . Attention is all you need ［C］// Proceedings of the 31st International Conference on Advances in Neural Information Processing Systems . Long Beach ： Curran Associates Inc. ， 2017 .

FISCHLERMARTIN A ， BOLLESROBERT C ， FISCHLER M A ， et al . Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography ［J］. Communications of the ACM ， 1981 ， 24 （ 6 ）： 381 - 395 . doi: 10.1145/358669.358692 http://dx.doi.org/10.1145/358669.358692

LEPETIT V ， MORENO-NOGUER F ， FUA P . EP n P： An accurate O （ n ） solution to the P n P problem ［J］. International Journal of Computer Vision ， 2009 ， 81 （ 2 ）： 155 - 166 . doi: 10.1007/s11263-008-0152-6 http://dx.doi.org/10.1007/s11263-008-0152-6

GIRSHICK R . Fast R-CNN ［C］. 2015 IEEE International Conference on Computer Vision . Santiago ： IEEE ， 2015 ： 1440 - 1448 . doi: 10.1109/iccv.2015.169 http://dx.doi.org/10.1109/iccv.2015.169

PARK T H ， MÄRTENS M ， LECUYER G ， et al . SPEED+： Next-generation dataset for spacecraft pose estimation across domain gap ［C］. 2022 IEEE Aerospace Conference （AERO）. Big Sky ： IEEE ， 2022 ： 1 - 15 . doi: 10.1109/aero53065.2022.9843439 http://dx.doi.org/10.1109/aero53065.2022.9843439

浏览量

332

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

RGB深度图像显著性目标检测方法设计

扩散模型与傅里叶滤波器结合的图像去雾方法

基于颜色和光流的多注意力机制微表情识别

健身行为的人体姿态估计及动作识别