基于时空一致性的协同感知鲁棒融合方法

李旭生; 马霞红; 蒋志昂; 李锦青; 底晓强

doi:10.3724/CJLCD.2026-0144

您当前的位置：

首页 >

文章列表页 >

基于时空一致性的协同感知鲁棒融合方法

图像处理 | 更新时间：2026-10-16

- 基于时空一致性的协同感知鲁棒融合方法
- A spatiotemporal consistency-based robust fusion method for collaborative perception
- 液晶与显示 2026年41卷第9期页码：1325-1338
- 作者机构：
  
  1.长春理工大学计算机科学技术学院，吉林长春 130022
  2.长春理工大学吉林省网络与信息安全重点实验室，吉林长春 130022
  3.长春理工大学信息化中心，吉林长春 130022
- 作者简介：
  
  李旭生，男，博士研究生，2019年于山东交通学院获得学士学位，主要从事车联网安全、智能感知与鲁棒信息融合等方面的研究。E-mail：lixusheng@mails.cust.edu.cn
  李锦青，女，博士，教授，2014年于长春理工大学获得博士学位，主要从事网络与信息安全方面的研究。E-mail：lijinqing@cust.edu.cn
  底晓强，男，博士，教授，2014年于长春理工大学获得博士学位，主要从事网络与信息安全方面的研究。E-mail：dixiaoqiang@cust.edu.cn
- 基金信息：
  
  吉林省科技发展计划(20230301020ZD)
- DOI：10.3724/CJLCD.2026-0144
  中图分类号： TP391.4
- CSTR：32172.14.CJLCD.2026-0144
- 收稿：2026-07-29，
  
  修回：2026-08-16，
  
  纸质出版：2026-09-05
- 稿件说明：
移动端阅览
李旭生, 马霞红, 蒋志昂, 等. 基于时空一致性的协同感知鲁棒融合方法[J]. 液晶与显示, 2026,41(9):1325-1338.

LI Xusheng, MA Xiahong, JIANG Zhiang, et al. A spatiotemporal consistency-based robust fusion method for collaborative perception[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(9): 1325-1338.
李旭生, 马霞红, 蒋志昂, 等. 基于时空一致性的协同感知鲁棒融合方法[J]. 液晶与显示, 2026,41(9):1325-1338. DOI： 10.3724/CJLCD.2026-0144. CSTR： 32172.14.CJLCD.2026-0144.

LI Xusheng, MA Xiahong, JIANG Zhiang, et al. A spatiotemporal consistency-based robust fusion method for collaborative perception[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(9): 1325-1338. DOI： 10.3724/CJLCD.2026-0144. CSTR： 32172.14.CJLCD.2026-0144.

摘要

针对车联网协同感知中局部证据质量下降，影响协同融合结果稳定性与可用性的问题，本文将融合过程建模为局部感知证据可靠性估计，提出一种基于时空一致性的协同感知鲁棒融合方法（STC-RF）。首先，利用目标存在热图构建低维语义证据；随后，综合跨车空间一致性、历史占用连续性和负向证据冲突，评估鸟瞰视图（BEV）栅格级局部证据可靠性，并将其作为偏置注入注意力中间融合过程，以连续调节不同协作者在各空间位置的融合贡献；进一步采用保守式历史占用更新，使历史时间参照持续参与融合过程，降低局部证据波动对协同结果时间连续性的影响。实验结果表明，在背景化证据退化条件下，所提方法将AP@0.7由82.09%提高至 86.20%，SSR由8.21%降至5.53%，CFNR 由0.90%降至0.72%，说明该方法能够提升非理想协同感知条件下的融合稳定性。

Abstract

To address the issue of declining local evidence quality in Internet of Vehicles collaborative perception， which affects the stability and usability of collaborative fusion results， the fusion process is modeled as local perception evidence reliability estimation， and a spatiotemporal consistency-based robust fusion method（STC-RF） is proposed for collaborative perception. First， low-dimensional semantic evidence is constructed using a target existence heatmap. Subsequently， by comprehensively considering cross-vehicle spatial consistency， historical occupancy continuity， and negative evidence conflict， Bird’s-Eye View（BEV） grid-level local evidence reliability is generated and injected as a bias into the intermediate fusion of attention to continuously adjust the fusion contributions of different collaborators at various spatial positions. Furthermore， a conservative historical occupancy update is adopted to ensure that the historical time reference continuously participates in the fusion process， reducing the impact of local evidence fluctuations on the temporal continuity of the collaborative results. Experimental results demonstrate that under the condition of background evidence degradation， the proposed method improves AP@0.7 from 82.09% to 86.20%， reduces SSR from 8.21% to 5.53%， and decreases CFNR from 0.90% to 0.72%， indicating that the method enhances the fusion stability under non-ideal collaborative perception conditions.

关键词

Keywords

references

ZHANG L Y ， ZHANG C ， ZHANG L ， et al . A dual-mode LiDAR system enabled by mechanically tunable hybrid cascaded metasurfaces ［J］. Light： Science & Applications ， 2025 ， 14 （ 1 ）： 287 . doi: 10.1038/s41377-025-01999-4 http://dx.doi.org/10.1038/s41377-025-01999-4

XU S F ， LIU B S ， YI S C ， et al . Analog spatiotemporal feature extraction for cognitive radio-frequency sensing with integrated photonics ［J］. Light： Science & Applications ， 2024 ， 13 （ 1 ）： 50 . doi: 10.1038/s41377-024-01390-9 http://dx.doi.org/10.1038/s41377-024-01390-9

DUN X ， ZHANG J ， CHEN F S ， et al . Neural array meta-imaging ［J］. eLight ， 2025 ， 5 （ 1 ）： 33 . doi: 10.1186/s43593-025-00107-8 http://dx.doi.org/10.1186/s43593-025-00107-8

ZHANG Z L ， KONG L Y ， ZHANG L H Y ， et al . Structured light meets machine intelligence ［J］. eLight ， 2025 ， 5 （ 1 ）： 26 . doi: 10.1186/s43593-025-00102-z http://dx.doi.org/10.1186/s43593-025-00102-z

凡浩，李永 . 基于特征对齐的异质协同感知架构与算法［J］. 计算机应用研究， 2025 ， 42 （ 5 ）： 1433 - 1438 ．

FAN H ， LI Y . Feature alignment based heterogeneous cooperative perception architecture and algorithm ［J］. Application Research of Computers ， 2025 ， 42 （ 5 ）： 1433 - 1438 . （in Chinese）

XU R S ， TU Z Z ， XIANG H ， et al . CoBEVT： cooperative bird's eye view semantic segmentation with sparse transformers ［C］// Proceedings of the 6th Conference on Robot Learning . Auckland ： PMLR ， 2023 ： 989 - 1000 .

WANG T H ， MANIVASAGAM S ， LIANG M ， et al . V2VNet： vehicle-to-vehicle communication for joint perception and prediction ［C］// Proceedings of the 16th European Conference on Computer Vision （ECCV） . Glasgow ： Springer ， 2020 ： 605 - 621 . doi: 10.1007/978-3-030-58536-5_36 http://dx.doi.org/10.1007/978-3-030-58536-5_36

XU R S ， XIANG H ， TU Z Z ， et al . V2X-ViT： vehicle-to-everything cooperative perception with vision transformer ［C］. 17th European Conference on Computer Vision . Tel Aviv ： Springer ， 2022 ： 107 - 124 . doi: 10.1007/978-3-031-19842-7_7 http://dx.doi.org/10.1007/978-3-031-19842-7_7

YAZGAN M ， GRAF T ， LIU M . A survey on intermediate fusion methods for collaborative perception categorized by real world challenges ［C］// Proceedings of the IEEE Intelligent Vehicles Symposium （Ⅳ） . Jeju Island ： IEEE ， 2024 ： 2226 - 2233 . doi: 10.1109/iv55156.2024.10588382 http://dx.doi.org/10.1109/iv55156.2024.10588382

YUAN Y S ， CHENG H ， SESTER M . Keypoints-based deep feature fusion for cooperative vehicle detection of autonomous driving ［J］. IEEE Robotics and Automation Letters ， 2022 ， 7 （ 2 ）： 3054 - 3061 . doi: 10.1109/lra.2022.3143299 http://dx.doi.org/10.1109/lra.2022.3143299

ZHANG Q Z ， JIN S W ， ZHU R Y ， et al . On data fabrication in collaborative vehicular perception： attacks and countermeasures ［C］// Proceedings of the 33rd USENIX Conference on Security Symposium . Philadelphia ： USENIX Association ， 2024 ： 353 . doi: 10.1145/3690134.3694822 http://dx.doi.org/10.1145/3690134.3694822

LI Y M ， FANG Q ， BAI J M ， et al . Among us： adversarially robust collaborative perception by consensus ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision （ICCV） . Paris ： IEEE ， 2023 ： 186 - 195 .

张名芳，刘颖，马健，等 . 基于点云时空特征补偿网络的智能网联车辆协同感知［J］. 汽车工程， 2024 ， 46 （ 12 ）： 2279 - 2289 ．

ZHANG M F ， LIU Y ， MA J ， et al . Collaborative perception based on point cloud spatio-temporal feature compensation network for intelligent connected vehicles ［J］. Automotive Engineering ， 2024 ， 46 （ 12 ）： 2279 - 2289 . （in Chinese）

XU R S ， XIANG H ， XIA X ， et al . OPV2V： an open benchmark dataset and fusion pipeline for perception with vehicle-to-vehicle communication ［C］// Proceedings of the IEEE International Conference on Robotics and Automation （ICRA） . Philadelphia ： IEEE ， 2022 ： 2583 - 2589 . doi: 10.1109/icra46639.2022.9812038 http://dx.doi.org/10.1109/icra46639.2022.9812038

XU R S ， GUO Y ， HAN X ， et al . OpenCDA： an open cooperative driving automation framework integrated with co-simulation ［C］// Proceedings of the IEEE International Intelligent Transportation Systems Conference （ITSC） . Indianapolis ： IEEE ， 2021 ： 1155 - 1162 .

LI Y M ， MA D K ， AN Z Y ， et al . V2X-Sim： multi-agent collaborative perception dataset and benchmark for autonomous driving ［J］. IEEE Robotics and Automation Letters ， 2022 ， 7 （ 4 ）： 10914 - 10921 . doi: 10.1109/lra.2022.3192802 http://dx.doi.org/10.1109/lra.2022.3192802

YU H B ， LUO Y Z ， SHU M ， et al . DAIR-V2X： a large-scale dataset for vehicle-infrastructure cooperative 3D object detection ［C］// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New Orleans ： IEEE ， 2022 ： 21329 - 21338 . doi: 10.1109/cvpr52688.2022.02067 http://dx.doi.org/10.1109/cvpr52688.2022.02067

XU R S ， XIA X ， LI J L ， et al . V2V4Real： a real-world large-scale dataset for vehicle-to-vehicle cooperative perception ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver ： IEEE ， 2023 ： 13712 - 13722 . doi: 10.1109/cvpr52729.2023.01318 http://dx.doi.org/10.1109/cvpr52729.2023.01318

王秉路，靳杨，张磊，等．基于多传感器融合的协同感知方法［J］．雷达学报（中英文）， 2024 ， 13 （ 1 ）： 87 - 96 ． doi: 10.12000/JR23184 http://dx.doi.org/10.12000/JR23184

WANG B L ， JIN Y ， ZHANG L ， et al . Collaborative perception method based on multisensor fusion ［J］. Journal of Radars ， 2024 ， 13 （ 1 ）： 87 - 96 . （in Chinese） . doi: 10.12000/JR23184 http://dx.doi.org/10.12000/JR23184

LI Y M ， REN S L ， WU P X ， et al . Learning distilled collaboration graph for multi-agent perception ［C］// Proceedings of the 35th International Conference on Neural Information Processing Systems . Online ： Curran Associates Inc. ， 2021 ： 2261 .

邬开俊，张治瑞，汪滢，等 . 全局感知与多尺度特征融合的城市道路语义分割［J］. 光学精密工程， 2025 ， 33 （ 14 ）： 2262 - 2277 ． doi: 10.37188/ope.20253314.2262 http://dx.doi.org/10.37188/ope.20253314.2262

WU K J ， ZHANG Z R ， WANG Y ， et al . Urban road semantic segmentation with global awareness and multi-scale feature fusion ［J］. Optics and Precision Engineering ， 2025 ， 33 （ 14 ）： 2262 - 2277 . （in Chinese） . doi: 10.37188/ope.20253314.2262 http://dx.doi.org/10.37188/ope.20253314.2262

HU Y ， FANG S H ， LEI Z X ， et al . Where2comm： communication-efficient collaborative perception via spatial confidence maps ［C］// Proceedings of the 36th International Conference on Neural Information Processing Systems . New Orleans ： Curran Associates Inc. ， 2022 ： 352 . doi: 10.52202/068431-0352 http://dx.doi.org/10.52202/068431-0352

LIU G J ， HU Y ， XU C X ， et al . Toward collaborative autonomous driving： simulation platform and end-to-end system ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2025 ， 47 （ 8 ）： 6566 - 6584 . doi: 10.1109/tpami.2025.3560327 http://dx.doi.org/10.1109/tpami.2025.3560327

LEI Z X ， REN S L ， HU Y ， et al . Latency-aware collaborative perception ［C］// Proceedings of the 17th European Conference on Computer Vision （ECCV） . Tel Aviv ： Springer ， 2022 ： 316 - 332 . doi: 10.1007/978-3-031-19824-3_19 http://dx.doi.org/10.1007/978-3-031-19824-3_19

杨潞霞，刘泽凯，张红瑞，等 . 基于上下文协同感知的航拍小目标检测算法［J］. 液晶与显示， 2025 ， 40 （ 9 ）： 1308 - 1320 ． doi: 10.37188/CJLCD.2025-0095 http://dx.doi.org/10.37188/CJLCD.2025-0095

YANG L X ， LIU Z K ， ZHANG H R ， et al . Aerial small target detection algorithm based on context collaborative perception ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 9 ）： 1308 - 1320 . （in Chinese） . doi: 10.37188/CJLCD.2025-0095 http://dx.doi.org/10.37188/CJLCD.2025-0095

李士刚，王维佳，朱圣杰，等 . 基于时空三维卷积网络的复杂背景下红外弱小目标检测方法［J］. 液晶与显示， 2025 ， 40 （ 11 ）： 1688 - 1699 ． doi: 10.37188/cjlcd.2025-0161 http://dx.doi.org/10.37188/cjlcd.2025-0161

LI S G ， WANG W J ， ZHU S J ， et al . Detection method for infrared dim and small targets under complex backgrounds via a spatio-temporal three-dimensional convolutional network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 11 ）： 1688 - 1699 . （in Chinese） . doi: 10.37188/cjlcd.2025-0161 http://dx.doi.org/10.37188/cjlcd.2025-0161

ZHAO Y H ， XIANG Z ， YIN S ， et al . MADE： malicious agent detection for robust multi-agent collaborative perception ［C］. 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Abu Dhabi ： IEEE ， 2024 ： 13817 - 13823 . doi: 10.1109/iros58592.2024.10801337 http://dx.doi.org/10.1109/iros58592.2024.10801337

TAO Y H ， HU S K ， HU Y ， et al . GCP： guarded collaborative perception with spatial-temporal aware malicious agent detection ［J］. IEEE Transactions on Dependable and Secure Computing ， 2026 ， 23 （ 4 ）： 9535 - 9548 . doi: 10.1109/tdsc.2026.3693684 http://dx.doi.org/10.1109/tdsc.2026.3693684

余四豪，盖绍彦，达飞鹏 . 面向点云配准的RANSAC假设评估度量方法研究［J］. 中国光学（中英文）， 2025 ， 18 （ 3 ）： 487 - 498 ． doi: 10.37188/co.2024-0208 http://dx.doi.org/10.37188/co.2024-0208

YU S H ， GAI S Y ， DA F P . Improved RANSAC hypothesis evaluation metrics for point cloud registration ［J］. Chinese Optics ， 2025 ， 18 （ 3 ）： 487 - 498 . （in Chinese） . doi: 10.37188/co.2024-0208 http://dx.doi.org/10.37188/co.2024-0208

LANG A H ， VORA S ， CAESAR H ， et al . PointPillars： fast encoders for object detection from point clouds ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 12689 - 12697 . doi: 10.1109/cvpr.2019.01298 http://dx.doi.org/10.1109/cvpr.2019.01298

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于时空一致性的协同感知鲁棒融合方法

基于挠曲电效应的场致双模式液晶切换光栅

低功耗边缘场切换液晶显示器挠曲电系数差值与闪烁的定量关系

基于ZYNQ与YOLO26n的PCB缺陷检测

基于多视角注意力融合的肺结核影像分类