基于储备池计算网络的小样本图像分类方法

王彬; 兰海; 俞辉; 郭杰龙; 魏宪

doi:10.37188/CJLCD.2022-0407

您当前的位置：

首页 >

文章列表页 >

基于储备池计算网络的小样本图像分类方法

图像处理 | 更新时间：2023-10-10

- 基于储备池计算网络的小样本图像分类方法
- Reservoir computing based network for few-shot image classification
- 液晶与显示 2023年38卷第10期页码：1399-1408
- 作者机构：
  
  1.福州大学先进制造学院，福建泉州 362200
  2.中国科学院福建物质结构研究所，福建福州 350002
  3.中国福建光电信息科学与技术创新实验室（闽都创新实验室），福建福州 350108
- 作者简介：
  
  [ "王彬（1997—），男，重庆人，硕士研究生，2020年于河海大学获得学士学位，主要从事储备池计算在图像分类及小样本学习上的应用研究。E-mail：wangbinn@hhu.edu.cn" ]
  [ "魏宪（1986—），男，河南沁阳人，博士，研究员，2017年于慕尼黑工业大学获得博士学位，主要从事机器学习、几何优化方面的研究。E-mail：xian.wei@ fjirsm.ac.cn" ]
- 基金信息：
  
  中国福建光电信息科学技术创新实验室（闽都创新实验室）(2021ZZ120);福建省科技计划(2021T3003);泉州市科技计划(2021C065L)
- DOI：10.37188/CJLCD.2022-0407
  中图分类号： TP391.4
- 收稿日期：2022-12-06，
  
  修回日期：2023-01-11，
  
  纸质出版日期：2023-10-05
- 稿件说明：
移动端阅览
王彬, 兰海, 俞辉, 等. 基于储备池计算网络的小样本图像分类方法[J]. 液晶与显示, 2023,38(10):1399-1408.

WANG Bin, LAN Hai, YU Hui, et al. Reservoir computing based network for few-shot image classification[J]. Chinese journal of liquid crystals and displays, 2023, 38(10): 1399-1408.
王彬, 兰海, 俞辉, 等. 基于储备池计算网络的小样本图像分类方法[J]. 液晶与显示, 2023,38(10):1399-1408. DOI： 10.37188/CJLCD.2022-0407.

WANG Bin, LAN Hai, YU Hui, et al. Reservoir computing based network for few-shot image classification[J]. Chinese journal of liquid crystals and displays, 2023, 38(10): 1399-1408. DOI： 10.37188/CJLCD.2022-0407.

摘要

针对目前小样本学习方法易过拟合、跨域泛化能力不足等问题，受启发于储备池计算不依赖于训练而缓解过拟合的特性，提出了一种基于储备池计算的小样本学习方法（Reservoir Computing based Network for Few-shot Image Classification，RCFIC）。整个方法由特征提取模块、特征增强模块和分类器模块构成。特征增强模块由储备池模块和基于储备池的注意力机制构成，分别对特征提取网络的特征进行通道级增强和像素级增强，同时联合余弦分类器促使网络学习具有高类间方差、低类内方差特性的特征分布。实验结果表明，本文算法在Cifar-FS、FC100、Mini-ImageNet等数据集上的分类精度至少比现有方法高1.07%，在从Mini-ImageNet到CUB-200的跨域场景设置下的分类精度优于次优方法1.77%。同时，消融实验验证了RCFIC的有效性。所提方法泛化性强，能够有效缓解小样本图像分类中的过拟合问题并在一定程度上解决跨域问题。

Abstract

Aiming at the problems that current few-shot learning algorithms are prone to overfitting and insufficient generalization ability for cross-domain cases， and inspired by the property that reservoir computing （RC） does not depend on training to alleviate overfitting， a few-shot image classification method based on reservoir computing （RCFIC） is proposed. The whole method consists of a feature extraction module， a feature enhancement module and a classifier module. The feature enhancement module consists of a RC module and an attention mechanism based on the RC， which performs channel-level enhancement and pixel-level enhancement of the features of the feature extraction module， respectively. Meanwhile， the joint cosine classifier drives the network to learn feature distributions with high inter-class variance and low intra-class variance properties. Experimental results indicate that the algorithm achieves at least 1.07% higher classification accuracy than the existing methods in Cifar-FS， FC100 and Mini-ImageNet datasets， and outperforms the second-best method in cross-domain scenes from Mini-ImageNet to CUB-200 by at least 1.77%. Meanwhile， the ablation experiments verify the effectiveness of RCFIC. The proposed method has great generalization ability and can effectively alleviate the overfitting problem in few-shot image classification and solve the cross-domain problem to a certain extent.

关键词

Keywords

references

LUO Y ， ZHAO Y F ， LI J X ， et al . Computational imaging without a computer： seeing through random diffusers at the speed of light ［J］. eLight ， 2022 ， 2 （ 1 ）： 4 . doi: 10.1186/s43593-022-00012-4 http://dx.doi.org/10.1186/s43593-022-00012-4

ZUO C ， QIAN J M ， FENG S J ， et al . Deep learning in optical metrology： a review ［J］. Light： Science & Applications ， 2022 ， 11 （ 1 ）： 39 . doi: 10.1038/s41377-022-00714-x http://dx.doi.org/10.1038/s41377-022-00714-x

SITU G . Deep holography ［J］. Light： Advanced Manufacturing ， 2022 ， 3 （ 2 ）： 8 . doi: 10.37188/lam.2022.013 http://dx.doi.org/10.37188/lam.2022.013

CHEN C F R ， FAN Q F ， PANDA R . CrossViT： Cross-attention multi-scale vision transformer for image classification ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision . Montreal ： IEEE ， 2021 ： 347 - 356 . doi: 10.1109/iccv48922.2021.00041 http://dx.doi.org/10.1109/iccv48922.2021.00041

杜敏敏，司马海峰 . A-LinkNet：注意力与空间信息融合的语义分割网络［J］. 液晶与显示， 2022 ， 37 （ 9 ）： 1199 - 1208 ． doi: 10.37188/CJLCD.2022-0046 http://dx.doi.org/10.37188/CJLCD.2022-0046

DU M M ， SIMA H F . A-LinkNet： semantic segmentation network based on attention and spatial information fusion ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 9 ）： 1199 - 1208 . （in Chinese） . doi: 10.37188/CJLCD.2022-0046 http://dx.doi.org/10.37188/CJLCD.2022-0046

WU X W ， SAHOO D ， HOI S C H . Recent advances in deep learning for object detection ［J］. Neurocomputing ， 2020 ， 396 ： 39 - 64 . doi: 10.1016/j.neucom.2020.01.085 http://dx.doi.org/10.1016/j.neucom.2020.01.085

ZHONG X ， GU C ， YE M ， et al . Graph complemented latent representation for few-shot image classification ［J］. IEEE Transactions on Multimedia ， 2022 ， 25 ： 1979 - 1990 . doi: 10.1109/tmm.2022.3141886 http://dx.doi.org/10.1109/tmm.2022.3141886

FINN C ， ABBEEL P ， LEVINE S . Model-agnostic meta-learning for fast adaptation of deep networks ［C］// Proceedings of the 34th International Conference on Machine Learning . Sydney ： JMLR.org ， 2017 ： 1126 - 1135 . doi: 10.1109/icra.2016.7487173 http://dx.doi.org/10.1109/icra.2016.7487173

LI F F ， FERGUS R ， PERONA P . One-shot learning of object categories ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2006 ， 28 （ 4 ）： 594 - 611 . doi: 10.1109/tpami.2006.79 http://dx.doi.org/10.1109/tpami.2006.79

ROYLE J A ， DORAZIO R M ， LINK W A . Analysis of multinomial models with unknown index using data augmentation ［J］. Journal of Computational and Graphical Statistics ， 2007 ， 16 （ 1 ）： 67 - 85 . doi: 10.1198/106186007x181425 http://dx.doi.org/10.1198/106186007x181425

CHEN W Y ， LIU Y C ， KIRA Z ， et al . A closer look at few-shot classification ［C］. 7th International Conference on Learning Representations . New Orleans ： OpenReview.net ， 2019 .

LI X X ， SUN Z ， XUE J H ， et al . A concise review of recent few-shot meta-learning methods ［J］. Neurocomputing ， 2021 ， 456 ： 463 - 468 . doi: 10.1016/j.neucom.2020.05.114 http://dx.doi.org/10.1016/j.neucom.2020.05.114

YAN S P ， ZHANG S Y ， HE X M . A dual attention network with semantic embedding for few-shot learning ［C］. Thirty-Seventh AAAI Conference on Artificial Intelligence . Washington ： AAAI Press ， 2019 ： 9079 - 9086 . doi: 10.1609/aaai.v33i01.33019079 http://dx.doi.org/10.1609/aaai.v33i01.33019079

QIN Z L ， WANG H ， MAWULI C B ， et al . Multi-instance attention network for few-shot learning ［J］. Information Sciences ， 2022 ， 611 ： 464 - 475 . doi: 10.1016/j.ins.2022.07.013 http://dx.doi.org/10.1016/j.ins.2022.07.013

HOU R B ， CHANG H ， MA B P ， et al . Cross attention network for few-shot classification ［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems . Vancouver ： Curran Associates Inc. ， 2019 .

GUO Y H ， CODELLA N C ， KARLINSKY L ， et al . A broader study of cross-domain few-shot learning ［C］. 16th European Conference on Computer Vision . Glasgow ： Springer ， 2020 ： 124 - 141 . doi: 10.1007/978-3-030-58583-9_8 http://dx.doi.org/10.1007/978-3-030-58583-9_8

JAEGER H . Short term memory in echo state networks ［R］. Forschungszentrum Informationstechnik GmbH ， 2002 .

MAASS W ， NATSCHLÄGER T ， MARKRAM H . Real-time computing without stable states： A new framework for neural computation based on perturbations ［J］. Neural Computation ， 2002 ， 14 （ 11 ）： 2531 - 2560 . doi: 10.1162/089976602760407955 http://dx.doi.org/10.1162/089976602760407955

VERZELLI P ， ALIPPI C ， LIVI L ， et al . Input-to-state representation in linear reservoirs dynamics ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2022 ， 33 （ 9 ）： 4598 - 4609 . doi: 10.1109/tnnls.2021.3059389 http://dx.doi.org/10.1109/tnnls.2021.3059389

BERTINETTO L ， HENRIQUES J F ， TORR P ， et al . Meta-learning with differentiable closed-form solvers ［C］. International Conference on Learning Representations . New Orleans ： ICLR ， 2019 .

ORESHKIN B N ， RODRÍGUEZ P ， LACOSTE A . TADAM： Task dependent adaptive metric for improved few-shot learning ［C］// Proceedings of the 32nd International Conference on Advances in Neural Information Processing Systems . Montréal ： Curran Associates Inc. ， 2018 .

VINYALS O ， BLUNDELL C ， LILLICRAP T ， et al . Matching networks for one shot learning ［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems . Barcelona ： Curran Associates Inc. ， 2016 .

CUI Y ， ZHOU F ， LIN Y Q ， et al . Fine-grained categorization and dataset bootstrapping using deep metric learning with humans in the loop ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 1153 - 1162 . doi: 10.1109/cvpr.2016.130 http://dx.doi.org/10.1109/cvpr.2016.130

DENG J ， DONG W ， SOCHER R ， et al . ImageNet： a large-scale hierarchical image database ［C］. 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami ： IEEE ， 2009 . doi: 10.1109/cvpr.2009.5206848 http://dx.doi.org/10.1109/cvpr.2009.5206848

XU W J ， XU Y F ， WANG H J ， et al . Attentional constellation nets for few-shot learning ［C］. 9th International Conference on Learning Representations . Virtual， Online ： OpenReview.net ， 2021 .

WU J M ， ZHANG T Z ， ZHANG Y D ， et al . Task-aware part mining network for few-shot learning ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision . Montreal ： IEEE ， 2021 ： 8413 - 8422 . doi: 10.1109/iccv48922.2021.00832 http://dx.doi.org/10.1109/iccv48922.2021.00832

TIAN Y L ， WANG Y ， KRISHNAN D ， et al . Rethinking few-shot image classification： a good embedding is all you need？［C］// 16th European Conference on Computer Vision . Glasgow ： Springer ， 2020 ： 266 - 282 . doi: 10.1007/978-3-030-58568-6_16 http://dx.doi.org/10.1007/978-3-030-58568-6_16

LIU Y B ， LEE J ， PARK M ， et al . Transductive propagation network for few-shot learning ［J/OL］. arXiv ， 2018 ： 1805 . 10002 v 1 . doi: 10.24963/ijcai.2020/112 http://dx.doi.org/10.24963/ijcai.2020/112

ZHANG X T ， MENG D B ， GOUK H ， et al . Shallow Bayesian meta learning for real-world few-shot recognition ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision . Montreal ： IEEE ， 2021 ： 631 - 640 . doi: 10.1109/iccv48922.2021.00069 http://dx.doi.org/10.1109/iccv48922.2021.00069

AFRASIYABI A ， LALONDE J F ， GAGNÉ C . Associative alignment for few-shot image classification ［C］. 16th European Conference on Computer Vision . Glasgow ： Springer ， 2020 ： 18 - 35 . doi: 10.1007/978-3-030-58558-7_2 http://dx.doi.org/10.1007/978-3-030-58558-7_2

XU C M ， FU Y W ， LIU C ， et al . Learning dynamic alignment via meta-filter for few-shot learning ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville ： IEEE ， 2021 ： 5178 - 5187 . doi: 10.1109/cvpr46437.2021.00514 http://dx.doi.org/10.1109/cvpr46437.2021.00514

ZHANG M L ， ZHANG J H ， LU Z W ， et al . IEPT： Instance-level and episode-level pretext tasks for few-shot learning ［C］. 9th International Conference on Learning Representations . Vienna ： OpenReview.net ， 2021 .

LI H Y ， EIGEN D ， DODGE S ， et al . Finding task-relevant features for few-shot learning by category traversal ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 1 - 10 . doi: 10.1109/cvpr.2019.00009 http://dx.doi.org/10.1109/cvpr.2019.00009

MANGLA P ， SINGH M ， SINHA A ， et al . Charting the right manifold： Manifold Mixup for few-shot learning ［C］// Proceedings of the 2020 IEEE Winter Conference on Applications of Computer Vision . Snowmass ： IEEE ， 2020 ： 2207 - 2216 . doi: 10.1109/wacv45572.2020.9093338 http://dx.doi.org/10.1109/wacv45572.2020.9093338

TSENG H Y ， LEE H Y ， HUANG J B ， et al . Cross-domain few-shot classification via learned feature-wise transformation ［C］. 8th International Conference on Learning Representations . Addis Ababa ： OpenReview.net ， 2020 .

SUN J M ， LAPUSCHKIN S ， SAMEK W ， et al . Explanation-guided training for cross-domain few-shot classification ［C］. 2020 25th International Conference on Pattern Recognition （ICPR） . Milan ： IEEE ， 2021 ： 7609 - 7616 . doi: 10.1109/icpr48806.2021.9412941 http://dx.doi.org/10.1109/icpr48806.2021.9412941

WANG Y ， CHAO W L ， WEINBERGER K Q ， et al . Revisiting nearest-neighbor classification for few-shot learning ［J/OL］. arXiv ， 2019 ： 1911 . 04623 v 1 .

VAN DER MAATEN L ， HINTON G . Visualizing data using t-SNE ［J］. Journal of Machine Learning Research ， 2008 ， 9 （ 86 ）： 2579 - 2605 .

浏览量

435

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

结合高效注意力机制的神经架构搜索高光谱图像分类

基于改进ShuffleNetV2网络的遥感场景分类模型

小样本点云分类的原型分布校正

基于多分支空谱特征增强的高光谱图像分类