O Transformer tem ampla aplicação em tarefas de classificação de imagens, mas em tarefas de classificação com conjuntos de dados pequenos, o Transformer é afetado pela baixa quantidade de dados e pelo elevado número de parâmetros do modelo, o que resulta em baixa precisão de classificação e convergência lenta. Este artigo propõe um modelo progressivo híbrido Transformer que integra atenção em formato de ampulheta. Primeiramente, através de downsampling e upsampling na atenção em ampulheta, modela-se a relação global das características, utilizando upsampling para compensar as informações perdidas no downsampling, ao mesmo tempo em que se adota um parâmetro de temperatura aprendível e máscara diagonal negativa para aguçar a distribuição das pontuações de atenção, evitando o excesso de suavização causado por muitas camadas; em segundo lugar, um módulo progressivo de downsampling é projetado para obter mapas de características multiescala de alta resolução, capturando eficazmente informações de características de baixa dimensão; por fim, utiliza-se uma arquitetura híbrida, com atenção em ampulheta na fase superior e camadas de pooling na fase inferior substituindo o módulo de atenção, além da introdução da normalização em camadas com convoluções profundas para aumentar a localidade da rede. Os experimentos realizados nos conjuntos de dados T-ImageNet, CIFAR10, CIFAR100 e SVHN mostram que a precisão de classificação pode atingir 97,42%, com complexidade computacional e número de parâmetros de 3,41G e 25M, respectivamente. Os resultados experimentais indicam que o método proposto melhora significativamente a precisão de classificação em comparação com os algoritmos concorrentes, reduzindo visivelmente a complexidade computacional e o número de parâmetros, melhorando o desempenho do modelo Transformer em conjuntos de dados pequenos.

Classificação de imagens em pequenos conjuntos de dados;Transformer;Atenção em ampulheta;Características multiescala;Arquitetura híbrida