Le Transformer est largement utilisé dans les tâches de classification d'images, mais dans les tâches de classification sur de petits ensembles de données, il est affecté par le faible volume de données et le nombre élevé de paramètres du modèle, ce qui entraîne une faible précision de classification et une convergence lente. Cet article propose un modèle Transformer hybride progressif intégrant une attention en sablier. Premièrement, l’attention en sablier par sur-échantillonnage ascendant et descendant modélise les relations globales des caractéristiques, en utilisant l’upsampling pour compenser les informations perdues lors du downsampling, tout en adoptant un paramètre de température apprenable et un masque anti-diagonal pour affiner la distribution des scores d’attention, évitant ainsi un lissage excessif dû à un grand nombre de couches ; deuxièmement, un module de downsampling progressif est conçu pour obtenir des cartes de caractéristiques multirésolution fines, capturant efficacement les informations à faible dimension ; enfin, une architecture hybride est utilisée : l’attention en sablier est utilisée aux niveaux supérieurs, les couches de pooling remplacent l’attention aux niveaux inférieurs, avec une normalisation de couche intégrant des convolutions profondes pour augmenter la localité du réseau. Les expérimentations sur les datasets T-ImageNet, CIFAR10, CIFAR100, SVHN montrent une précision de classification atteignant 97,42%, avec un calcul et des paramètres respectivement de 3,41G et 25M. Les résultats expérimentaux démontrent une amélioration notable de la précision par rapport aux algorithmes concurrents, avec une réduction significative du calcul et des paramètres, améliorant les performances du Transformer sur les petits ensembles de données.

Classification d'images sur petits ensembles de données;Transformer;Attention en sablier;Caractéristiques multi-échelle;Architecture hybride