Transformer finden breite Anwendung bei der Bildklassifizierung, jedoch sind sie bei Klassifizierungsaufgaben mit kleinen Datensätzen durch die geringe Datenmenge und die große Anzahl an Modellparametern beeinträchtigt, was zu niedriger Klassifizierungsgenauigkeit und langsamer Konvergenz führt. In diesem Artikel wird ein progressives hybrides Transformer-Modell mit Sanduhr-Attention vorgeschlagen. Zunächst wird durch ab- und aufwärts gerichtetes Sampling der Sanduhr-Selbstaufmerksamkeit die globale Merkmalsbeziehung modelliert, wobei Upsampling die beim Downsampling verlorenen Informationen ergänzt. Gleichzeitig werden lernbare Temperaturparameter und eine negative Diagonalmaske eingesetzt, um die Verteilung der Aufmerksamkeitswerte zu schärfen und ein Überglätten durch zu viele Schichten zu vermeiden; zweitens wird ein progressives Downsampling-Modul entworfen, um fein granulare Multiskalen-Merkmalskarten zu erhalten, die effektiv niedrigdimensionale Merkmale erfassen; schließlich wird eine hybride Architektur verwendet, wobei im obersten Bereich die Sanduhr-Attention eingesetzt wird, im unteren Bereich Pooling-Schichten das Aufmerksamkeitsmodul ersetzen und eine Schichtnormalisierung mit tiefen Faltungen die Lokalität des Netzwerks erhöht. Experimente auf den Datensätzen T-ImageNet, CIFAR10, CIFAR100 und SVHN zeigen eine Klassifizierungsgenauigkeit von 97,42 % bei Rechenaufwand und Parameteranzahl von jeweils 3,41G und 25M. Die experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode im Vergleich zu konkurrierenden Algorithmen die Klassifizierungsgenauigkeit deutlich verbessert und den Rechenaufwand sowie die Parameteranzahl signifikant reduziert, wodurch die Leistung des Transformer-Modells auf kleinen Datensätzen gesteigert wird.

Bildklassifizierung kleiner Datensätze;Transformer;Sanduhr-Attention;Multiskalen-Merkmale;Hybride Architektur