Transformerは画像分類タスクで広く応用されていますが、小規模データセットの分類タスクでは、データ量が少なくモデルパラメータが多いことにより、分類精度が低く収束速度が遅くなるという問題があります。本論文では、サンドグラスアテンションを融合した漸進的ハイブリッドTransformerモデルを提案します。まず、ダウンサンプリングとアップサンプリングによるサンドグラス自己注意機構でグローバルな特徴関係をモデリングし、アップサンプリングでダウンサンプリング時に失われた情報を補完します。また、学習可能な温度パラメータと負の対角マスクを用いて注意スコア分布を鋭くし、多層化による過度な平滑化を防ぎます。次に、漸進的ダウンサンプリングモジュールを設計し、細粒度のマルチスケール特徴マップを獲得して低次元特徴情報を効果的に捕捉します。最後にハイブリッドアーキテクチャを使用し、上位段階で設計したサンドグラス注意機構を用い、下位段階では注意モジュールの代わりにプーリング層を採用し、深層畳み込みを備えたレイヤーノーマライゼーションを導入してネットワークの局所性を高めます。提案手法はT-ImageNet、CIFAR10、CIFAR100、SVHNデータセットで実験され、分類精度は97.42％に達し、計算量とパラメータ数はそれぞれ3.41Gと25Mでした。実験結果は、比較アルゴリズムに比べ、本手法が分類精度を大幅に向上させ、計算量とパラメータ数を大幅に削減し、小規模データセットにおけるTransformerモデルの性能向上を示しています。

小規模データセット画像分類;Transformer;サンドグラス注意;マルチスケール特徴;ハイブリッドアーキテクチャ