Для решения проблемы неточного сегментирования краевых деталей руки и ложных срабатываний или пропусков мелких областей руки предлагается метод мульти-масштабной сегментации руки на основе механизма внимания. Во-первых, модуль Transformer был заново разработан и оптимизирован, предложена структура оконного самовнимания и механизм двуветвевой прямой нейронной сети (Dual-branch Feed-Forward Networks, D-FFN). С помощью механизма оконного самовнимания интегрируется глобальная и локальная зависимая информация, а D-FFN подавляет помехи от фоновой информации. Затем предложен мульти-масштабный модуль извлечения признаков, объединяющий полосное объединение и каскадную сеть для увеличения рецептивного поля, что повышает точность и устойчивость модели сегментации руки. Наконец, предложен модуль декодера с восходящим масштабированием на основе механизма Triplet Attention, который различает признаки цели и избыточные признаки фона путем регулирования весов внимания по каналам и пространству. Алгоритм протестирован на общедоступных наборах данных GTEA (Georgia Tech Egocentric Activity) и EYTH (EgoYouTubeHands). Экспериментальные результаты показали, что среднее значение MIoU достигло 95.8% и 90.2% соответственно на двух наборах данных, что на 2.5% и 2.1% выше по сравнению с алгоритмом TransUnet, удовлетворяя требованиям стабильного, точного и устойчивого к помехам сегментирования изображений рук.

сегментация руки; глубокое обучение; TransUnet; прямая нейронная сеть; модуль пространственного пирамидального пула с дилатацией; Triplet Attention