Существующие методы реконструкции трехмерной сетки руки сталкиваются с несколькими проблемами, особенно при обработке закрытий и высоко гибких поз рук, возникают проблемы с потерей геометрической информации руки и ошибками топологии. Для того чтобы реконструкция трехмерной руки оставалась точной и эффективной в условиях закрытия, в настоящей работе предложена двухэтапная сетевая структура для эффективной и оперативной реконструкции трехмерной сетки руки из одиночного RGB-изображения. На первом этапе был разработан адаптивный модуль восстановления закрытий, включающий обучаемые маски весов внимания и функцию потерь согласованности областей в механизме внимания. Этот модуль адаптивно восстанавливает информацию в областях закрытия, существенно улучшая способность выражения признаков в условиях закрытия. На втором этапе предложен модуль двунаправленного восприятия топологии и позы, объединяющий статическое топологическое моделирование, динамическое восприятие позы, двунаправленные графовые сверточные передачи и новаторское внимание с учетом вращения суставов. Этот модуль обеспечивает взаимодополняющее усиление статических и динамических признаков, улучшая детализацию характеристик суставов. Метод был качественно и количественно сравнен с современными методами на наборах данных FreiHAND и InterHand2.6M. Результаты показали, что на наборе данных FreiHAND метод снизил PA-MPVPE до 6.1 мм при скорости вывода 39 FPS; на наборе InterHand2.6M метод снизил MPJPE до 8.07 мм и MPVPE до 8.22 мм. Метод удовлетворяет требованиям устойчивости к закрытиям, реального времени, эффективности и точности позы при трехмерной реконструкции руки.

Реконструкция трехмерной сетки руки;Механизм внимания;Графовые сверточные сети;Потеря согласованности областей;Глубокое обучение