手の高自由度問題と構造的類似問題による3次元キーポイント姿勢推定誤差に対し、本論文では認識、検出、および姿勢推定を統合した3次元手骨格姿勢回帰ネットワークを提案する。YOLOv3に基づく前処理ネットワークを採用し、カスケード多特徴ヒートマップに基づく2次元および3次元キーポイント検出ネットワークを提案するとともに、特徴抽出ネットワーク構造に人体骨格手制約を導入し、漸進的なグラフ畳み込みニューラルネットワーク特徴強化モジュールで骨格キーポイント結果をさらに精密に修正し、粗から細への姿勢調整を完了する。本論文は既存の複数アルゴリズムと異なる公開データセットでPCK指標およびAUC指標を比較し、本論文のアルゴリズムは異なるテストセットで最高のAUC指標を達成し、平均AUC精度は92.9％に達した。実験により、本手法は単一の2次元データから高精度かつ詳細に3次元手姿勢を推定でき、テストセットおよび自然環境下で良好な性能を示した。

3次元姿勢推定;物体検出;ジェスチャー認識;特徴強化;畳み込みニューラルネットワーク;グラフ畳み込みニューラルネットワーク