既存の3D手メッシュ再構築法は、特に遮蔽や高い柔軟性を持つ手の姿勢を扱う際に、手の幾何学情報の欠落やトポロジーの誤りといった複数の課題に直面しています。3D手再構築が遮蔽下でも正確かつ効率的に維持されるよう、本論文では単眼RGB画像からリアルタイムかつ効率的に手の3Dメッシュを再構築する二段階ネットワークフレームワークを提案します。第一段階では、注意メカニズムに学習可能な注意重みマスクと領域一貫性損失を導入し、適応的遮蔽復元モジュールを設計しました。本モジュールは遮蔽領域の情報を適応的に復元し、遮蔽下の特徴表現能力を著しく強化します。第二段階では、静的トポロジーモデリングと動的姿勢認識、双方向伝播グラフ畳み込みおよび新規関節回転認識注意の特徴情報を組み合わせたトポロジー・姿勢双方向認識モジュールを提案しました。本モジュールは静的および動的特徴の相補的強化を実現し、関節特徴の詳細な捕捉能力を向上させます。本手法はFreiHANDおよびInterHand2.6Mデータセットにて既存の優れた手法と定性的および定量的実験比較を行いました。実験結果は、FreiHANDデータセットにて本手法のPA-MPVPEが6.1mmに低減し、推論速度が39FPSに達したこと、InterHand2.6MデータセットにてMPJPEが8.07mm、MPVPEが8.22mmに低減したことを示しています。本手法は3D手再構築における遮蔽耐性、リアルタイム性、高効率性、姿勢精度の要件を満たしています。

3D手メッシュ再構築;注意メカニズム;グラフ畳み込みネットワーク;領域一貫性損失;深層学習