3D-Handpose-Schätzalgorithmus basierend auf kaskadierten Merkmalen und Graph-Convolutional-Netzwerken

LIN Yi-lin ,  

LIN Shan-ling ,  

LIN Zhi-xian ,  

摘要

Um die durch die hohe Freiheitsgrade der Hand und strukturelle Ähnlichkeiten verursachten Fehler bei der 3D-Schätzung von Schlüsselpunkt-Posen zu adressieren, wurde in dieser Arbeit ein 3D-Handpose-Regressionsnetzwerk entwickelt, das Erkennung, Detektion und Pose-Schätzung kombiniert. Es wird ein auf YOLOv3 basierendes Vorverarbeitungsnetz verwendet, ein Netzwerk zur Erkennung von 2D- und 3D-Schlüsselpunkten basierend auf kaskadierten Multi-Feature-Wärmekarten vorgeschlagen und in der Merkmalsextraktionsnetzwerk-Architektur menschliche Handskelett-Beschränkungen eingeführt. Ein progressives Graph Convolutional Neural Network Feature-Enhancement-Modul verfeinert die Skellet-Schlüsselpunkt-Ergebnisse weiter und vollendet die Pose-Anpassung vom groben zum feinen Detail. Im Vergleich mit verschiedenen existierenden Algorithmen auf unterschiedlichen öffentlichen Datensätzen anhand der PCK- und AUC-Bewertungen erzielt der vorgeschlagene Algorithmus auf allen Testsets die höchste AUC, mit einer durchschnittlichen AUC-Genauigkeit von 92,9%. Experimente zeigen, dass die Methode aus einem einzelnen 2D-Bild die 3D-Handpose präzise und detailliert schätzen kann und sowohl in Testsets als auch natürlichen Szenen gute Ergebnisse liefert.

关键词

3D-Poseschätzung; Objekterkennung; Gestenerkennung; Merkmalsverstärkung; Convolutional Neural Networks; Graph Convolutional Neural Networks

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website