손의 높은 자유도 문제와 구조적 유사성 문제로 인한 3D 키포인트 자세 추정 오차를 해결하기 위해 본 논문에서는 인식, 검출 및 자세 추정을 통합한 3D 손골격 자세 회귀 네트워크를 제안한다. YOLOv3 기반의 전처리 네트워크를 사용하며, 연쇄 다중 특징 히트맵 기반의 2D 및 3D 키포인트 검출 네트워크를 제안한다. 특징 추출 네트워크 구조에 인체 골격 손 제약을 도입하고, 점진적인 그래프 합성곱 신경망 특징 강화 모듈을 이용하여 골격 키포인트 결과를 정밀하게 보정하여 거칠게부터 세밀하게 자세를 조정한다. 본 논문은 다양한 공개 데이터셋에서 PCK 및 AUC 지표로 기존 다수 알고리즘과 비교하였으며, 모든 테스트 세트에서 최고 AUC 지표를 달성하였고 평균 AUC 정확도는 92.9%에 달한다. 실험 결과 본 방법은 단일 2D 데이터로 3D 손 자세를 정확하고 세밀하게 추정할 수 있으며, 테스트 세트와 자연 환경 모두에서 우수한 성능을 보였다.

3D 자세 추정; 객체 검출; 제스처 인식; 특징 강화; 합성곱 신경망; 그래프 합성곱 신경망