기존의 3D 손망 재구성 방법은 특히 가림 현상과 높은 유연도의 손 자세를 처리할 때 손의 기하학 정보 손실 및 위상 구조 오류 문제를 포함한 여러 도전에 직면해 있습니다. 3D 손 재구성이 가림 상황에서도 정확하고 효율적으로 유지되도록 하기 위해 본 논문에서는 단안 RGB 이미지에서 실시간으로 효율적으로 손 3D 망을 재구성하는 2단계 네트워크 프레임워크를 제안합니다. 첫 단계에서는 학습 가능한 주의 가중치 마스크와 영역 일관성 손실을 주의 메커니즘에 도입하여 적응형 가림 복원 모듈을 설계하였습니다. 이 모듈은 가림 영역의 정보를 적응적으로 복원하여 가림 상황에서 특징 표현 능력을 크게 향상시킵니다. 두 번째 단계에서는 정적 위상 모델링과 동적 자세 인식, 양방향 그래프 컨볼루션 및 새로운 관절 회전 인식 주의 메커니즘 간의 특징 정보를 결합하여 위상-자세 양방향 인식 모듈을 제안하였습니다. 이 모듈은 정적 및 동적 특징의 상호 보완적 강화를 달성하여 관절 특징의 세부 캡처 능력을 향상시킵니다. 본 방법은 FreiHAND 및 InterHand2.6M 데이터셋에서 기존 우수 방법들과 질적 및 양적 실험 비교를 수행하였습니다. 실험 결과, FreiHAND 데이터셋에서 본 방법의 PA-MPVPE가 6.1mm로 감소하였고 추론 속도는 39 FPS에 도달하였으며, InterHand2.6M 데이터셋에서 MPJPE가 8.07mm로, MPVPE가 8.22mm로 각각 감소하였습니다. 본 방법은 3D 손 재구성의 가림 저항성, 실시간성, 효율성 및 자세 정확성 요구를 충족합니다.

3D 손망 재구성;주의 메커니즘;그래프 컨볼루션 네트워크;영역 일관성 손실;딥러닝