8. 3D Interface and Application Based on Fingertip Position

Title(KR)

• 손끝 위치 좌표 기반의 3D 인터페이스 및 그 적용

Title(ENG)

• 3D Interface and Application Based on Fingertip Position

Keywords(KR)

• 3D Interface, Hand-Tracking, Game, Virtual Reality, Leap Motion

Keywords(ENG)

• 3D Interface, Hand-Tracking, Game, Virtual Reality, Leap Motion

Author

• Gang Ta CHOI, Seung Yun LEE, Jun Hyuck WOO, Boa RH

Abstract(KR)

손끝은 최고의 촉각 센서이자 최고의 운동 기관이다. 많은 기술자들은 손끝의 감각에 의존하여 그들의 정확하고 숙련된 솜씨로 결과물을 만들곤 한다. 컴퓨터 게임 역시 섬세한 조작을 요구하는 분야임에도 불구하고 제작과 구현의 어려움 때문에 대부분의 게임 인터페이스들은 촉각이나 손이 나타내는 복잡한 표현들은 고려하지 않는다. 또한 VR이 빠르게 발전하고 있고 여러 종류의 가상 환경 몰입형 입력 장치들이 나타나고 있지만, 그들의 기술 수준은 게임 패드에 각종 센서가 추가된 정도에 머무르고 있다. 본 논문에서는 손가락의 위치를 통한 3D 인터페이스를 설계하는 방법론을 소개한다. 전통적으로 손을 인식하는 입력 방식에서는 주로 몇몇 제스쳐와 간단한 표현들을 인식하는데 그쳤으며, 상대적으로 미소한 손가락 관절의 움직임이나 손과 손 사이의 상호작용 등의 복잡한 제스쳐에 대해서는 전혀 고려하지 못하고 있다. 본 방법론은 이러한 표현들을 어떻게 구현할 것인지 제시하며, 손가락의 위치나 각도 등 복합적인 데이터를 계산하여 의미 있는 정보들을 도출해낼 수 있게 한다. 또한 실험을 위해 구현된 간단한 프로그램에서는 구체적으로 어떻게 작동하는지와 무엇을 표현할 수 있는지 보여준다. 이를 통해 3D와 몰입형 가상 환경에서 손이 나타내는 복잡한 표현들을 구현하는데 적용될 수 있을 것으로 예상된다.

Abstract(ENG)

Fingertip is both the best touch sensor and the finest actuator. Many technicians depend on their touch of fingertips to regenerate accurate and well-experienced actions. Although computer game is also the area that delicate control is needed, most of game interfaces have no such considerations because they can’t represent tactile impression. Furthermore, as VRs are rapidly evolving, various input interfaces for immersive 3D environments are emerging but their technical level remains on the same stage of gamepad with some sensors. This paper proposes a methodology to design 3D interface that uses positions of fingers. In traditional methods hand-tracking devices usually recognize some gestures and simple expressions. However, this kind of methods don’t consider about some complicated gestures which include comparatively minute finger joints movement and interactions between hands. Proposed methodology presents how to apply these expressions to 3D applications. To derive meaningful outputsthese small expressive controls, it contains many computations among finger position vectors, angles, etc. Following simple application using the method shows how it works and what can it express with hands. Although the quality of results and visual output is not so adorable because of some technical obstacles and artless processes, in conclusion it is expected that this method can be applied to implement complicated hands expressions in 3D and also immersive environment.

Page 83-91