현실에서는 일반적으로 손을 사용하여 사물을 조작하거나 환경 및 대상과 상호작용을 한다. 하지만 메타버스에 서는 대부분의 경우 컨트롤러, 마우스, 키보드 등을 사용하여 아바타를 움직이거나 사물을 조작한다. 이런 원인으로 그 동안 손으로 직접 조작이 가능한 핸드 트래킹 기술 개발이 꾸준히 지속되어 왔다. 특히, 최근 메타버스 산업의 확대로 경제성, 효용성, 기술적 안정성을 포함하는 핸드 트래킹 기술 및 디바이스 개발이 가속화되고 있다. 또한, 메타(구 페이스북), 구글, 애플 등과 같은 글로벌 IT 기업들이 핸드 트래킹 기술 개발에 참여하고 있으며, 관련 기술의 상용화를 추진하고 있다. 손과 손가락 움직임의 자유도가 높은 핸드 트래킹 기술은 상호작용성 및 체화성(embodiment)을 높혀 메타버스의 실감성을 향상시킬 수 있는 중요한 기술이다. 이런 배경들과 연결하여 손 기반 상호작용과 연관된 인지 요인들(체화성, 존재감)과 핸드 트래킹의 동향에 대해 기술하고자 한다. I. 서론 최근 메타버스 산업이 빠르게 발전하고 있으며 관련 기술 개발이 활발히 진행되고 있다. 특히, 손 기반 상호작용과 관련된 핸드 트래킹(hand tracking) 기술 및 디바이스 개발이 주목받고 있다. 그 동안 메타버스에서는 대부분 컨트롤러, 마우스, 키보드 등을 사용자 인터페 이스로 사용해 왔다. 하지만 이와 같은 방법들은 손을 사용하는 직접 조작(direct manipulation) 에 비해 자연스럽고 직관적인 상호작용이 가능하지 않다. 인간-컴퓨터 상호작용을 위한 사용 자 인터페이스(user interfaces) 개발과 관련하여 Shneiderman[1]은 실제 환경에서 손으 로 물건을 조작하며 일을 수행하는 것과 유사한 사용자 인터페이스가 만들어져야 함을 강조 * 본 내용은 김애리 연구원(☎ 02-880-6252, kimaelee7@gmail.com)에게 문의하시기 바랍니다. ** 본 내용은 필자의 주관적인 의견이며 IITP의 공식적인 입장이 아님을 밝힙니다. 메타버스 공간에서의 손 기반 상호작용에 대한 기술 동향 Chapter 01 기획시리즈-메타버스 정보통신기획평가원 3 했다. 손을 활용한 직접 조작은 세밀한 손동작과 자연스럽고 직관적인 상호작용을 가능하게 하며, 또한 상호작용을 할 때 사용자의 통제능력과 예측 가능성을 높일 수 있다. 핸드 트래킹은 컨트롤러, 마우스, 키보드 등 매개된 디바이스를 사용하지 않고 가상공간에 서 사물과 환경을 조작할 수 있는 동작 인식 기술이다. 핸드 트래킹 상호작용을 위해서는 손의 움직임을 정확하게 감지 및 추적하고, 이를 기반으로 동작과 제스처를 분류하고 인식하 는 과정이 필요하다[2]. 일반적으로 핸드 트래킹을 구현하는 방법은 크게 몸에 센서나 장치 를 부착하는 접촉식과 적외선 카메라 및 시각기술(vision technology)을 이용하는 비접촉 식으로 분류할 수 있다[3]. 손은 일상에서 가장 많이 사용하는 신체 부위로 정확한 동작을 수행할 수 있으며 사물의 재질, 무게 및 견고성 등을 지각하는 기능을 가지고 있다[4]. 이 같은 손을 활용한 사물조작은 시각, 촉각, 고유 수용성 감각(proprioception) 등 다양한 감각들의 상호작용을 통해 이루 어진다[5]. 한편, 몸 감각인지 관점에서, 핸드 트래킹 상호작용은 체화성(embodiment)의 여러 특성 중 신체 소유감(body ownership) 및 행위 주체감(sense of agency)과 관련이 있다. 신체 소유감은 내가 내 몸을 소유하고 있다고 느끼는 개념이며 행위 주체감은 행위의 주체가 내 자신이라는 것을 인식하는 것이다. 움직이는 몸이 나에게 속해 있다고 느끼면서 자신이 실제 움직이고 있다는 것을 인식하고 있다면 신체 소유감과 행위 주체감을 동시에 인지하게 된다. 핸드 트래킹 기술을 적용한 상호작용은 컨트롤러, 키보드, 마우스 등 매개된 사용자 인터페이스에 비해 손 감각에 대한 신체 소유감을 높이고 직접 조작을 통해 행위 주체감을 향상시킬 수 있다. 이와 관련하여 손과 손가락 감각 모두를 자유롭게 활용하는 핸드 트래킹 방식은 체화성을 높여 메타버스의 실감성 향상에 긍정적으로 작용할 것이다. 3차원 그래픽으로 만들어진 메타버스 공간이 실재하는 것처럼 인지되기 위한 핵심 개념은 존재감(presence)이며 몸 감각은 존재감을 높이는데 중요한 역할을 한다. 존재감은 물리적 신체 감각이 가상세계로 확장되어 사용자가 가상공간 안에 존재하고 있는 느낌을 말한다. 존재감이 높을수록 현실처럼 느끼게 되며 가상공간에 있는 물체나 대상들을 실재 있는 것처 럼 인지하게 된다. 메타버스 공간이 실재하는 환경으로 인지되기 위해서는 감각적으로 높은 재현성을 갖는 것 외에 사용자의 반응과 행동에 따라 사물, 캐릭터, 환경 등이 변경, 수정되는 상호작용이 중요하다[6]. 예시적으로 컨트롤러를 사용하는 매개된 상호작용은 손이 느끼는 컨트롤러의 무게감과 불편함으로 인해 메타버스 내에서 몰입을 방해하여 존재감 인지에 부