Archives of Design Research

최근 제스처에 관한 기기나 기술이 발전하면서 ‘어떤 제스처를 사용할 것인가’에 관심을 두고 직관적이고 쉬운 제스처를 도출하기 위한 다양한 시도가 이루어지고 있다(Kuhenel, 2011; Neβelrath, 2011; Nielsen, 2003; Nielsen, 2004; Akers, 2006; Stern, 2008). 하지만 이러한 시도는 스마트 TV나 Table Top, 스마트폰을 대상으로 이루어져 있을 뿐 완벽하게 3D기반의 제스처를 위한 연구는 미비한 실정이다. 스마트 TV나 Table top, 스마트 폰 연구의 경우 기기를 이용한 제스처 연구가 많이 진행되어있고, 3D기반의 제스처 연구라 하더라도 Leap motion에 바로 적용시키기에는 무리가 있다.

기존 제스처 기반의 연구의 경우 스마트 홈 내 가전 기기를 조작하기 위한 목적으로 통합 리모컨을 이용하여 기기를 제스처로 제어하는 연구(Wilson, 2003; Ouchi, 2005; Pan, 2010), 손에 글로브를 착용하여 손가락의 구부림 등으로 기기를 조작하는 글로브 형태(Dipietro, 2008), Table top(Seifried, 2008) 또는 Smart wall display(Kim, 2011)등을 활용하거나 Smart TV(Jang,2013)를 조작하는 제스처 연구가 선행되어 왔다. 그러나 상기 제스처 인터페이스에 적용된 제스처의 경우 기기가 인식하기 용이한 제스처를 전문가, 혹은 디자이너 중심으로 임의로 제시하는 방식을 취하고 있다.

사용자에게 직관적이고 용이한 제스처를 도출하기 위한 시도로는 쿠흐넬의 연구(Kuhnel, 2011)와 네베엘흐(Neβelrath, 2011)의 연구, 장민선(Jang, 2013)의 연구가 있다. 쿠흐넬(Kuhenel, 2011)은 가전기기 컨트롤을 위해 스마트폰을 이용한 제스처 인터페이스를 제안했다. 그는 제스처 도출을 위해 사용자를 제스처 도출 초반 단계부터 참여시켰다. 하지만 스마트폰 기반의 제스처 도출이기 때문에 제스처 도출시 스마트폰을 들고 해당 기능에 대한 제스처를 도출하여야만 했다. 이 경우 손에 든 스마트 폰으로 인하여 사용자의 제약이 있었을 수 있어 완벽한 3D 공간에서의 제스처라 하기 어렵다. 네베엘흐(Neβelrath,2011)도 스마트 홈 내에서의 다양한 기기에 대한 제스처 도출을 위해 초반부터 사용자를 참여하였으나 제스처 도출 시 해당 기능에 대한 2차원의 움직임의 경로만을 종이에 그리게 하였다는 한계점이 있다. 또한 스마트 홈을 기준으로 한 연구임으로 당 연구에 적용시키기에는 한계가 있다.

장민선(Jang, 2013)은 스마트TV를 제어하기 위한 제스처 가이드라인을 제안했다. 이 역시 사용자를 초반부터 참여시켜 사용자 중심 제스처 도출을 시도하였고 해당 기능의 활성화 전/후 이미지를 제공하여 사용자의 제스처 도출을 유도하였다. 하지만 스마트 TV를 위한 핸드 제스처 도출을 목적으로 하였기 때문에 순수한 핸드 제스처가 아닌 리모컨의 모양을 따서 제작한 Mock-up 방식의 제스처 도출이므로 당 연구에 적용시키기에는 한계가 있다. Leap motion의 경우 사용자가 잡거나 착용해야 하는 물리적인 대상이 없지만 장민선(Jang, 2013)의 연구의 경우 리모컨 모양의 Mock-up과 함께 이루어 졌으며 스마트 TV의 기능에 맞춰 진 연구임으로 한계점이 있다.

제스처 도출 방법은 크게 두 가지로 나눌 수 있다. 제스처 세트 결정 시에 디자이너에 의해 제스처 세트가 결정되었을 경우 디자이너 중심 도출 방식이라 한다. 또 사용자 참여로 제스처 세트가 결정 되었을 경우 사용자 중심 도출 방식이라 한다(Jang, 2013). 디자이너 중심 도출 방식의 경우 기기의 해당하는 제스처가 디자이너에 의해 결정되고 이후 사용자로부터 사용성 평가를 하는 반면, 사용자 중심 도출 방식의 경우 해당 기기의 기능에 대한 제스처를 사용자에 의해 결정된다. 초기 제스처 관련 연구의 경우 인식이 용이한 제스처를 중심으로 디자이너가 제스처를 선택하는 방식이 주를 이루었으나, 최근 NUI와 UX에 대한 인식 향상과 함께 제스처 인터페이스를 더욱 직관적으로 만들기 위해 사용자로부터 제스처를 도출하는 사용자 중심 도출 방식이 증가하는 양상을 보인다(Wenkai, 2013; Kuhenel, 2011; Neβelrath,2011; Choi et al, 2012; Jang, 2013).

사용자 중심 도출 방식은 제스처 인터페이스 초반 디자인 단계부터 사용자를 적극적으로 참여시켜 사용자에게 해당 기능에 대한 제스처를 도출하는 방법을 말한다. 이는 디자이너 중심 도출 방식보다 사용자의 입장에서 사용자의 경험을 최대한 반영할 수 있다는 장점이 있다(Shin, 2013). 이러한 방식은 크게 시나리오 기반 제스처 도출 방식과 개념적 기능 도출 방식으로 구분할 수 있다(Jang, 2013). 시나리오 기반 제스처 도출 방식의 경우 기기-기능에 대한 직접적인 사용경험이 아닌 유사 경험을 활용하여 제스처를 도출하는 방식을 의미한다. 도출하고자 하는 제스처의 기능을 의미하는 유사 어휘를 포함하는 시나리오를 사용자에게 제시한 뒤 사용자의 역할극(Role play)를 통해 해당 제스처를 유추, 도출하는 방식을 말한다. 예를 들어 닐슨(Nielsen, 2004)은 제스처 인터페이스를 도출 할 기능들을 선정하고 각 기능을 의미하는 유사 어휘를 생활적 맥락에 적용하여 시나리오를 만들었다. 사용자가 시나리오를 수행할 때 앞서 선정했던 기능을 수행할 때 취하는 제스처를 묶어 분석한 후 제스처 세트를 도출하였다. 예를 들어 프로그램에서 사용하는데 필요한 ‘Select’라는 기능에 대한 제스처를 도출할 경우, 일상생활에서 발생하는 유사한 상황, 즉, 컵을 선택하다(Select)등을 시나리오에 포함하였다. 실험 참여자들은 해당 시나리오 속에서 역할극을 수행하였고 연구자들은 해당 단어에서 도출되는 사용자의 제스처를 관찰하였다(Choi et al, 2012).

개념적 기능 기반 제스처 도출 방식은 사용자에게 대상 기기-기능을 언어로 제시한 후 해당기능과 가장 적합하다고 생각되는 제스처를 표현하게 하여 해당 제스처를 수집하는 방법이다. 이때 제스처 도출시 사용자에게 충분한 시간을 제공하여 사용자가 느끼기에 가장 합리적인 제스처를 도출하도록 한다. 이는 사용자가 기기-기능에 대한 직접적인 설명을 듣고 선정 기능의 제스처를 도출하기 때문에 사용자의 직접적인 사용경험이 충분히 반영될 수 있다는 장점이 있다(Kuhenel, 2011; Neβelrath, 2011; Akers, 2006; Shin, 2012; Stern, 2008).한편 언어로 기능을 설명할 경우 어휘의 맥락적 의미나 어휘가 가질 수 있는 오염변인으로 인한 편향을 막기 위해 해당 기능을 언어로 제시하는 것이 아니라 기능의 활성화 전/후 이미지를 제시하는 연구들이 나오고 있다(Wobbrock et al, 2009; Jang, 2013).

이의 한 예로 장민선(Jang, 2013)은 스마트 TV를 제어하기 위한 제스처 도출 실험에서 스크롤에 해당하는 제스처를 도출하기 위해서 화면이 내려가는 이미지를 순차적으로 제시하고 사용자에게 이를 수행하기 위한 제스처를 취할 것을 요구하여 해당 제스처를 도출하였다.

본 연구에서는 사용자가 Leap motion을 사용하면서 취하는 각 기능에 대한 제스처를 알아보고 사용자 입장에서 이해하는 것을 목적으로 한다.

남 7명 여 13명으로 구성된 총 20명의 실험참여자가 본 제스처 도출에 참여하였으며, 평균 연령은 25.3세였다. 실험참여자들을 20대로 지정하여 수행한 이유는 이들이 IT을 구매하는 주 얼리어답터층이며 현재 가장 빠른 수용층임과 동시에 미래 주 사용층이 될 것이라 예상되기 때문이다(Yeo, 2011). 실험참여자 모두 오른손잡이였으며, kinect이나 닌텐도 Wii 등 3차원 핸드 제스처 인터페이스를 사용한 경험이 없었다. 또한 이들 모두 손가락을 포함 한 손과 팔에 대한 근골격계 질환이 없었다.

실험실 내 제스처 도출 대상 기기-기능과 관련된 사물은 제스처 도출시 영향을 줄 수 있기 때문에 실험 공간에는 도출 대상 기기인 Leap motion과 모니터화면을 제외한 가전제품이나 디지털 기기를 제거하여 실험 참여자가 Leap motion의 기능과 제스처 도출에만 집중할 수 있도록 실험 환경을 조성하였다.

본 연구는 제스처를 도출하기 위하여 실험참여자에게 제스처 도출 대상 기기의 기능에 대한 활성화 전/후 이미지를 제시하였다. 활성화 전/후 이미지의 경우 선정 기능을 가장 잘 표현 할 수 있는 ‘뉴욕 타임즈’ 앱을 선정하였다. ‘뉴욕 타임즈’ 앱은 Air space스토어에서 상위 랭킹에 들어 있다. 기존 뉴욕 타임즈 앱에서 없는 선정 기능의 경우 포토샵을 이용해 해당 기능에 해당하는 이미지를 제작하여 제시 하였다. <표2>는 본 실험에서 진행된 6가지 그룹의 9가지 제스처의 이미지를 정리한 것이다.

조작기능	기능 활성화 전	기능 활성화 후
1. 선택
2. 스크롤
3. 옆으로 넘기기
4. 크기
5. 중립적인 상태
6. 수준에 대한 상태 조정

Leap motion에서 제스처가 유용할 수 있는 기능을 선정하기 위하여 Leap motion의 앱 스토어인 Air space에서 각 분류항목 중 가장 사용 빈도가 높았던 프로그램 7개를 대상으로 공통기능을 도출하였다. Air space의 7가지 분류 항목 중 상위 랭크 되어 있는 free 앱을 기준으로 공통적으로 쓰이는 기능과 비슷한 의미를 가지고 있는 유사 기능을 포함하여 각각의 기능들을 분석 하였다. 제스처 도출 기능 선정을 위해 분석한 앱은 다음과 같다.

각각의 프로그램의 고유한 기능이나 그 프로그램에서만 쓰이는 기능들을 제외하고 핵심 기능 9가지를 분류하였다. 표3은 본 연구의 최종 제스처 도출 대상 기능에 대한 설명이다.

실험절차는 크게 실험 소개, 본 실험, 인지모델 파악을 위한 심층 인터뷰 단계로 구성하였다. 실험 소개 단계에서는 본 실험의 목적과 방법에 대해 실험 참여자에게 설명하였고, 실험 참여자에게는 Leap motion을 1분정도 시연하게 하여 Leap motion에서 어떤 인터랙션이 이루어지는지, 어떤 조작이 가능한 지 설명하였다. 선정 된 기능의 제스처 도출을 위해 각각의 제스처 도출 시작 시 해당 기능의 활성화 전/후 이미지를 보여주었다. 각각의 이미지를 보여 준 뒤 본 실험에 들어갔다. 본 실험은 WOZ기법을 참고하여 진행하였다.

Wizard of Oz Prototyping(WOZ)기법은 아직 완성되지 않은 특정 시스템을 설계하거나 프로그램의 인터페이스를 설계하고자 할 때, 현실적으로 불가능한 기술이나 상황이 발생할 경우, 시스템의 목적과 기능에 대한 Task Scenarios를 준비하고 Prototyping을 적용하여 보다 발전적인 결과를 도출하는 방법이다.

실험참여자의 모니터 뒤에 조작용 노트북을 두고 실험참여자가 제스처를 취하는 것에 맞춰서 노트북을 조작하여 본인의 제스처에 화면이 따라 움직이는 듯이 보이도록 유도하였다. 또한 실험의 순서효과를 최소화하기 위하여 실험 참가자 마다 테스크를 임의로 배열하여 제시하였다.

본 연구에서는 동일한 제스처가 서로 다른 기능에 대해 중복으로 도출될 가능성이 있었다. 실험 참여자가 가장 적합하다가 생각되는 결과를 도출 할 수 있도록 시간에 제약을 두지 않고 실험참여자의 의사에 따라 실험을 진행하였다. 또한 각 기능에 대한 제스처를 도출 한 뒤 도출 된 제스처의 의미와 이를 선택한 이유에 대해 간단히 기입하게 하고 실험이 끝난 뒤 제스처에 관한 심층 인터뷰를 진행하였다.

각 기능 별로 도출된 제스처는 제스처 형태의 유사성, 방향(상, 하, 좌, 우, 대각선, 시계방향, 반시계방향)의 유사성, 인터뷰 결과를 통한 인지모델의 분석(제스처를 취한 이유)등을 고려해 유사한 제스처를 통합하였다. 인지모델 분석을 통해 손가락의 개수나 종류가 아무런 의미를 가지지 않았다면 이 역시 동일한 제스처 그룹으로 통합하였다. 예를 들어 “뒤로가기”에 해당하는 제스처에서 검지 손가락을 반시계방향으로 돌리는 제스처 또는 엄지를 제외한 네 손가락을 반시계 방향으로 돌리는 제스처가 있었다. 해당 제스처를 취한 실험 참여자는 실제로 자신이 “뒤로 가기” 위해 시계를 돌리는 상상하였다고 응답하여 인지모델이 유사하였고, 제스처 방향역시 동일하였다.

또한 <그림 1>에서처럼 ‘슬라이드를 내리다’에 해당하는 제스처 중에는 한 손가락을 포인팅 해 방향을 지시하는 제스처 또는 두 손가락을 포인팅 해 방향을 지시하는 제스처가 있었다. 해당 제스처를 취한 실험 참여자는 실제로 자신이 해당 페이지에서 기준점을 선택해 내린다고 답해 인지 모델이 유사하였고 제스처 방향도 아래쪽을 향하는 것으로 동일하였으며, 제스처 형태 또한 유사하였다.

인터뷰 결과 손가락의 개수는 아무런 의미를 가지지 않았다. 따라서 표현방식(손가락의 개수)이 다르더라 하더라도 두 제스처를 동일한 제스처로 통합 하였다. 이를 통해 참여자들로부터 도출된 제스처를 총 6가지그룹의 9가지 제스처를 도출할 수 있었다.

Figure 1 An example of grouping gesture defined by users

각 기능에 제스처 중 빈도수가 가장 높았던 제스처를 Top 제스처로 분류하여 정리하였다. 각 기능 별 Top 제스처의 빈도율은 평균 68.88%(최소45%,최대85%)이었다. 즉 평균적으로 각 기능에 대하여 실험참여자 20명 중 약 14명 정도가 Top 그룹에 속한 제스처와 유사한 제스처를 도출 하였다. 각 기능 별로 제시된 Top제스처와 각각의 빈도수를 <표4>에 정리 하였다.

	분류		상세 설명	빈도	대표 제스처
1	선택		톡톡찌르듯이 검지손가락으로 선택	16
2	스크롤	올리기	포인팅 후 방향 지시	15
		내리기		15
3	옆으로 넘기기		포인팅 후 방향 지시	9
4	크기	키우기	두 손가락을 이용하여 넓히기	17
		줄이기	두 손가락을 이용하여 좁히기	17
5	중립적인 상태		손가락 포인팅을 없애고 주먹상태	15
6	수준에 대한 상태조정	뒤로 가기	반시계 방향으로 회전	10
		앞으로 가기	시계 방향으로 회전	10

의견 일치도 점수는 실험 참여자로부터 도출된 제스처의 그룹 개수와 그 그룹 내 제스처 개수를 이용하여 실험 참여자들의 의견 일치 정도를 계산 한 것으로 워브룩(Wobbrok et al., 2005) 제안한 <Equation 1>을 사용하였다.

A_i는 i번째 기능의 의견 일치도 값을 의미하며, G_i는 번째 i기능에 포함된 전체 제스처의 개수인 전체 실험참여자 수를 말한다. G_ij는 i번째 기능 중 j번째 제스처를 취한 실험참여자의 수를 의미한다(Choi et al, 2012). 예를 들어 20명의 실험참여자에게서 도출된 ‘크기’ 기능에 해당하는 유사 제스처 그룹이 3그룹이었고, 각 그룹에 해당하는 제스처를 취한 실험 참여자의 수가 17, 1, 2 명이라면 ‘크기’에 대한 실험 참여자들의 의견 일치도 값은 0.735이다.

<크기> = (17/20)²+(1/20)²+(2/20)² = 0.735

의견 일치도는 실험참여자로부터 도출된 제스처의 그룹 개수와 그 그룹 내 제스처 개수를 이용하여 계산되었기 때문에 의견일치도 값의 크기가 클수록 해당 기능에 대해 유사한 제스처가 도출된 것으로 해석할 수 있다. 의견일치도가 가장 높은 기능은 ‘크기’ 제스처로 의견 일치도가 0.735이었으며, 선택이 0.665로 다음으로 높았다. 가장 낮은 의견 일치도는 ‘옆으로 넘기기’ 제스처와 ‘수준에 대한 상태 조정’이 각각 0.315로 의견일치도가 가장 낮았다.

본 실험에서는 각각의 조작 기능 별 제스처를 도출한 직후 해당 제스처를 도출한 이유에 대해 인터뷰를 실시하였다. 인터뷰에서 실험 참여자가 응답한 내용을 제스처 관련 선행연구의 제스처 도출 이유에 대한 분류 기준을 참고하여 아래 표로 정리하였다(Choi et al, 2012). 사용자 인터뷰 결과 제스처 도출 원인은 기능의 개념적 의미에 기반 한 경우(개념적 인지모델)와 기능과 관련된 이미지에 기반 한 경우(이미지 인지모델)의 두 가지로 나타났다.

기기/기능의 개념적 의미에 기반 한 경우는 크게 5가지 원인으로 분류할 수 있다. 첫째, 실험참여자는 기기의 기능과 연관되어 머릿속에 떠오르는 추상적인 이미지를 손으로 묘사하였다. 예를 들어, ‘옆으로 넘기기’ 기능에 대한 제스처로 책의 이미지를 상상하고 자신의 손을 이용해 책장을 넘기는 듯 하는 제스처를 표현하는 것이 이에 해당한다.

둘째, 실험참여자는 기능의 개념적 의미가 상하좌우 등 방향과 연관되어 있을 경우 해당 방향을 손가락으로 묘사하였다. 예를 들어, 스크롤의 경우 ‘올리다’의 의미에 기반하여 손가락 두 개를 사용해 포인팅 후 방향을 지시하는 등의 제스처를 도출한 것이 이에 해당한다. 셋째, 실험 참여자는 머릿속에 떠오르는 양과 관련한 개념을 손가락을 넓히거나, 좁힘으로 묘사하였다. 예를 들어, ‘화면을 확대하는 크게 키우기+’를 묘사하기 위해 두 손가락을 이용해 손가락을 펼치는 제스처를 도출 하는 것이 이에 해당한다. 넷째, 실험 참여자는 기기의 기능과 관련한 자신의 상태를 묘사하였다. 예를 들어, ‘중립적인 상태’ 에서 어떠한 선택도 하지 않는 의미를 전달하기 위해 ‘주먹 쥔 상태’ 의 제스처 도출이 이에 해당한다. 다섯째, 실험참여자는 기능을 실행시키기 위해 기능과 1:1 짝지을 수 있는 일반적으로 많이 쓰이는 관용적 표현을 묘사하였다. 예를 들어, ‘선택하기’를 위해 ‘한 손가락을 마우스를 클릭하듯이 두 번 두드리는 제스처’가 이에 해당한다.

기기와 관련된 이미지에 기반 한 제스처는 크게 3가지로 분류할 수 있다. 첫째, 실험참여자는 기기의 기능을 실제로 사용하는 모습을 묘사하였다. 예를 들어 ‘크기 조정’ 기능을 수행하기 위해 실제 스마트폰 화면을 이용하여 화면을 키우는 모습을 묘사하여 ‘두 손가락으로 크기 키우기’ 제스처가 이에 해당한다. 둘째, 실험참여자는 움직이는 기기의 모양을 그대로 묘사하였다. 예를 들어, ‘스크롤’기능에서 앱 화면 우측에 위치한 스크롤 움직이는 모습을 묘사하여 손가락을 이용하여 스크롤을 내렸다가 올렸다가 하는 제스처가 이에 해당한다. 셋째, 실험참여자는 기기 내에 삽입된 아이콘을 떠올리고 아이콘의 모습을 묘사하였다. 예를 들어, ‘뒤로 가기’ 기능을 수해하기 위해 TV나 Microsoft word 프로그램에 있는 ‘되돌아가기 기호(↶)의 모양을 묘사하여 ‘반 시계방향으로 반원을 그리는 제스처’가 이에 해당한다. 실험참여자는 제스처를 도출하기 위해 머릿속에 떠오른 방향과 관련된 개념을 묘사하였다고 응답한 비율이 35%로 가장 많았다.