Towards designing more intuitive touchless operations based on hand gestures

1. 연구 배경 및 목적

최근에 스마트폰을 중심으로 기기 조작을 위한 터치스크린 인터페이스 기술은 많은 발전을 이루어 왔으며, 그 외의 혁신적인 인터페이스 개발들도 많이 시도되고 있다. 인터페이스 개발에 있어서 사용자가 직관적으로 이해하여 많은 학습 없이 사용할 수 있도록 하는 것은 매우 중요하다(Hyun suk, K., etal., 2007). 이러한 직관적인 인터페이스(Intuitive Interface)에 대한 필요성과 관심은 보다 자연스러운 인터페이스(Natural Interface)의 개발로도 이어지고 있다(Hummels, C., Stapers, P.J., 1998).

최근 동작인식을 기반으로 한 비접촉(non-touch) 제스처 인터페이스가 보다 직관적이고 자연스러운 인터액션을 위한 하나의 대안으로 부각되고 있다. 제스처는 인간이 일상 대화에 활용하는 중요한 비언어적 요소의 하나이므로 비접촉 제스처(이하. 제스처)를 인터페이스에 적절히 활용한다면 사용자의 심성모형(Mental Model)과 일치하는 직관적인 인터페이스의 개발이 가능할 것으로 기대할 수 있다(McNeill, D., 1992). 그러나 제스처를 사용하여 조작하는 것이 항상 편하고 쉽지만은 않으며, 심지어 사용자에게 육체적인 피로를 주는 경우도 있다(Nielsen, J., 1993). 또한 모든 제스처 형태가 직관적으로 조작하는데 도움을 주는 것은 아니다. 따라서 제스처 인터페이스 설계시, 제스처 형태가 기능과 얼마나 연관성이 있는지 고려해야 한다. 또한 제스처가 얼마나 생각하기 쉬운지, 학습하기 쉬운지, 그리고 제스처를 취하는데 동작이 얼마나 편리한지에 대한 고려도 필요하다. 그러나 제스처에 관련된 기존 연구들은 주로 기술적인 측면에 초점을 맞춰 동작인식 기기의 프로토타입을 개발하는 연구에 집중되고 있는 것이 현실이다(Daehwan, K., Daijin, K., 2006; Bhuiyan, M., Picking, R., 2011).

따라서 본 연구에서는 기술적인 상황과 제한은 고려하지 않고, 제스처를 이용하여 기기를 조작할 때 사용자에게 보다 직관적인 제스처 유형이 무엇인지에 대한 실험을 수행하였다. 흔히 새로운 인터페이스와 인터페이스 기술에 대한 입증을 할 때, 자주 사용되고 있는 Music Player의 필수적인 기능들 (Henze, N., Boll, S., 2010; Masui, T., etal., 2006)을 위주로 제스처를 네 가지 유형으로 디자인하였으며, 사용자들에게 더 직관적이며 유용한 제스처 유형이 무엇인지를 검증하였다. 본 연구에서는 이러한 실험을 통해 비접촉 제스처 조작에 대한 디자인 방향성을 제시하였고, 이는 향후 비접촉 제스처 기반의 인터페이스 설계를 위한 기초 자료로 활용될 수 있을 것으로 기대된다.

2. Music Player 기능 조작에 적합한 제스처 세트 디자인

본 연구에서는 제스처를 디자인하기 위해 먼저 [표 1]과 같이 Music Player에서 가장 기본적이면서 필수적인 기능들을 선정하였다. 재생, 정지, 이전 곡, 다음 곡 등의 기본 기능에 추가로 몇 가지 기능들을 더하여 총 9개의 기능을 단위조작 태스크로 선정하였다. 선정한 9개 기능은 인간의 작업기억(working memory)용량인 7±2범주이므로 사용자들의 인지적 부하에도 크게 무리 없는 수준이다(Wickens., etal., 2004). 위와 같이 기능을 선정한 후 사람들의 제스처에 대한 스테레오타입(S), 아이콘의 모양(I), 물리적 움직임의 방향성(D), 그리고 문자의 형태(C)에 각각 기반하여 네 가지의 제스처 세트를 디자인하였다.

[표 1]은 각 기능조작에 대한 네 가지 유형의 제스처 세트를 보여준다. 제스처 S(Stereotype)는 본 연구 이전에 수행한 제스처에 대한 스테레오타입 조사연구(Huhn, K., etal., 2011)에 기반하여 디자인하였다. 스테레오타입 조사는 100명을 대상으로 노트북 화면을 보여 주면서 기능을 실행시키기 위하여 연상되는 제스처를 취해보라고 요구하는 것이었다. 조사 결과, 평소 화면을 터치하여 조작하는 습관으로 인하여 많은 사람들이 검지 손가락을 사용하여 화면을 터치하려는 제스처를 취했다. 이는 일반적인 기기의 조작을 위한 비접촉 제스처로는 적합하지 않다고 판단하여 화면을 터치하려는 제스처를 제외한 나머지 제스처 중 많이 나오거나 기능에 어울리는 적합한 제스처 위주로 선정하였다. 또한 수화관련 서적을 참고해봤을 때, 선정한 제스처는 수화동작과도 비슷한 형태임을 알 수 있었다(이준우 2001; 모상근, 김선정, 2009; 한국표준수화규범제정 추진위원회 2009).

[표 1]

디자인된 네 가지 비접촉 제스처 세트 유형

제스처 I(Icon)는 디스플레이 속에 나오는 아이콘의 모양을 기반으로 디자인하였다. Music Player의 아이콘 모양을 보면서 사용자가 직관적으로 제스처를 취할 수 있도록 디자인한 형태이다.

제스처 D(Direction)는 Pihonen et al.(2002)의 연구를 참고하여 해당 기능 조작 시의 일반적인 물리적 움직임의 방향성을 기반으로 디자인 하였다. 전원을 길게 몇 초 동안 누르고 있으면 기기의 전원이 켜지는 것에 기인하였으며, 재생과 정지는 버튼을 한번 누르면 재생, 다시 한 번 또 누르면 정지가 되는 것을 기반으로 하였다. 이전/다음 곡은 좌우로 이동, 볼륨 업/다운은 수직 상하이동으로 조작하도록 디자인 하였다. 또한 되감기/빨리감기는 반시계 방향과 시계방향 회전으로 디자인 하였다.

제스처 C(Character)는 Jong Yong et al.(2008)의 연구를 참고하여 기능의 의미를 나타내는 문자(영문 이니셜)의 형상을 본떠 디자인하였다. 서로 다른 기능에 대해 동일한 문자가 존재하였기 때문에 기능에 따라 문자의 형상이 겹치지 않도록 조절할 필요가 있었다. 전원의 Power, 재생의 Play, 이전 Previous가 그것이다. 따라서 전원은 Open의 “O”, 이전 곡은 Back의 “B”를 본떠 문자의 형상이 겹치지 않도록 디자인하였다.

본 연구에서는 이와 같이 디자인된 각 제스처 세트의 유용성을 검증하기 위한 실험을 수행하였다.

3. 제스처 세트 유용성 검증 실험

3.1. 실험계획

앞에서 디자인한 네 가지 제스처 세트를 기반으로 직관적인 제스처 유형이 무엇인지 알아보기 위한 실험을 수행하였다. 제스처 유형에 따라 네 그룹으로 나누었으며, 각 그룹 당 8명씩의 피실험자를 할당하여 총 32명의 피실험자를 대상으로 Between-subjects esign으로 실험을 수행하였다. 피실험자는 서울과학기술대학교 대학생 20-30대 남/여(남16, 여16)가 참여하였다. 태스크에 따른 순서효과를 최소화하기 위해 태스크 순서를 피실험자마다 랜덤(random)하게 제시하였으며, 피실험자는 알송의 Music Player화면 [그림 1]을 보고 제스처를 취하는 태스크를 수행하였다.

[그림 1]

Music Player화면

3.2. 실험절차 및 방법

실험절차는 아래 [그림 2]에서 보는 바와 같다. 먼저, 피실험자들은 사전 설문지 작성 후 주어진 기능과 제스처간의 매핑(mapping)을 수행 하였다. 즉, 피실험자에게 자신이 속해있는 그룹에 해당하는 제스처 형태[표 1]를 보여주면서 Music Player의 기능과 그에 적합한 제스처를 매핑시켜 보게 하였다. 제스처를 기능에 얼마나 적합하게 매핑시키는지를 의미하는 매핑 정답률(%)은 어떤 제스처 타입이 직관적인지를 알려준다.

매핑 후, 각 피실험자는 5분 동안 제스처를 학습한 후 주 태스크를 수행하였다. 주 태스크는 학습한 제스처를 이용하여 진행자1의 지시에 따라 Music Player를 조작하는 것이었다. 진행자1은 피실험자에게 “음악을 재생시켜주세요 ”, “현재 음악을 앞으로 빨리 감기 해 주세요 ”, “음악의 볼륨을 높여주세요” 등의 태스크를 수행하게 하였다. 태스크는 총 9개로 이루어져 있었으며, 실험 중 피실험자에게 제스처 조작에 대한 피드백을 제공하기 위해 Wizard of OZ 기법을 사용하였다[그림 3]. 이는 피실험자가 제스처를 취하면 마법사 역할의 진행자2가 해당 조작을 컴퓨터에 대신 수행하여 주는 것으로서 피실험자가 적합한 제스처를 취했는지에 대한 피드백이면서 동시에 다음 태스크로의 진행을 알려주기 위함이다. 만약 피실험자가 틀린 제스처를 취했다면 마법사 역할의 진행자는 컴퓨터를 조작하지 않았다.

[그림 2]

실험 절차

[그림 3]

태스크 수행 (Wizard of OZ)

모든 태스크를 완료한 후에는 태스크 사후평가를 7점 척도(매우 어려움 1점 ~ 매우 쉬움 7점)로 실시하였다. 평가항목은 학습용이성(제스처를 학습하는데 얼마나 쉬웠는지), 기억용이성(얼마나 제스처를 잘 기억할 수 있었는지), 동작편의성(제스처를 취하는데 얼마나 동작하기 편했는지), 그리고 제스처 만족도(제스처에 대한 전반적인 만족도)로 구성되어 있다.

4. 실험 결과

4.2. 태스크 완료시간

태스크 완료시간은 제스처를 기억해내는 시간인 생각하는 시간과 오류시간(제스처가 틀려서 다시 제스처를 취하는 시간, 오류횟수 포함), 순수 제스처 시간(올바른 제스처를 취하는 시간)으로 나뉜다[그림 4]. 이는 하나의 태스크(ex.전원, 재생, 정지 등)를 수행하는데 걸린 시간의 합을 뜻하며, 총 9개 태스크의 평균값을 나타낸다.

태스크 완료 시간 데이터에 대한 정규성 검증결과, 정규분포를 따르지 않아 ANOVA 분산분석을 사용하지 않고 Kruskal-wallis (k개 집단 간의 평균차이)와 Mann-Whiteny U (2개 집단 간의 평균차이) 비모수 검증을 실시하였다.

[그림 4]

태스크 완료시간

4.2.1. 그룹별 태스크 완료 시간

비모수 검증 결과, 그룹 별 생각하는 시간(p=0.000), 오류시간(p=0.005), 순수 제스처 시간(p=0.000), 그리고 태스크 완료시간(p=0.000)에 있어 모두 유의한 차이가 존재하였다.

[그림 5]는 제스처 그룹별 태스크 완료 시간의 그래프를 나타낸 것이다. 그림에서 볼 수 있듯이 전체적으로 그룹 S와 D의 제스처 시간이 짧았으며, 그룹 I와 C의 제스처 시간이 긴 것을 알 수 있었다.

[그림 5]를 보면 생각하는 시간은 그룹 D(평균 0.49s)와 그룹 S(평균 0.74s)가 짧았으며, 그룹 C(평균 1.67s)가 가장 길었다. 물리적인 방향성을 나타내는 제스처인 그룹 D가 생각시간이 짧은 이유는 일상생활에서 멀티미디어 기기를 조작할 때, 컨트롤의 방향성(ex. 볼륨up/down은 위/아래, 이전/다음은 왼쪽/오른쪽)과 일치하였기 때문으로 보인다. 또한 그룹 S도 비교적 어렵지 않은 동작으로 이루어져 피실험자들이 제스처를 생각해내는데 그리 오랜 시간이 걸리지 않은 것으로 보인다. 그에 반해, 기능의 의미를 나타내는 문자에 기반 한 그룹 C는 하나의 기능에 대하여 여러 영어단어가 떠오를 수 있기 때문에 피실험자가 정확한 단어를 결정하는데 오랜 시간이 걸렸던 것으로 보인다. 예를 들어 정지라는 뜻의 영어단어로는 Stop, Pause, Halt등의 단어가 있다. 실제 태스크 수행 시, 피실험자들은 5분 동안 제스처를 외우긴 하였지만, Music Player를 정지하기 위해서 P의 제스처를 취하는 모습도 관찰할 수 있었다(2/8명).

[그림 5]

그룹 별 태스크 완료시간

오류시간은 피실험자가 제스처를 잘못 취해 다시 제스처를 시도하는 시간을 나타낸 것이다. 오류시간은 그룹 D(평균 0.49s)와 그룹 S(평균 0.51s)가 짧은 편이었으며, 그룹 C가 가장 길었다(평균2.92s). 그룹 C는 한글이 아닌 영어 이니셜을 기반으로 디자인되었기 때문에 생각하는 시간과 같은 이유로 하나의 기능에 대해 여러 영어이니셜이 연상될 수 있어 오류횟수와 함께 오류시간도 증가한 것으로 판단된다.

순수 제스처 시간은 올바른 제스처를 취하는데 걸린 시간을 의미하며, 그룹 S(평균 0.83s)가 가장 짧고, 그룹 I가 가장 길었다(평균 1.97s). 그룹 S는 한 번의 짧은 동작들로 이루어져 있지만, 그룹 I는 비교적 손가락 이동이 긴 동작들로 이루어진 결과로 판단된다.

4.2.2. 태스크별 태스크 완료시간

비모수 검증 결과, 태스크 간에 생각하는 시간(p=0.049), 순수 제스처 시간(p=0.001), 태스크 완료시간(p=0.009)에 유의한 차이가 존재하였으나, 오류시간에는 유의한 차이가 존재 하지 않았다(p=0.389).

[그림 6]을 보면 특정 태스크(재생, 이전 곡, 빨리 감기, 볼륨다운)에서 특정 그룹이 오래 걸렸음을 알 수 있다. ‘재생’, ‘이전 곡’, ‘빨리 감기’태스크 수행 시 그룹 C가 가장 오래 걸렸으며(각각 평균 7.783s, 15.406, 9.963s), “볼륨다운”태스크 에서는 그룹 I가 가장 오래 걸렸다(평균 11.769s).

[그림 6]

태스크에 따른 태스크 완료시간

4.2.3. 성별 태스크 완료시간

비모수 검증 결과, 성별에 따라 생각하는 시간(p=0.003), 순수 제스처 시간(p=0.003), 태스크 완료시간(p=0.031)에 유의한 차이가 존재하였으나, 오류시간(p=0.563)에는 유의한 차이가 존재하지 않았다.

생각하는 시간은 그룹에 관계없이 남녀가 비슷한 시간이 걸렸지만 그룹 C에서 남자가 여자보다 더 오랜 시간이 걸린 것을 확인 할 수 있었다.

순수 제스처 조작시간은 그룹 I를 제외하고는 전체적으로 여자보다 남자가 더 오랜 시간이 걸렸다.

4.5. 태스크 사후 평가

태스크 사후평가에 대해서도 정규성을 따르지 않아 비모수 검증을 실시하였다. 비모수 검증 결과, 기억용이성(p=0.09)을 제외한 학습용이성(p=0.04), 동작 편의성(p=0.019), 제스처 만족도(p=0.013)에 그룹 간 유의한 차이가 있었다. 학습용이성(평균 5.88)과 기억용이성(평균 5.63)은 그룹 D의 만족도가 높았으며[그림 8], 동작편의성(평균 6.0)과 제스처 만족도(평균 5.75)는 그룹 S가 높았다[그림 7]. 그룹 I[그림 9]의 경우 아이콘의 모양과 이동 방향을 함께 익혀야 한다는 점에서 학습용이성이 낮은 것으로 판단된다(평균 3.17). 또한 익숙하지 않은 형상으로 피실험자들이 학습하는데 어려움을 느꼈다는 것을 알 수 있다. 그룹 C[그림 10]는 제스처동작이 손가락을 이용해 단순히 직선으로 이동하거나, 동그라미를 그리는 등의 단순한 형태의 동작으로 이루어진 다른 그룹에 비해 비교적 정확한 영문 이니셜의 모양을 표현해야 하기 때문에 동작편의성(평균 3.38)과 제스처에 대한 만족도(평균 3.38)가 낮은 것을 알 수 있다.

태스크 사후 평가 결과, 전체적으로 그룹 S와 그룹 D의 만족도가 높게 나왔다. 이를 제스처 조작 시간과 비교해 봤을 때, 조작하는데 걸린 시간이 짧은 그룹이 제스처 만족도도 높은 것을 알 수 있다(그룹 S와 D vs. 그룹 I와 C).

[그림 7]

그룹 S(Stereo type)만족도

[그림 8]

그룹 D(Direction)만족도

[그림 9]

그룹 I(Icon)의 만족도

[그림 10]

그룹 C(character)의 만족도

5. 결론 및 고찰

본 연구에서는 서로 다른 기준에 따라 디자인된 네 가지 타입의 비접촉 제스처에 대해 유용성을 검증하는 실험을 수행하였다. 실험 결과, 스테레오 타입에 따른 제스처와 물리적 방향성에 따른 제스처가 Music Player기능을 조작하는데 가장 좋은 결과를 보여주었다. 제스처 조작에 걸리는 총 시간이 짧았으며, 만족도 측면에서도 높은 점수가 나왔다. 기존 연구에서(Hyun Suk, K., et al., 2007)도 마우스나, 키보드, 리모트 컨트롤 등을 통한 입력방식의 인터페이스와는 달리 사용자들이 동작 기반의 인터페이스를 사용할 때는 상징적(자의적으로 만들어진), 지표적(‘상/하/좌/우’의 방향성을 따라 동작)특성이 강하게 나타난다는 연구 결과가 있다. 이러한 기존 연구와 본 연구 결과에 따라, 비접촉 제스처 인터페이스를 디자인하기 위해서는 일반적으로 많은 사람들에 의해 연상되는 스테레오타입이나 물리적인 방향성에 따라 간단하게 조작 가능한 제스처 타입을 사용하는 것이 적절할 것이며, 이러한 동작기호를 사용하는 것이 기능을 조작하는데 직관적이고 효율적일 것이다.

그에 반해 아이콘 형상에 따른 제스처와 영문 이니셜에 따른 제스처 타입은 좋지 않은 결과를 보였다. 아이콘 형상에 따른 제스처 타입은 쉽지 않은 형상으로 이루어져 피실험자들이 연상하기 쉽지 않았다. Music Player화면에 아이콘 모양이 나타나 있음에도 불구하고 제스처를 쉽게 인지하지 못해 어려움을 느낀 것으로 보인다. 또한 영문 이니셜에 따른 제스처 타입은 하나의 기능에 대해서 여러 개의 영어단어가 연상될 수 있어 부정적인 영향을 미친 것으로 보인다. 예를 들어, 정지라는 단어가 stop, pause등 여러 영어 이니셜을 사용할 수 있기 때문에 피실험자들마다 기능에 대해 해당 단어를 떠올리는데 시간이 오래 걸렸다. 또한 이런 인지적 부하에 의해 오류횟수와 오류시간도 증가하였다. 따라서 아이콘 형상에 따른 제스처 타입이나 문자 형상에 따른 제스처 타입은 비 접촉 제스처 인터페이스를 디자인하기 위한 유형으로는 적절하지 않은 것을 알 수 있다.

본 연구에서는 기기의 조작에 적합한 비접촉 제스처 유형을 실험을 통해 알아보았다. 그리하여 보다 직관적인 비접촉 제스처에 대한 디자인 방향성을 제시했다는데 의의가 있다. 이는 비접촉 제스처 인터페이스를 이용한 기기를 디자인할 때 기초적인 자료로 활용 가능할 것이다. 그러나 본 연구는 Music Player기능에 대하여 한정되어 수행되었기 때문에 다른 기기에도 포괄적으로 적용 가능한지와 기기에 따른 차이에 대한 연구가 필요할 것이다. 또한 직관적인 제스처를 디자인 할 때, 제스처 유형외의 다른 상황과 조건(예, 화면상의 제스처 단서 등)에 대해서도 향후 추가적인 연구가 필요할 것으로 보인다.

끝으로, 본 연구에서 제안한 형태의 제스처 타입 조작을 실제 제품 혹은 시스템에 적용하기 위해서는 음성인식과 마찬가지로 인식모드의 시작과 끝에 대한 신호를 사용자가 입력하는 것이 필요하다. 그렇게 하지 않으면 조작을 위한 제스처가 아닌데도 조작으로 인식하는 오동작이 빈번하게 발생할 수 있기 때문이다. 인식모드로의 진입방법은 특정 제스처로 할 수도 있고 아니면 특정버튼 혹은 터치를 통해 할 수 있는데 이는 개발대상인 제품/시스템의 종류에 따라 달라질 것이다. 예로, 히타치에서 개발한 제스처 조작 TV의 경우 손 혹은 손가락을 TV 쪽으로 누르는 동작으로 모드전환을 하고 있다. 이는 본 연구의 사전조사 격으로 진행된 스테레오타입 조사에서 많은 사람들이 화면을 터치하는 조작을 많이 취한 것과도 일맥상통한다. '모드 끝'신호는 별도의 사용자 액션에 의하기 보다는 일정시간이 지나면 그 모드를 자동으로 벗어나는 것이 가장 자연스러울 것으로 보인다. 이와 같은 제스처 인식모드로의 진입과 종료의 가장 자연스러운 인터랙션 방법에 대해서도 향후 추가적인 연구가 필요할 것이다.

References

• Bhuiyan, M., Picking, R. (2011). A gesture controlled user interface for inclusive design and evaluative study of its usability. Journal of software engineering and applications, 513-521.
• Daehwan, K., Daijin, K. (2006). Anintelligent smart home control using body gestures. In proceedings of International conference on hybrid information technology (ICHIT’06), IEEE.
• Henze, N., Boll, S. (2010). Designing a CD augumentaion for mobile phones. In Ext. Abstracts CHI. [https://doi.org/10.1145/1753846.1754089]
• Huhn, K., Seoungkye, K., Minsik, E., Dajung, J and Kyungjae, C. (2011). What are korean stereotypes on non-touch operation gestures?. International Conference on Advanced 3M, Seoul technopark, seoul, korea.
• Hummels, C., Stapers, P. J. (1998). Meaningful Gestures for Human Computer Interaction: Beyond Hand Postures. Proceeding of the 3rdInternationalConferenceonAutomaticFace&GestureRecognition(FG’98), Nara, Japan, April 14-16. IEEE Computer Society Press, Los Alamitos, CA. 591-596. [https://doi.org/10.1109/AFGR.1998.671012]
• Hyun Suk, K., Sung Won, H., Hyun Jung, M. (2007). A study on vision based gesture recognition interface design for digital TV. Jounal of korean society of design science, vol.20, No.3, 257-268.
• Jong Yong, N., Jeaho, C., EuiSeoung, J. (2008). Development of Finger Gestures for Touchscreen. based Web Browser Operation. Journal of the ergonomics society of korea, Vol.27, No.4, 109-117.
• Masui, T., Tsukada, K. and Siio, I. (2006). MouseField: A Simple and Versatile Input Device for Ubiquitous Computing. Proc. Ubicomp. [https://doi.org/10.1007/978-3-540-30119-6_19]
• McNeill, D. (1992). Hand and Mind: What Gestures Reveal about Thought. New ed Edition, University of Chicago Press.
• Nielsen, J. (1993). Usability Engineering, Morgan Kauffmann. Sand Diego, California.
• Pirhonen, A., Brewster, S. and Holguin, C. (2002). Gestural and audio metaphors as a means of control for mobile devices. CHI 2002, Volume No.4, 291-298. [https://doi.org/10.1145/503425.503428]
• Wickens, C. D., YiliLiu, J. D. L. and Gordon Becker, S. E. (2004), An Introduction to Human Factors Engineering, 2nd Edition, Prentice Hall Inc.
• 모상근, 김선정. (2009). 수화 아카데미(기초편). 서울: 예영커뮤니케이션.
• 이준우. (2001). 수화의 이해와 실재.파주:나남출판.
• 한국표준수화규범제정 추진위원회. (2009). 한국농아인협회.