틸팅, 점핑 및 가속 마우스 비교: 와이드 디스플레이를 위한 새로운 마우스 인터랙션

1. 연구의 배경 및 목적

최근 TV와 컴퓨터 모니터 등의 주요 디스플레이 크기가 점점 더 커지고 있는 추세이다. 특히, 컴퓨터 모니터의 주요 제조업체에서는 40인치 이상의 대형 모니터를 출시하고 있으며, 대부분의 대형 모니터는 가로로 더 긴 와이드 형태를 띠고 있다. 또한, 로버트슨, 체르윈스키, 보디쉬, 마이어스, 로빈스, 스미스, 그리고 탄(Robertson, Czerwinski, Baudisch, Meyers, Robbins, Smith & Tan, 2005)에 의하면, 모니터를 다중으로 사용하는 멀티 디스플레이 사용 환경도 계속 증가하고 있다. 이는 사용자들이 실질적으로 사용하는 스크린 공간이 과거에 비해 확장되고 있음을 의미한다. 이렇게 확장된 스크린 공간 속에서 사용자들은 주로 여러 창을 띄워놓고 작업하는데, 여러 창을 넘나들며 마우스를 이동하고 클릭할 때 커서의 이동거리가 길어짐에 따라 불편함을 겪을 수 있다. 이는 유, 시, 발락리쉬난, 맹, 수오, 팬, 그리고 진(Yu, Shi, Balakrishnan, Meng, Suo, Fan & Qin, 2010)이 언급한 바와 같이 스크린 공간이 넓어진 만큼 커서가 이동할 수 있는 거리도 증가하고, 그에 비례하여 사용자들에게는 더 긴 거리의 마우스 조작 움직임이 요구되기 때문이다.

기존에도 마우스 조작에 따른 타깃 포인팅(Target pointing) 방식을 개선하고자 하는 많은 노력들이 있었다(Table 1). 주로 기존 연구들은 타깃의 크기가 작을수록, 그리고 타깃까지의 이동거리가 멀수록 이동시간이 길어진다는 피츠의 법칙(Fitt’s Law, 1954)에 기초하여 포인팅 성능을 향상시키고자 하였다. 커바쉬와 벅스턴(Kabbash, Buxton, 1995), 그로스먼과 발락리쉬난(Grossman, Balakrishnan, 2005), 그리고 올리비에, 장바티스트, 에마누엘(Oliver, Jean-Baptiste, Emmanuel, 2009)은 커서 주위의 일정 영역 안에 타깃이 근접하면 타깃이 선택되는 방식의 타깃 포인팅 방식을 제안하였다. 한편, 시게모리, 이리에, 쿠라모토, 시부야, 츠지노(Shigemori, Iri, Kuramoto, Shibuya, Tsujune, 2006), 고바야시와 이가라시(Kobayashi, Igarashi, 2008), 그리고 맥거핀, 발락리쉬난(McGuffin, Balakrishnan, 2002)은 이동 방향으로 가장 가까운 타깃이 선택되거나, 여러 개의 커서가 이동하거나, 커서에 가장 근접한 개체의 크기를 확대하는 등의 새로운 커서 이동을 제안하였다. 이렇게 다양한 커서 이동방식에 관한 연구가 진행되었음에도 최근의 대형 디스플레이 환경에 적합한 커서이동에 관한 연구는 없었다.

Table 1

Various cursor moving methods

한편, 커서의 빠른 이동을 지원하기 위해 별도의 하드웨어를 이용하여 기존의 마우스를 보완하고자 한 연구들도 진행되었다(Table 1). 자이, 모리모토, 그리고 이드(Zhai, Morimoto, Ihde, 1999), 야마토, 몬든, 마쓰모토, 이노우에, 그리고 토리이(Yamato, Monden, Matsumoto, Inoue, Torii, 2001), 그리고 야마나카, 쿠리하라, 미야시타(Yamanaka, Kurihara, Miyashita, 2012)는 시선추적 장치를 이용하여 사용자의 시선을 추적함으로써 기존의 마우스 커서 이동방식을 보완하고자 하였으며, 맥칼럼과 이란(McCallum, Irani, 2009)은 터치패드를 이용하여 패드를 두드리면 화면 속 커서가 대응되는 위치로 이동하는 방식을 제안했다. 하지만 이러한 방식들은 사용자가 별도 장비를 구매해야 한다는 부담과 센서의 정확도가 떨어진다는 한계가 있으며, 이미 마우스라는 사용자들에게 익숙하고 편리한 기존 조작방식을 대체하기에는 부족하였다. 따라서 본 연구에서는 대형 디스플레이에서 최소한의 마우스 조작으로 커서를 빠르게 이동시킬 수 있는 마우스 조작방법과 커서 이동방식을 제안하고, 실험을 통하여 검증하고자 하였다.

2. 와이드 디스플레이에 적합한 마우스 인터랙션 제안

본 연구에서는 틸팅 마우스, 점핑 마우스, 가속 마우스라는 세 가지 마우스 조작방식과 각 조작에 따른 디스플레이상의 커서 이동방식을 제안하였다. 본 연구에서 제안한 세 종류의 마우스 인터랙션은 Table 2에서 보여주고 있다. 짧은 거리의 커서 이동 시에는 사용자가 기존 마우스와 동일하게 조작하면 커서는 기존과 동일하게 연속적으로 이동한다. 하지만 먼 거리의 커서 이동이 필요한 경우, 사용자가 마우스를 기울이거나 (틸팅 마우스), 들어서 옮기거나(점핑 마우스), 또는 빠르게 가속하여 움직이는(가속 마우스) 제스처를 취하면 커서의 이동 방향으로 가장 가까이 있는 창의 중심으로 커서가 점프하는 방식이다. 이는 세밀한 커서 조작에는 기존의 마우스 조작을 그대로 사용하고, 장거리 커서 이동이 필요한 경우에만 새로운 마우스 조작 제스처를 사용하게 하여 새로운 조작방법에 대한 거부감을 최소화시켜준다.

Table 2

New mouse interactions proposed in this study

2. 1. 커서 이동방식

앞서 설명하였듯이 장거리 이동을 위한 새로운 마우스 제스처 조작이 일어날 경우 화면 속 커서는 Figure 1과 같이 이동한다. 여러 창이 띄워져 있을 경우, 현재 커서 위치에서 마우스 조작이 일어난 방향으로 가장 인접한 창의 중심으로 커서가 이동하는 방식이다. 이는 사용자들이 대형 디스플레이와 다중 디스플레이에서 여러 창을 띄워놓고 작업하는 멀티태스킹 환경을 고려한 것이다. 이러한 방식은 창과 창 기준으로 커서가 이동하기 때문에 멀티태스킹 상황에서 사용자들이 원하는 창으로 커서를 빠르게 이동시키고자 할 때 용이할 것이다.

Figure 1

Cursor movement between windows

2. 2. 마우스의 조작방식

2. 2. 1. 틸팅 마우스 (Tilting mouse)

틸팅 마우스는 Figure 2와 같이 사용자가 마우스를 좌측 혹은 우측으로 기울일 때, 마우스의 기울어진 각도 θ가 일정 값 이상이면 마우스를 기울인 방향으로 화면 속 커서를 창간으로 이동시키는 방식이다. 이 때, 두 개의 창을 건너기 위해서는 두 번의 연속된 기울이는 동작이 필요하다.

Figure 2

Manipulation of tilting mouse (θ: 마우스를 기울인 각도)

2. 2. 2. 점핑 마우스 (Jumping mouse)

점핑 마우스는 Figure 3과 같이 사용자가 커서를 이동시키길 원하는 방향으로 마우스를 들어 옮길 때, 높이 h와 이동거리 d가 동시에 일정 값 이상이면 커서를 해당 방향으로 창간 이동시켜주는 방식이다. 이 때, 두 개의 창을 연이어 건너기 위해서는 두 번의 연속된 점핑 동작이 필요하다.

Figure 3

Manipulation of jumping mouse (h: 점프 높이, d: 점프이동거리)

2. 2. 3. 가속 마우스 (Accelerated mouse)

가속 마우스는 Figure 4와 같이 커서의 단위시간 당 이동속도(= 커서이동거리/단위시간)를 측정하여 마우스가 움직이는 가속도 a가 일정 값 이상이면, 마우스가 움직인 방향으로 커서를 창간 이동시켜주는 방식이다. 가속 마우스의 경우에도 두 개의 창을 연속 점프하기 위해서는 두 번의 연속된 가속 동작이 필요하다.

Figure 4

Manipulation of accelerated mouse (a: 가속도)

3. 실험

3. 2. 실험 환경 및 시스템

실험 환경은 극단적인 와이드 디스플레이 환경을 구축하기 위해 Figure 5와 같이 삼성 커브드 49인치 모니터 2개(모델명 CJ49J890; 해상도 3840×1080×2대=7680×1080)를 가로로 이어 붙여 사용하였다.

Figure 5

Experiment environment

실험 시스템은 새로운 조작방법이 가능하도록 센서를 포함한 마우스 하드웨어와 마우스 손조작에 따라 디스플레이상에서 커서를 창과 창 사이로 점프시켜주는 소프트웨어로 구성하였다. 마우스의 기울기(θ), 마우스의 들어진 높이(h)와 이동거리(d) 정보를 얻기 위해 6축 모션센서인 MPU-6050을 아두이노 우노(Arduino-Uno)와 함께 사용하였으며, Figure 6과 같이 로지텍 코리아의 USB 유선 광마우스(B100) 안쪽에 모션센서를 설치하여 하드웨어를 구현하였다. 실험 소프트웨어의 구현에는 Processing 언어를 이용하였다. Table 3은 세 가지 마우스 조작방법 각각의 창간 커서점프를 위한 파라메터(parameter)와 기준 값들을 보여준다. 각 마우스별 파라메터의 최적 기준 값은 다양한 값으로 마우스를 구현한 후 다섯 명의 참여자에게 반복적으로 정성적인 평가를 수행하는 등의 시행착오를 거쳐 결정하였다.

Figure 6

Installation of MPU-6050 sensor

Table 3

Required values and measurement methods for implementing each mouse control

실험 소프트웨어는 Figure 7과 같이 사용자들이 여러 창을 띄워놓고 작업하는 멀티태스킹 상황을 메타포로 하여 디자인하였다. 한 디스플레이를 3개의 균등한 영역으로 나누어 총 6개의 영역으로 구분하였으며, 하나의 영역에는 하나의 창만 나타나도록 하였다. 창의 개수는 1개, 3개, 5개까지 나타나며, 창의 크기는 250×350, 250×150, 300×400 중 하나로 무작위로 나타나도록 하였다. 이러한 창의 크기는 사용자들이 평소에 멀티태스킹 작업 시 사용하는 창 크기의 비율을 고려하여 선정하였다. 이렇게 생성된 창 중 임의의 한 창에만 원 모양의 타깃이 나타난다.

Figure 7

Experiment conditions

Figure 8은 태스크 수행 동안 실험 소프트웨어에 의해 자동으로 기록되는 데이터를 보여주고 있다. 현재 커서의 위치에서 타깃까지의 거리, 타깃이 들어있는 창에 커서가 진입한 시간, 타깃을 클릭할 때까지 걸린 시간, 그리고 타깃이 아닌 곳을 클릭한 오류횟수 등이 자동으로 기록된다. 한편, 타깃까지의 거리를 커서가 창에 진입할 때까지 걸린 시간으로 나누어 이동속도를 계산하였다.

Figure 8

Experiment task and performance measures

4. 실험 결과

4. 1. 태스크 완료시간

실험참여자가 태스크 수행 시 타깃이 들어있는 창에 커서가 진입할 때까지 걸린 시간과 타깃 클릭까지의 태스크 완료 시간이 자동으로 기록되었는데, 두 데이터의 분석결과가 크게 다르지 않았으므로 여기서는 태스크 완료시간만 기술하고자 한다. 태스크 완료시간은 가속, 일반, 점핑, 그리고 틸팅 마우스 순으로 빨랐다(Figure 9, Table 4). 점핑과 틸팅 마우스는 일반 마우스나 가속 마우스와는 달리 커서를 창간으로 이동시키기 위한 동작의 정확성을 필요로 하여 자연스럽지 않았기 때문으로 보인다. 한편, 활성화 된 창의 개수가 많을수록 태스크 완료 시간이 길었으며(창의 개수: 1개 1.297초, 3개 1.569초, 5개 1.723초), 타깃까지의 거리가 멀수록 태스크 완료 시간이 길었다(장거리: 1.914초, 단거리: 1.407초).

Figure 9

Task completion time and moving speed for each mouse manipulation (The use of the same alphabetic characters indicates that there was no significant difference when α=0.05 according to Turkey test)

Table 4

Summarized ANOVA table for task completion time, moving speed, and number of errors

또한, Table 4에서 보여주듯이 마우스와 창의 개수, 마우스와 이동거리 사이에 유의한 교호작용이 존재하였다. 특히, Figure 10을 보면 가속 마우스는 창의 개수에 상관없이 태스크 완료시간이 가장 짧았으며, 점핑이나 틸팅 마우스는 창의 개수가 3 또는 5개 일 때는 일반 마우스보다도 완료시간이 길어졌음을 알 수 있다. 또한, Figure 10의 우측 교호작용도를 보면 장거리 커서이동 시에 가속 마우스의 효과가 다른 마우스에 비해 더 커짐을 알 수 있다. 이는 디스플레이의 크기가 가로로 더 길수록 가속 마우스가 더 유용함을 의미한다.

Figure 10

Interaction effects for task completion time

4. 2. 커서 이동속도

커서의 이동속도는 가속, 일반, 점핑, 그리고 틸팅 마우스의 순으로 빨랐다(Figure 9, Table 4). 커서의 평균 이동속도가 빠를수록 태스크 완료시간이 짧았는데, 가속 마우스만이 일반 마우스보다 이동속도가 빨랐다. 한편, 창이 많을수록 이동속도가 느려졌으며(창의 개수: 1개 1.92pixels/ms, 3개 1.60pixels/ms, 5개 1.45pixels/ms), 이동거리가 멀수록 속도가 빨랐다.(장거리:2.9380pixels/ms, 단거리:1.2512pixels/ms).

Table 4에서 보여주듯이 커서 이동속도에 있어서도 마우스와 창의 개수, 마우스와 이동거리 사이에 유의한 교호작용이 존재하였다. Figure 11을 보면, 창의 개수가 많을수록, 그리고 타깃까지의 이동거리가 멀수록 가속 마우스가 더 효과적임을 알 수 있다. 점핑과 틸팅 마우스의 경우, 창의 개수가 두 개 이상일 때는 커서의 이동속도가 일반 마우스보다 느려졌다. 점핑과 틸팅 마우스는 점핑이나 기울이는 마우스 제스처를 이용해 커서를 창간 점프시키는데 해당 제스처는 두 번 이상 연속적으로 취하는데 어려움이 있기 때문이다.

Figure 11

Interaction effects for cursor moving speed

4. 4. 주관적 만족도

마우스 인터랙션에 대한 주관적 평가는 학습 용이성, 사용 편의성, 유용성, 만족도 4가지 문항으로 진행되었다. 학습 용이성은 가속, 틸팅, 점핑 마우스 순으로 높게 평가되었다(F(2,87)=6.19, p=0.00). 점핑 마우스의 경우, 마우스의 높이와 방향성을 함께 변화시켜야 한다는 점이 실험 참여자들에게 까다롭게 느껴진 것으로 보인다. 사용 편의성과 만족도에서는 틸팅, 가속, 점핑 마우스 순으로 점수가 높았다(F(2,87)=10.52, p=0.00; F(2,87)=3.32, p=0.04). 한편, 유용성 측면에서는 마우스 조작방식에 따른 유의한 차이는 존재하지 않았다(F(2,87)=1.67, p=0.194). 전반적으로 실험 참여자들은 새로운 마우스 인터랙션이 일반 마우스와는 달리 커서가 창간 사이로 점프하기 때문에 이동시간을 줄여준다고 느낀 것으로 보인다. 각 마우스에 대한 주관적 평가결과의 총점을 분석한 결과, Figure 12에서 보여주듯이 틸팅 마우스와 가속도 마우스가 같은 수준으로 높은 점수를 얻었으며, 점핑 마우스가 가장 낮은 점수를 받았다.

Figure 12

Total score of user satisfaction (The use of the same alphabetic characters indicates that there was no significant difference when α=0.05 according to Turkey test)

5. 결론 및 고찰

본 연구는 와이드 디스플레이에서의 보다 효율적인 커서 이동을 위한 새로운 마우스 인터랙션을 제안하였다. 제안한 방식은 마우스를 기울이거나(틸팅 마우스), 빠르게 가속하여 움직이거나(가속 마우스), 또는 마우스를 들어 옮기는(점핑 마우스) 제스처 조작에 따라 디스플레이 속의 창과 창을 기준으로 커서가 빠르게 점프하는 인터랙션이었다. 본 연구에서는 세 가지 유형의 마우스 인터랙션의 프로토타입을 개발하였고, 그 유용성을 검증하기 위하여 일반 마우스와 비교하는 실험을 수행하였다. 실험 결과, 커서 진입시간, 태스크 완료 시간, 그리고 이동속도에서 모두 가속 마우스가 다른 마우스 조작방식보다 월등하게 좋은 결과를 보였다. 실험 후 진행한 주관적 평가에서도 가속 마우스가 가장 좋은 점수를 받았다. 따라서 와이드나 멀티 디스플레이 환경에서는 가속 마우스 유형의 인터랙션이 일반 마우스보다 더 유용함을 알 수 있었다. 이는 가속 마우스가 틸팅이나 점핑 마우스에 비해 커서 점프를 위한 제스처 동작이 더 쉽고 자연스러우며, 일반 커서 이동 동작과의 연결성도 더 부드럽기 때문으로 보인다.

본 연구는 와이드 디스플레이에 적합한 새로운 마우스 인터랙션을 제안하고 검증한 점에서 의의를 가진다. 틸팅 마우스의 경우 정량적인 평가 결과와는 달리 실험참여자들의 주관적인 평가에서는 긍정적이었는데, 하드웨어 구현을 위한 센서 민감도가 보완되고 마우스 디자인이 조작 인터랙션에 적합하게 개선된다면 더 유용할 수도 있을 것으로 기대된다. 즉, 실험에 활용한 마우스의 외형이 일반 마우스 조작에만 적합한 형태였기 때문에 새로운 동작이 필요했던 틸팅이나 점핑 마우스는 일반 마우스에 비해 뚜렷한 효율성을 보이기 어려웠을 수도 있다. 향후 틸팅 마우스와 점핑 마우스는 해당 조작을 자연스럽게 수행할 수 있는 형태로 마우스 디자인을 개선하는 것이 필요하다. 또한, 본 연구에서 수행된 실험은 창 안의 타깃만을 클릭하는 태스크를 수행하였기 때문에 타깃이 창 밖에 위치하는 상황을 고려하지 못한 한계점이 있다. 따라서 추후 개선된 마우스 디자인과 보다 실제적인 윈도우 사용상황을 고려한 추가적인 실험을 수행할 필요가 있다.

Acknowledgments

This work has been conducted with the support of the “Project for Nurturing Advanced Design Professionals” initiated by the Ministry of Trade, Industry and Energy of the Republic of Korea, and was published based on Master’s thesis of first author in Seoultech 2019.

본 논문은 산업통상자원부 R&D사업 ‘창조혁신형 디자인고급인력양성사업’의 지원으로 진행되었으며, 주저자의 2019년 서울과학기술대학교 석사학위논문을 기초로 작성하였음.

References

• Fitts, P. M. (1954). The information capacity of the human motor system in controlling the amplitude of movement. Journal of experimental psychology, 47(6), 381. [https://doi.org/10.1037/h0055392]
• Grossman, T., & Balakrishnan, R. (2005, April). The bubble cursor: enhancing target acquisition by dynamic resizing of the cursor's activation area. In Proceedings of the SIGCHI conference on Human factors in computing systems (pp. 281-290). ACM. [https://doi.org/10.1145/1054972.1055012]
• Kabbash, P., & Buxton, W. A. (1995, May). The "prince" technique: Fitts' law and selection using area cursors. In Proceedings of the SIGCHI conference on Human factors in computing systems (pp. 273-279). ACM Press/Addison-Wesley Publishing Co.. [https://doi.org/10.1145/223904.223939]
• Kobayashi, M., & Igarashi, T. (2008, April). Ninja cursors: using multiple cursors to assist target acquisition on large screens. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 949-958). ACM. [https://doi.org/10.1145/1357054.1357201]
• McCallum, D. C., & Irani, P. (2009, October). ARC-Pad: absolute+ relative cursor positioning for large displays with a mobile touchscreen. In Proceedings of the 22nd annual ACM symposium on User interface software and technology (pp. 153-156). ACM. [https://doi.org/10.1145/1622176.1622205]
• McGuffin, M., & Balakrishnan, R. (2002, April). Acquisition of expanding targets. In Proceedings of the SIGCHI conference on Human factors in computing systems (pp. 57-64). ACM. [https://doi.org/10.1145/503387.503388]
• Chapuis, O., Labrune, J. B., & Pietriga, E. (2009, April). DynaSpot: speed-dependent area cursor. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 1391-1400). ACM. [https://doi.org/10.1145/1518701.1518911]
• Robertson, G., Czerwinski, M., Baudisch, P., Meyers, B., Robbins, D., Smith, G., & Tan, D. (2005). The large-display user experience. IEEE computer graphics and applications, 25(4), 44-51. [https://doi.org/10.1109/MCG.2005.88]
• Yamato M., Monden A., Matsumoto K., Inoue K., & Torii K. (2001). Eye gaze and mouse combined target selection methods for general GUIs. 情報処理学会論文誌, 42(6), pp.1320-1329.
• Yu, C., Shi, Y., Balakrishnan, R., Meng, X., Suo, Y., Fan, M., & Qin, Y. (2010, October). The satellite cursor: achieving MAGIC pointing without gaze tracking using multiple cursors. In Proceedings of the 23nd annual ACM symposium on User interface software and technology (pp. 163-172). ACM. [https://doi.org/10.1145/1866029.1866056]
• Zhai, S., Morimoto, C., & Ihde, S. (1999, May). Manual and gaze input cascaded (MAGIC) pointing. In Proceedings of the SIGCHI conference on Human Factors in Computing Systems (pp. 246-253). ACM. [https://doi.org/10.1145/302979.303053]
• 山中祥太, 栗原一貴, & 宮下芳明. (2012). 注視していないことを利用したマウスカーソル高速化手法. 第 20 回 インタラクティブシステムとソフトウェアに関するワークショップ (WISS2012) 論文集 (pp. 127-132). 日本 ソフトウェア科学会.
• 重森晴樹, 入江健一, 倉本 到, 渋谷 雄, 辻野嘉宏. (2006). バブルカーソルのGUI 環境への適用と拡張. インタラクション2006 論文集，情報処理学会シンポジウムシリーズ, 4, pp.21-22.