Archives of Design Research

성능측정 및 만족도 평가는 2011년 8월 기준 최신 폰이었던 갤럭시S2, 아이폰4GS, 옵티머스2X와 다소 성능이 떨어지는 기준 폰인 모토로이를 대상으로 삼았다. 이들 스마트폰 내의 다양한 탭 조작 및 조작 후 반응들의 성능척도는 Table 3과 같이 도출되었다. 예를 들면, 터치피드백의 성능 측정은 문자메시지 아이콘을 터치하는 순간부터 아이콘의 색상이 변하는 순간(시각피드백이 나타나는 순간)까지의 시간으로 측정하였다. 성능측정은 각 스마트 폰의 터치 조작 장면을 고속카메라(200Hz)로 촬영한 후 동작분석 소프트웨어(Contemplas TEMPLO)를 활용하여 0.02초 단위로 느리게 재생하면서 이루어졌다. 측정오차 및 사람 간 조작패턴의 차이를 고려하여 네 명이 조작한 결과 데이터의 평균치를 최종 성능으로 삼았다.

앞서 성능측정이 수행된 네 종류의 스마트폰(S: 갤럭시S2, I: 아이폰4GS, O: 옵티머스2X, M: 모토로이)에 대한 (응답)속도 만족도 평가에는 최소 6개월 이상 스마트 폰을 사용한 경험이 있는 10-20대 14명(남7, 여7), 40-50대 14명(남7, 여7)으로 총 28명이 참여하였다. 참여자들은 주어진 조작 태스크마다 스마트 폰 4대를 모두 조작한 후, 각각의 속도에 대한 만족도를 Figure 1과 같은 9점 척도 평가시트에 상대적인 위치로 배치하여 평가하였다. 조작에 활용한 앱은 메시지, 사진앨범, 그리고 네트웍을 사용하여 실행되는 티맵, 멜론, 브라우저 등이었다. 각 탭 조작 별로 이들 앱에서의 조작 태스크는 두 개에서 많게는 여덟 개까지 주어졌다. 예를 들면, 원 탭 조작의 경우 메시지, 사진앨범, 티맵 등에서 실행하였고 사진앨범 보기에서 더블 탭으로 사진을 확대/축소하는 등의 태스크를 수행하였다. 태스크 수행과 만족도 평가 후, 어떤 기준으로 속도에 대한 만족도를 평가하였는지 인터뷰를 진행하였다.

스마트 폰의 조작 순서는 실험참여자마다 랜덤하게 배치하였으나 횟수에 제약 없이 여러 번 반복해서 조작해보도록 하였다. 또한, 제조사 브랜드가 만족도 평가에 영향을 미치지 않도록 제조사 로고는 보이지 않도록 가렸으며, 각 스마트폰 내의 데이터 개수(메시지 200개, 사진 500장, 멜론 음악 100곡 등)는 동일하게 유지하였다.

Figure 1 Evaluation sheet used in the experiment

터치피드백의 성능은 손가락으로 화면을 터치한 순간부터 최초로 아이콘이나 화면의 변화가 발생하는 순간까지의 시간으로 측정되었다. 터치피드백의 최초 응답시간은 I가 0.076초로 가장 짧았으며, S가 0.208초로 가장 길었다(Figure 2). I를 제외하고는 모두 기존 문헌상의 터치피드백 응답시간 가이드인 0.1초보다 길었다(Table 2). 만족도 평가 결과, 기기 별로 터치피드백에 대한 속도 만족도에 유의한 차이가 있었다(p=0.003 < 유의수준 0.05). O의 만족도가 가장 높았고(평균 7.64/9점), M의 만족도가 가장 낮았다(6.79점). 하지만 응답시간이 가장 길었던 S의 만족도가 가장 짧은 I의 만족도와 유사했고, 터치피드백 시간과 만족도 간에 상관관계가 없음을 보아(r=-0.08; 상관계수 |r] < 0.6), 참여자들이 시각피드백의 응답시간만으로 속도 만족도를 평가한 것이 아님을 알 수 있다. 인터뷰 결과, 참여자들은 아이콘의 테두리 색이 변하여 터치했다는 것이 확실히 인지되는 피드백을 선호하였으며, 피드백 효과의 색감 등도 속도 만족도에 영향을 미친다고 하였다.

Figure 2 Response time and satisfaction of touch feedback

문자입력 응답시간은 키패드를 누른 순간부터 화면에 문자가 나타나는 순간까지의 시간으로 측정되었다. 그 결과, S, I, O는 약 0.09초, M은 약 0.05초의 응답시간을 보였다. 네 종류의 스마트폰 모두 기존 문헌 상의 텍스트입력 응답시간 가이드(Table 2)인 0.1~0.2초 보다 더 빠른 반응을 보였다. 하지만 M이 가장 빠른 응답시간을 보였음에도 만족도는 가장 낮았다(p=0.000; M 6.3점 vs. S 7.8, I 7.6, O 7.5점). 이는 응답시간은 모두 0.1초 내로 그 차이를 느끼지 못할 정도였으나 인터뷰 결과를 보면 M의 경우 화면과 키패드 크기가 상대적으로 작아서 속도 만족도에 영향을 미친 것으로 나타났다. 또한 10-20대가 40-50대보다 문자입력 응답시간에 대한 만족도를 높게 평가하였다(p=0.049).

본 연구에서는 애니메이션 효과가 속도 만족도에 미치는 영향과 적절한 응답시간을 조사하고자, 메모 앱에서 메모를 삭제하는 경우와 사진앨범에서 사진이 회전되는 경우에 대해 성능을 측정하고 만족도를 평가하였다.

메모 삭제 시, S와 I는 삭제되는 애니메이션 효과가 존재하였으나 O, M은 애니메이션 효과가 없었다. Figure 3의 실험 결과를 보면, 애니메이션이 존재하는 S, I는 O, M에 비해 상대적으로 실행시간이 오래 걸렸지만 실행속도에 대한 사용자만족도는 더 높았다(0.45, 0.85초 vs. 0.35, 0.21초; 만족도 차이 p=0.032). 특히, I는 메모가 삭제되기까지 가장 오래 걸렸으나 메모가 휴지통으로 빨려 들어가는 애니메이션 효과를 제공함으로써 속도 만족도는 가장 높았다. 인터뷰 결과, 참여자들은 O와 M에서는 메모가 삭제되었는지 인지하지 못하는 경우도 많았다.

Figure 3 Response time and satisfaction of deleting a memo

Figure 4 Response time and satisfaction of rotating a picture

화면회전의 성능은 사진보기에서 사진의 회전이 완료되기까지 걸린 회전완료시간과 사진이 회전하기 시작하는 최초각도(세로에서 가로로 회전 시 회전시작 시점의 수직축 대비 기울기)로 측정되었다. 실험 결과, 화면회전에 대한 속도 만족도는 스마트폰 별로 유의한 차이가 존재하였다(p=0.000). Figure 4에서 보여주듯이 회전완료시간은 M이 0.24초로 가장 빨랐으나 만족도는 6.3점으로 가장 낮았다(S 0.42초, I 0.28초, O 0.33초는 만족도 7점 이상). 특히 M은 회전도 느리게 시작되었고 (회전시작각도 M 85° vs. S, I, O: 65°), 회전 시 화면이 한번 깜박인 후 가로로 회전된 사진이 갑자기 나타나는 패턴을 가지고 있었다. 반면 I와 S는 화면이 회전하는 애니메이션을 제공하여 부드럽게 회전되는 느낌을 제공하였다. 즉, 회전이 빠르게 완료되는 것보다 회전되는 움직임 패턴이 더 중요한 것을 알 수 있었다.

앱의 실행 성능은 터치피드백이 나타난 순간부터 앱이 최초 뜰 때까지의 시간(최초실행시간)과 최종 뜰 때까지의 시간(최종실행시간)으로 측정되었다. 스마트폰에서의 앱은 크게 네트웍을 사용하지 않는 오프라인 앱(예. 메시지, 사진앨범)과 네트웍을 사용하는 온라인 앱(예. 티맵, 멜론, 브라우저)으로 나눌 수 있다. 본 연구에서는 앱의 종류에 따라 사용자의 기다리는 것에 대한 참을성(tolerance)이 다를 수 있음을 가정하여 이를 분리하여 평가/분석하였다. 또한, 같은 앱 내에서도 리스트와 콘텐츠(내용보기)의 실행속도에 대한 사용자 기대는 다를 수 있어 이것도 분리하여 실험을 수행하였다.

먼저, 메시지리스트 실행의 속도 만족도는 스마트폰 별로 유의한 차이를 보였다(p=0.023). 대체로 최초실행시간은 0.2초 내외였으며 최종실행시간은 0.6초 내외에서 만족도 7점 이상의 점수를 보였다. Figure 5를 보면, S의 최종실행시간이 가장 짧았고 만족도도 가장 높음을 볼 수 있다. 반면 최초실행시간은 I가 가장 길었지만 만족도는 높은 편이다. 이것으로 보아 최초실행시간 보다는 최종실행시간이 만족도에 더 큰 영향을 미친 것으로 보인다. M의 경우 최초나 최종실행시간이 O와 비슷했음에도 만족도가 많이 떨어졌는데, 인터뷰 결과 이는 애니메이션 시의 패턴에 의한 것임을 알 수 있었다(M은 실행 시 화면이 깜빡이며 앱이 나타났음).

메시지콘텐츠 실행에 대해서도 스마트폰별로 속도 만족도에 유의한 차이가 존재하였다(p=0.000). Figure 6을 보면, 대체로 최초실행시간은 0.3초 내외, 최종실행시간은 0.5초 내외에서 만족도 7점 이상의 점수를 보였다. M이 최초와 최종실행시간이 가장 길었고 그에 따라 만족도가 매우 낮았다. 특히 최종실행시간이 비슷한 S, I, O를 보면, 만족도가 최초실행시간과 반비례하는 관계를 보였다. 즉, 최종실행시간이 비슷하다면 최초 화면변화가 빨리 일어나야 좋은 것으로 보인다.

사진앨범의 리스트/콘텐츠의 경우에도 최초실행시간은 0.2초/0.4초, 최종실행시간은 1.2초/1.2초 내외일 때 만족도가 7점 이상의 점수를 보였다. 메시지에 비해 최종실행시간이 다소 길었음에도 비슷한 수준의 만족도 점수를 보였으며, 만족도가 최초 및 최종실행시간과 반비례하는 관계를 보였다. 특히 S의 경우 사진이 나타날 때 로딩팝업이 잠깐 보였다가 나타나는데 이로 인해 실행 속도가 더 느린 느낌을 받는다는 응답이 많았다.

Figure 5 Response time and satisfaction of executing a message list

Figure 6 Response time and satisfaction of executing a message content

네트웍을 사용하는 티맵의 경우, 최종실행시간이 짧을수록 만족도가 높았다(p=0.013). Figure 7을 보면, O만 유일하게 만족도가 7점 이상이었는데, 최초실행시간은 0.7초, 최종실행시간은 2초 정도였다. 이 외에 멜론은 1초/3초(최초/최종), 브라우저는 0.2초/9초의 성능을 보일 때 만족도가 높았다. 브라우저의 경우, 페이지 로딩에 시간이 오래 걸렸음에도 불구하고 지속적으로 화면이 변화하며 로딩 되었기 때문에 상대적으로 높은 만족도를 보였다.

Figure 7 Response time and satisfaction of executing T-map

위 결과는 기능의 실행속도에 대한 기존 가이드 Table 2와 다소 차이를 보였다. 간단한 기능은 기존 가이드인 2초보다 더 빠른 1.2초 내에 실행되어야 했으며, 복잡한 네트웍 로딩을 수반하는 기능의 경우에도 5초가 아닌 3초 내에 실행되는 것이 좋았다. 이는 사용자들의 성능에 대한 기대치가 과거에 비해 높아졌기 때문일 것이다. 하지만, 브라우저의 경우를 보면 앱 실행 시에 지속적으로 화면이 로딩되는 상황을 보여준다면 시간이 3초보다 더 길어져도 사용자들은 충분히 인내하는 것으로 보인다. 이외에도 나타나는 앱의 화면 속 사용자가 보고자 하는 주요 정보의 위치도 만족도에 영향을 미치는 것으로 생각된다. 예를 들면, Figure 8과 같이 M의 경우 메시지콘텐츠가 화면의 하단에 나타났는데 이 때문에 실행 속도가 느리게 느껴진다는 참여자들이 있었다. 또한, 인터뷰 결과 티맵의 경우 앱 실행 후 나타나는 화면이 메뉴인지 지도인지가 응답속도 만족도에도 영향을 미치는 것으로 나타났다(메뉴 5명, 지도 8명 선호).

Figure 8 Message contents(left) and T-map(right)

더블 탭은 S, I, O의 사진앨범 보기에서 확대/축소로 동작한다. 탭 간 시간간격과 최초확대시간은 0.1초 내외로 스마트폰 간에 큰 차이가 없었으나 모두 7점 이상으로 높은 만족도를 보였다(Figure 9). 속도 만족도 평가 결과도 스마트폰 간에 유의한 차이가 없었으나(p=0.774), 10-20대가 40-50대보다 높은 만족도를 보였다(p=0.018). 하지만 확대완료시간에 있어 가장 느렸던 O가 만족도는 비슷하였다(O: 0.66초/7.6점, I: 0.48초/7.5점, S: 0.29초/7.5점). 화면이 확대되는 패턴을 보면, S는 공격적으로 갑자기 확대되지만 I와 O는 시간은 다소 오래 걸려도 부드럽게 확대되는 패턴을 가지고 있었다. 인터뷰 결과에서도 S는 공격적으로 확대되어 좋지 않다는 응답이 많았다. 따라서 더블 탭의 속도 만족도는 응답시간이 다소 느려도 확대되는 패턴에 의해 더 영향을 받는 것으로 보인다.

Figure 9 Response time and satisfaction of double tap

Figure 10 Response time and satisfaction of long tap

롱탭 인식시간은 손가락이 앱 아이콘을 터치한 순간부터 앱이 실행되는 순간까지의 시간으로 측정하였다. 스마트폰 간의 속도 만족도에 유의한 차이는 없었으나(p=0.126), I가 1.63초로 인식시간이 가장 길었으며, 만족도도 6.9점으로 가장 낮았다(Figure 10). S, O, M의 롱탭 인식시간은 0.7초로 유사하였는데, 롱탭 인식시간이 길수록 만족도는 낮아졌다(r=-0.87). 또한 S와 M은 롱탭 인식 시 진동 피드백이 존재하였는데 이는 만족도에 크게 영향을 미치지는 않았다.