화상미팅 메타버스의 아바타-화상 레이아웃 및 인터랙션 디자인 개선

1. 서론

코로나 팬데믹의 영향으로 비대면 생활이 확산되면서 전시, 콘서트, 강의, 회의 등을 비대면으로 할 수 있는 플랫폼에 대한 필요성이 증가하였다. 국립중앙박물관의 온라인 전시, 포트나이트를 통한 케이팝 아이돌인 BTS의 안무 공개 콘서트, 그리고 투어리스트의 생중계를 통한 온라인 투어 패키지 등을 예로 들 수 있다. 특히 비대면 상황에서의 업무적인 커뮤니케이션을 위한 줌이나 팀즈와 같은 화상회의 서비스의 사용이 크게 증가했다. 하지만 사람들은 이러한 비대면 화상회의에서도 대면 회의보다 더 큰 피로를 느낄 수 있다고 하는데 이를 줌 피로(Zoom Fatigue)라 부른다. 이는 줌(Zoom), 스카이프(Skype), 구글밋(Google Meet)과 같은 화상회의 도구를 정기적으로 직장, 학교 또는 개인적인 용도로 사용하는 사람들에게 나타나는 일반적인 경험이다. 스파타로(Spataro, 2020)는 줌 피로가 화면에 계속 집중해야 하는 필요성, 비언어적 신호의 감소, 좁은 화면 시야로 인해 대화하는 사람들과의 디지털 상호작용에 더 큰 뇌 활동이 필요하기 때문에 야기된다고 하였다. 또한 버티라컨설팅(Virtira Consulting, 2021), 베넷, 캠피온, 킬러 & 키너(Bennett, Campion, Keeler & Keener, 2021)의 연구에 따르면 화상회의를 통해 일하는 사람들의 절반 가까이가 웹캠을 장시간 사용할 때 번아웃을 느낀다고 한다. 베일런슨(Bailenson, 2021), 류, 리, 김, 리, 문, 리 & 박(Liu, Lee, Kim, Lee, Moon, Lee & Park, 2023)은 줌 피로의 원인이 되는 요인들을 조사하고 그 영향을 줄이기 위한 전략들을 제시하였다. 투(Tu, 2022), 스리워라퐁, 파이에, 티라사와즈드 & 키리완(Sriworapong, Pyae, Thirasawasd & Keereewan, 2022)에 따르면, 음성 및 화상과 함께 아바타를 통한 비언어적 대화, 공간 및 사물과의 상호작용이 가능한 게더타운과 같은 메타버스 플랫폼이 줌 피로를 줄여주는 해결책이 될 수 있다고 한다.

스마트, 카시오, 파펜도르프(Smart, Cascio, Paffendorf, 2007)는 Figure 1과 같이 가로축을 외재적 요소와 내재적 요소, 세로축을 증강과 시뮬레이션으로 나누어 메타버스를 증강현실, 가상세계, 라이프로깅, 거울세계로 구분하였다. 첫째, 증강현실(Augmented Reality)은 현실 세계에 아바타나 물체 등이 3D 혹은 2D로 나타나 상호작용하는 환경을 의미한다. 이는 사용자로부터 적은 거부감을 유발하며, 더 높은 몰입감을 유도할 수 있다. 대표적인 예시로 포켓몬 Go 혹은 스노우 AR 필터를 들 수 있다. 둘째, 가상세계(Virtual World)는 현실과 유사하거나 완전히 다른 세계로 구축된 가상의 디지털 환경을 말한다. 가상 세계에서는 다양한 사용자들이 아바타를 통해 활동한다. 마비노기 같은 RPG 게임부터 제페토나 로블록스 같은 메타버스 플랫폼이 이 범주에 해당한다. 셋째, 라이프로깅(Lifelogging)은 일상에서 보고 느낀 정보들을 텍스트, 사진, 영상 등으로 기록하고 다른 사용자들과 공유하는 환경으로 인스타그램이나 페이스북 등의 SNS가 이 유형의 대표격이다. 마지막으로 거울세계(Mirror World)는 현실 세계를 거울처럼 똑같이 가상의 공간에 투영하여 만든 환경을 의미한다. 실존하는 정보를 가상의 공간에 확장해 만든 것으로, 가상의 공간에서 현실을 체험할 수 있다. 구글어스가 대표적이다.

Figure 1

Metaverse platform classification

한편, 사용자들이 회의, 발표, 콘퍼런스 미팅 등을 할 때 사용하는 미팅 플랫폼은 사용자가 자신을 드러내는 방식에 따라 크게 화상형, 아바타형, 그리고 혼합형으로 구분할 수 있다(Figure 2). 화상형 플랫폼으로는 코로나 19 이후 급격하게 사용량이 늘어난 줌(Zoom)과 팀즈(Teams)를 들 수 있다. 앞서도 언급했지만 이들 서비스는 참여자들의 모습을 좁은 화상화면으로만 보여주기 때문에 줌 피로도를 유발하게 된다. 이에 Figure 1의 메타버스 분류 중 가상세계를 화상회의에 접목한 플랫폼들이 주목을 받았다. 호라이즌(Horizon), 버벨라(VirBELA), 제페토(ZEPETO) 등과 같은 아바타형 메타버스 플랫폼은 가상공간 안에 사용자를 대신하는 아바타가 다른 참여자의 아바타와 직접 커뮤니케이션한다. 가지올리, 바시 & 페이브(Gaggioli, Bassi & Fave, 2003)는 아바타를 통해 보디랭귀지나 얼굴 표정과 같은 비언어적인 신호를 전달하는 것은 보다 현실적이고 역동적인 사회적 경험을 만드는 데 도움을 줄 수 있다고 하였다. 또한, 이(Yee, 2006)는 아바타를 자유롭게 꾸밀 수 있도록 하는 것은 사용자들의 만족도와 참여도를 높일 수 있다고 하였다.

Figure 2

Video, avatar, and mixed-type conference platforms

한편, 게더타운(Gather.Town)이나 오비스(oVice)와 같은 혼합형 메타버스 플랫폼은 타인과 커뮤니케이션을 진행할 때 가상공간 안에서 아바타와 함께 참여자 본인의 얼굴이 나타나는 화상화면을 함께 이용한다. 가상공간 속에서 사용자를 대신하는 아바타로만 커뮤니케이션하는 일반적인 메타버스와는 달리 사용자의 화상화면이 나타나기 때문에 이를 화상형 메타버스 플랫폼이라고 부를 수 있다. 팬더, 니콜라스, M. 곤잘레스-프랑코, 잉크펜, 오펙, 커틀러, 힝클리 & 라니어(Panda, Nicholas, M. Gonzalez-Franco, Inkpen, Ofek, Cutler, Hinckley & Lanier, 2022)는 비대면 회의 시 아바타를 함께 사용하는 것이 비디오나 음성만을 이용하는 회의 환경에 비해 사회적 존재감과 참여감을 향상시킬 수 있음을 보였다.

일반적으로 화상화면을 아바타와 함께 보여줘야 하는 혼합형 메타버스에서 참여자들의 화상화면은 아바타의 위치와 무관하게 주로 사용자(Figure 3에서 me)의 대화 영역에 들어온 순서 혹은 가까이 온 순서대로 화면 상단에 표시된다. 또한 아바타들의 위치가 움직여서 달라질 수 있는 것과는 달리 화상의 위치는 상단에 고정된 채 처음 순서를 그대로 유지한다. 온라인 회의의 경우, 주로 한 자리에 위치한 상태로 진행하므로 아바타와 화상 간 매핑의 중요도가 상대적으로 낮을 수 있다. 하지만, 가상공간 내에서 자유롭게 이동하며 테이블이나 콘퍼런스 룸 등 다양한 위치에서 교류가 가능한 메타버스 특성상 아바타와 화상 간 매핑이 어려울 경우 사용자 혼란을 유발할 수 있다. 흔히 이런 유형의 문제를 위킨스, 고든, 리우 & 리(Wickens, Gordon, Liu & Lee, 2004)는 위치양립성(Location compatibility) 문제라고 불렀다. Figure 3과 같이 아바타와 화상화면 간 위치양립성이 맞지 않게 되면 특정 사용자의 아바타와 이에 매핑된 화상화면이 무엇인지 판단하기 어려워 사용성을 떨어트리는 원인이 될 수 있다. 예를 들어, 특정 사용자가 아바타의 움직임이나 이모티콘으로 감정표현을 할 때 어떤 참여자의 표현인지 알기가 어렵고, 실제 참여자의 표정이나 손짓과 함께 종합하여 그 참여자의 감정이나 의도를 판단하는 것도 어려워진다.

Figure 3

Location compatibility problem in Gather.Town

따라서 본 연구에서는 아바타와 화상화면 간 위치양립성 문제를 해결하고 메타버스 속 사용자 경험을 향상시킬 수 있는 최적의 화상화면 배치 및 인터랙션 방안을 수립하고자 세 번의 실험을 수행하였다. 첫째, 실험 I에서는 아바타-화상 간 위치양립성 문제를 해결해주는 다양한 배치안을 제안하였고, 실험을 통해 가장 효과적이면서 아바타-화상 간 매핑이 쉽고 혼잡하지 않은 배치안을 도출하고자 하였다. 둘째, 실험 II에서는 실험 I의 최적 배치안에 더하여 아바타의 움직임 여부에 따라 화상의 위치에 변화를 주는 인터랙션의 효과를 검증하고자 하였다. 셋째, 실험 III에서는 아바타가 움직일 때 화상에 오퍼시티 효과나 크기 변화 등의 효과를 가미할 경우 사용자 경험에 어떤 영향을 미치는지 조사하였다.

2. 실험 I. 아바타와 화상 간 위치양립성 문제 개선

2. 1. 실험 I의 목적

실험 I은 화상형 메타버스에서 아바타에 매칭되는 화상 배치의 위치양립성을 확보하기 위한 가능한 배치안들을 수립하고 어떤 대안이 가장 적절한지를 평가하는 것을 목적으로 하였다. 게더타운과 같은 기존 화상형 메타버스에서는 대부분 Figure 4a와 같이 화상을 화면 상단에 일렬로 배치하고 있다. 하지만 일렬 배치는 위치양립성이 떨어져서 사용자가 아바타와 화상 간에 매칭을 하고자 할 때 어려움을 느끼게 된다. 본 연구에서는 위치양립성 문제를 개선할 수 있는 네 종류의 대안을 제시하였다: 첫째, 화상화면을 상단에 고정하되, 아바타의 위치에 따라 화상의 상하 정렬에 차이를 주는 레이어 배치(Figure 4b); 둘째, 아바타들과 동일한 배치로 대응되게 화상들을 화면 우측에 배치하는 트윈 배치(Figure 4c); 셋째, 아바타가 움직이지 않을 때만 아바타의 머리 윗부분에 화상을 위치시키는 플로팅 배치(Figure 4d); 넷째, 아바타의 위치에 따라 화상을 디스플레이의 상하좌우 네 방향에 양립되게 배치하는 사면 배치(Figure 4e). 본 연구에서는 일렬 배치를 포함한 총 다섯 개의 아바타-화상 배치에 대한 사용자 평가를 수행하였다.

Figure 4

Possible layouts between avatars and their videos in the video-type metavaerses

2. 2. 실험 I의 방법

앞서 설명한 다섯 종류의 아바타-화상 배치의 장단점은 화면의 시각혼잡도, 즉, 아바타의 개수 및 배치 형태에 영향을 받을 수 있다. 따라서, 본 연구에서는 메타버스 속에서 자주 겪을 수 있는 10인과 6인이 테이블 형태로 앉는 상황과 10인이 자유롭게 서 있는 상황을 가정하여 다섯 종류의 배치에 해당하는 디자인 안을 각각 제작하였다. Figure 5, 6, 7은 10인 테이블 상황, 6인 테이블 상황, 그리고 10인 자유 상황 각각에 해당하는 일렬, 레이어, 트윈, 플로팅, 사면 배치안을 모두 보여준다.

Figure 5

10 People sitting around a table

Figure 6

6 People sitting around a table

Figure 7

10 people stand and talk in a free layout

실험에는 20대 남녀 25인(남성 10명, 여성 15명: 평균연령 24.8세)이 참여하였다. 먼저, 참여자는 임의의 순서로 15개의 아바타-화상 배치 디자인을 제시받고, 각 아바타에 대응되는 화상을 펜으로 선을 긋는 매칭 테스트를 진행하였다. 각 디자인안은 Figure 5~7과 같은 컬러 이미지를 A4 사이즈로 출력하여 제시하였다. 실험에는 평균 12분 30초 정도 소요되었다.

참여자가 수행한 매칭 결과는 정답과 비교하여 매칭정답률로 계산하였다. 그 후, 참여자는 각 배치 디자인이 시각적으로 얼마나 혼잡하였는지(시각혼잡도)와 얼마나 만족스러운 배치인지(만족도)를 5점 척도로 평가하였다. 게더타운과 같은 비대면 플랫폼에서의 사용자들은 특정 미션을 수행하는 것이 아니라 주로 다수의 사람들과 회의를 하기 때문에 누가 참여하고 있고 현재 누가 말을 하는지와 같은 언어적 커뮤니케이션과 사람들이 어떤 감정이나 움직임을 보이는지와 같은 비언어적 커뮤니케이션이 중요하다. 따라서 어떤 아바타가 누군지를 에러 없이 얼마나 잘 구별하는지 평가하기 위해 아바타-화상 매칭수월성을 평가하였고, 그에 영향을 미칠 수 있는 시각적인 혼잡도를 평가하였다.

2. 3. 실험 I의 결과

Table 1은 다섯 종류 배치와 세 종류 상황을 인자로 시각혼잡도, 만족도, 매칭정답률에 대해 이원배치 분산분석을 수행한 결과를 보여준다. 시각혼잡도, 만족도, 매칭정답률 모두에 있어 다섯 배치 간에 통계적으로 유의한 차이가 보였으며, 세 상황 간에도 유의한 차이가 존재하였다. 하지만 배치와 상황 사이의 교호작용은 매칭정답률에서만 존재하였다.

Table 1

ANOVA results for visual congestion, subjective satisfaction and correct answer rate

Figure 8은 각 배치와 상황별 시각혼잡도 평가 결과이다. 10인 자유(3.744) 상황이 6인 테이블(3.288), 10인 테이블(3.256) 상황보다 시각적으로 더 혼잡하다는 평가를 받았다. 그리고, 트윈, 레이어, 플로팅, 사면, 일렬 순으로 혼잡하다는 평가를 받았다. 아바타와 평행하게 화상을 우측에 배치하는 트윈 배치가 4.3867로 가장 혼잡했으며, 일렬 배치가 2.333으로 가장 시각혼잡도가 낮은 것으로 평가되었다.

Figure 8

Averages and standard deviations of visual congestion on each layout and situation (The use of the same alphabetic characters indicates that there was no significant difference when α=0.05 according to Tukey test)

Figure 9는 각 배치와 상황별 만족도를 보여준다. 플로팅, 사면, 레이어, 트윈, 일렬 배치 순으로 만족도가 높다는 평가를 받았다. 아바타 머리 위에 화상을 배치시키는 플로팅 배치와 디스플레이의 사면에 화상을 배치하는 사면 배치가 가장 만족도가 높은 것으로 평가받았으며, 일렬 배치가 가장 만족도가 낮았다.

Figure 9

Averages and standard deviations of satisfaction on each layout and situation

Figure 10은 각 배치와 상황별 매칭정답률이다. 매칭정답률의 경우, 위치양립성이 낮은 일렬 배치가 50.31%로 가장 낮은 정답률을 보였으며, 레이어 배치는 98.52%, 그리고 위치양립성이 높은 사면, 트윈, 플로팅 배치는 모두 100%의 정답률을 보였다. 참여자들은 레이어 배치의 경우 아바타와 화상의 매칭에는 큰 문제가 없으나 일렬 배치와 유사하게 화상이 화면 상단에 몰려 있어 매칭 시 다소 착각을 유발한다는 의견을 제시하였다. Figure 11의 교호작용도를 보면, 시각혼잡도와 만족도는 6인, 10인, 10인(자유)로 상황이 복잡해질수록 나빠지지만, 매칭정답률은 일렬 배치의 경우에만 상황의 복잡도에 영향을 받고 나머지 배치들은 정답률이 모든 상황에서 100%에 가까운 것을 알 수 있다.

Figure 10

Averages and standard deviations of correct answer rate on each layout and situation

Figure 11

Interaction effects between layout and situation

Table 2는 실험 I의 결과를 요약한 것이다. 실험 결과, 일렬 배치가 가장 혼잡하지 않다는 평가를 받았으나, 위치양립성이 낮아서 만족도와 매칭정답률은 가장 낮은 것으로 평가받았다. 반면, 플로팅과 사면 배치는 만족도와 매칭정답률 둘 다에 있어 가장 높은 점수를 받았다.

Table 2

Summary of experiment I results (The alphabetic characters indicate the Tukey test result in Figure 8~10)

그러나 실험이 끝난 후 진행된 인터뷰에서 참여자들은 정지된 화면과 움직이는 화면을 보고 평가하는 것에는 차이가 있을 것 같다는 의견을 제시하였다. 즉, 실험 I은 디자인 이미지만을 가지고 평가하였기 때문에 실제 메타버스 환경과 같이 아바타와 화상이 함께 움직이는 환경을 정확하게 반영하지 못했다는 한계점이 있다. 또한, 아바타가 움직이는 상황에서는 사용자와 아바타 간의 조작 인터랙션을 고려한 새로운 배치 디자인도 가능해진다. 이러한 이슈들을 반영하여 실험 II를 설계하였다.

3. 실험 II. 아바타의 움직임 여부에 따른 화상화면 이동 배치의 효과

3. 1. 실험 II 목적

실험 I은 아바타의 머리 위에 화상이 고정된 플로팅 배치가 만족도와 매칭정답률에서 가장 좋음을 보였다. 하지만 플로팅 배치의 경우 여러 아바타가 모여 있을 때는 시각적으로 다소 혼잡해 보이는 문제가 있다(Figure 7 참고). 따라서, 아바타가 움직일 때는 머리 위에 화상이 위치하다가 아바타가 멈추면 실험 I에서 시각혼잡도가 가장 낮았던 일렬 배치나 사면 배치 형태로 화상의 위치를 이동시키는 배치가 더 좋을 수 있다. 즉, 아바타가 움직일 때만 화상을 플로팅 배치하고 멈추면 다른 위치로 이동하는 인터랙션 효과의 유용성을 살펴볼 필요성이 있다. 이를 위해 실험 II에서는 Figure 12와 같은 네 가지 배치안에 대해 그 효과를 비교하였다: 아바타의 머리 위에 아바타가 항상 고정되어 있는 플로팅 고정(12b), 플로팅 고정 배치에 대한 대조군으로 일렬 고정(12a), 아바타가 이동 시에는 화상이 아바타 머리 위에 있다가 아바타가 정지하면 화면 상단으로 화상이 이동 배치되는 플로팅 & 상단이동(12c), 그리고 이동 시에는 아바타의 머리 위에 화상이 있다가 아바타가 멈추면 화상이 사면으로 이동 배치되는 플로팅 & 사면(12d).

Figure 12

Basic serial fixed layout (a), floating fixed layout (b), and two layouts that video is floating only when an avatar is moving (c, d)

3. 2. 실험 II의 방법

실험 I과 달리 실험 II에서의 플로팅 배치는 아바타가 움직이다가 멈추면 화상이 이동해야 한다. 따라서, 서로 다른 배치의 디자인 이미지만으로는 사용자 경험의 차이를 알 수가 없다. 이에 본 연구에서는 총 20개의 아바타가 존재하는 게더타운 맵 속에서 본인의 아바타 진행 방향을 키보드로 조작하면 아바타가 움직이는 프로토타입을 마이크로소프트 프레젠테이션으로 제작하였다(Figure 13). 제작된 프로토타입 영상은 https://cms.seoultech.ac.kr/em/63e35a96772e0에서 확인해볼 수 있다. 이 프로토타입에서 참여자가 자신의 아바타를 키보드로 조작하여 화면 내의 첫 번째 정해진 위치로 이동시킨 후 잠시 기다리면, 19개의 다른 아바타들이 차례로 입장하면서 네 종류의 배치안(일렬 고정, 플로팅 고정, 플로팅 & 상단이동, 플로팅 & 사면이동)대로 움직이면서 미리 정해진 위치로 이동한다. 다시 참여자가 키보드 화살표를 눌러 자신의 아바타를 두 번째, 세 번째 지점으로 이동시키고 마지막 네 번째 지점으로의 이동 조작을 하면 태스크가 완료된다. 이 프로토타입은 실제 메타버스 플랫폼과 같이 자유롭게 조작되는 것은 아님에도 참여자들이 마치 직접 아바타를 조작하면서 인터랙션하는 것과 유사한 체험을 할 수 있게 구성하였다. 우즈, 월터스, 코에이, 다우텐한(Woods, Walters, Koay & Dautenhahn, 2006)의 연구에 따르면, 이러한 유형의 프로토타입은 영상만을 보고 사용자 인터랙션을 평가한 결과가 실제 조작 가능한 프로토타입에 대한 인터랙션 평가 결과와 유사한 선호도와 의견을 보였다는 점에서 의미가 있다.

Figure 13

Serial and three types of floating layouts

실험에는 20대 남녀 25인(남성 12명, 여성 13명; 평균연령 24.0세)이 참여하였다. 참여자들은 15.6인치 화면의 노트북(해상도 1920*1080, 주사율 60Hz)에 보이는 프로토타입을 조작하여 체험하면서 각 배치안에 대한 시각혼잡도, 조작편리성, 매칭수월성, 전반적인 만족도를 5점 척도로 평가하였다. 참여자마다 네 종류의 배치안은 임의의 순서로 할당하였으며, 실험에는 평균 10분 30초 정도 소요되었다.

3. 3. 실험 II의 결과

Table 3은 일원배치 분산분석을 수행한 결과를 보여준다. 시각혼잡도, 매칭수월성, 만족도에 있어서 네 종류의 배치 간에 통계적으로 유의한 차이를 보였다.

Table 3

ANOVA results for visual congestion, ease of matching, ease of manipulation, overall satisfaction

Figure 14는 네 종류의 배치에 대한 시각혼잡도, 매칭수월성, 조작편리성, 만족도 데이터의 평균과 표준편차를 보여준다. 조작편리성 측면에서는 네 종류의 배치 간에 유의한 차이가 없었다(일렬 고정이 3.84점, 플로팅 고정 3.48점, 플로팅 & 상단이동 3.48점, 플로팅 & 사면이동 3.32점). 시각혼잡도에서는 플로팅 & 사면이동이 3.64점으로 가장 혼잡했으며, 플로팅 고정 3.56점, 플로팅 & 상단이동 3.24점, 일렬 고정 1.76점 순으로 혼잡도가 낮았다. 매칭수월성은 플로팅 고정이 5점으로 가장 매칭이 수월하다고 평가되었으며, 플로팅 & 사면이동 4.28점, 플로팅 & 상단이동 3.4점, 일렬 고정 1.92점 순으로 아바타-화상 간 매칭이 수월하다는 평가를 받았다. 마지막으로, 만족도는 플로팅 고정이 3.88점으로 가장 높았으며, 플로팅 & 사면이동 3.36점, 플로팅 & 상단이동 3.2점, 일렬 고정 2.96점 순으로 만족스럽다는 평가를 받았다.

Figure 14

Average and standard deviation of visual congestion, ease of matching, ease of manipulation, overall satisfaction on four types of display layout

실험 결과, 사용자들은 일렬 고정 배치가 가장 시각적으로 혼잡하지 않다고 응답하였다. 하지만 아바타와 화상 간의 매칭 어려움으로 인해 전반적인 만족도는 가장 낮았다. 매칭수월성과 전반적인 만족도를 봤을 때 플로팅 고정 배치가 가장 선호되었지만 시각혼잡도는 다소 높은 것으로 평가되었다. 인터뷰 결과에서도 플로팅 고정 배치는 화상이 다른 사람의 아바타를 가리는 등 시각혼잡도가 높고 조작에도 다소 어려움을 겪었다는 응답을 하였으나, 동시에 아바타와 화상을 매칭하는 데는 가장 효과적이며, 전반적으로 가장 만족스럽다고 참여자들은 답변하였다.

실험 I과 II의 결과를 종합하면, 폴로팅 고정 배치가 매칭수월성과 만족도가 가장 높은 배치로 나타났다. 하지만 시각혼잡도는 일렬 고정 배치에 비해 높다는 문제가 있었다. 이는 주로 아바타 머리 위에 플로팅된 화상이 움직일 때 서로 겹쳐 가려지는 문제 때문인데, 이를 개선하기 위해 실험 III을 추가로 진행하였다.

4. 실험 III. 플로팅 고정 배치의 시각혼잡도 개선

4. 1. 실험 III 목적

실험 II는 플로팅 고정 배치가 아바타-화상 간 매핑이 가장 수월하고, 전반적인 만족도도 가장 높음을 보였다. 하지만 여전히 시각혼잡도가 다소 높았다. 대다수 실험참여자는 플로팅 고정 배치의 혼잡도가 높은 이유로 화상화면이 아바타와 함께 움직이고, 움직이면서 다른 아바타나 화상과 겹쳐지기 때문이라 응답하였다. 그렇다면 Figure 15의 b, c, d와 같이 아바타가 움직일 때는 화상의 크기를 축소하거나 투명도를 높여주면 시각혼잡도를 줄일 수 있을 것이다. 즉, 아바타가 움직일 때만 화상의 오퍼시티와 사이즈를 감소시키는 인터랙션 효과가 시각혼잡도에 어떤 영향을 미치는지를 추가적으로 살펴볼 필요성이 있다.

Figure 15

Four floating layout with unchanged (a), size reduction (b), opacity reduction (c), and size & opacity reduction effects for moving video

4. 2. 실험 III 방법

실험 II와 동일하게 사용자 아바타를 포함한 20인의 아바타가 존재하는 메타버스 화면을 프로토타입으로 제작하였으며, 아바타의 진행 방향을 조작할 수 있는 프로토타입을 마이크로소프트 프레젠테이션으로 제작하였다. 프로토타입은 Figure 16과 같이 아바타가 움직일 경우에만 화상화면 변화 없음(무효과), 화상화면 사이즈 50% 축소(사이즈), 화상화면 오퍼시티 50% 감소(오퍼시티), 그리고 화상화면의 사이즈와 오퍼시티 둘 다 50% 감소(사이즈&오퍼시티)하는 네 종류의 인터랙션 효과로 구분하여 제작하였다. 인터랙션 효과가 있는 경우에도 아바타가 이동을 멈출 경우에는 사이즈와 오퍼시티 둘 다 원래 크기인 100%로 돌아오기 때문에 아바타에 움직임이 없을 경우에는 네 종류의 인터랙션 효과 간에 시각적인 차이는 없었다. 제작된 프로토타입 영상은 https://cms.seoultech.ac.kr/em/63eb303d11510에서 확인해볼 수 있다. 프로토타입과의 인터랙션 방식은 실험 II와 동일하였으며, 이를 통해 실험참여자들은 직접 아바타를 조작하는 것과 유사한 경험을 해볼 수 있게 하였다.

Figure 16

Example of a video based on the movement of user avatar

실험 III에는 실험 II에 참여했던 20~30대 남녀 25인이 동일하게 참여하였다. 실험 II와 동일한 실험 환경에서 실험참여자가 아바타를 조작하여 화면 내의 특정 위치로 자신의 아바타를 이동시키면 나머지 19인의 아바타가 차례로 입장하며, 그 뒤 다시 아바타를 조작하여 화면 내의 사물이나 다른 아바타들과 인터랙션한 뒤 퇴장하는 시나리오를 수행하였다. 참여자들은 임의의 순서로 네 종류의 프로토타입(무변화, 사이즈, 오퍼시티, 사이즈 & 오퍼시티)을 체험하면서 각 인터랙션 효과의 시각혼잡도, 조작편리성, 매칭수월성, 전반적인 만족도를 5점 척도로 평가하였다.

4. 3. 실험 III 결과

Table 4는 일원배치 분산분석을 수행한 결과이다. 시각혼잡도, 매칭수월성, 조작편리성, 만족도 모두에 있어서 네 종류의 인터랙션 효과 간에 통계적으로 유의한 차이를 보였다.

Table 4

ANOVA results for congestion, ease of matching, ease of using, overall satisfaction

Figure 17은 네 종류의 애니메이션 효과에 대한 시각혼잡도, 매칭수월성, 조작편리성, 만족도 데이터의 평균과 표준편차를 보여준다. 시각혼잡도는 오퍼시티와 사이즈가 모두 50% 감소하는 효과가 3.84점으로 가장 높았으며, 사이즈 3.16점, 오퍼시티 2.6점, 무효과 2점으로 평가되었다. 매칭수월성에 있어서는 무효과인 경우가 4.68점으로 나머지 인터랙션 효과보다 매칭이 더 쉽다고 평가되었다 (오퍼시티 3.88점, 사이즈 3.6점, 사이즈 & 오퍼시티 3.52점). 조작편리성은 오퍼시티 & 사이즈가 4.44점으로 가장 조작이 용이하다 평가되었으며, 사이즈 4.12점, 오퍼시티 3.56점, 무효과 2.56점으로 평가되었다. 마지막으로 만족도는 사이즈 & 오퍼시티가 4.24점으로 가장 높았으며, 사이즈 3.68점, 오퍼시티 3.44점, 무효과 2.84점 순으로 만족도가 높았다.

Figure 17

Evaluation and standard deviation of congestion according to video movement

실험 결과를 요약하면, 매칭수월성을 제외한 시각혼잡도, 조작편리성, 만족도 모두에 있어 플로팅 고정 방식에 오퍼시티와 투명도 50% 감소 효과가 적용된 사이즈 & 오퍼시티가 가장 좋은 것으로 평가되었다.

실험이 끝난 후 인터뷰를 진행한 결과, 사용자들은 화상의 사이즈와 오퍼시티 변화에 다소 혼잡함을 느낀다고 대답하였으나 그 정도가 크지는 않다고 응답하였다. 또한 아바타가 움직이다가 멈출 때 화상에 변화가 생기는 것이 사용자가 대화 준비가 된 상태임을 의미하는 것처럼 느껴진다고도 하였다. 또한, 일부 참여자들은 사이즈 & 오퍼시티 인터랙션 효과가 가상공간을 구성하는 다른 시각요소들의 가림을 최소화할 수 있어 메타버스 내의 공간을 충분히 즐길 수 있어서 가장 선호된다고 응답하였다.

5. 결론 및 고찰

게더타운이나 오비스 같은 화상미팅 메타버스 플랫폼은 일반적으로 사무실이나 콘퍼런스 룸과 같은 가상공간, 사용자가 조종 가능한 아바타, 그리고 아바타에 대응되는 사용자 화상화면으로 구성된다. 하지만 기존의 화상형 메타버스 플랫폼에는 아바타와 그에 대응되는 화상화면을 서로 매칭하기 어려운 위치양립성 문제가 존재한다. 이는 자유롭게 움직이는 아바타와 달리 그에 대응되는 화상은 화면 상단에 고정되어 있기 때문에 발생한다. 아바타-화상 위치양립성 문제는 아바타에 대응되는 화상을 찾기가 어렵기 때문에 아바타의 표정 혹은 제스처나 움직임을 활용한 사용자 간 감정소통이나 인터랙션을 어렵게 만드는 요소이다.

본 연구는 화상형 메타버스를 사용할 때 여러 아바타들과 그에 대응되는 화상화면들을 매핑하는 사용자 경험을 개선하는 것을 목표로 하였다. 이를 위해 대표적인 플랫폼인 게더타운에서의 다양한 아바타-화상화면 배치의 효과(실험 I), 아바타의 움직임 여부에 따른 화상 위치 이동의 효과(실험 II), 그리고 아바타 움직임에 따른 화상의 오퍼시티와 사이즈 조절의 효과(실험 III)에 대한 세 번의 실험을 수행하였다.

첫째, 실험 I에서는 기존 화상형 메타버스가 주로 채택하고 있는 일렬 배치의 위치양립성 문제에 대한 디자인 개선안으로 레이어 배치, 사면 배치, 트윈 배치, 플로팅 배치를 고안하고 각 배치에 대한 디자인 이미지를 제작하였다. 실험참여자는 각 배치 디자인을 보고 아바타-화상 매칭 테스트를 수행하였고, 각 안에 대한 시각혼잡도와 만족도를 주관적으로 평가하였다. 실험 결과, 일렬 배치가 가장 낮은 시각혼잡도를 보였으나 매칭정답률은 50%에 불과했다. 반면, 사면, 플로팅, 트윈 배치는 100%의 매칭정답률을 보였으며, 그중 플로팅과 사면 배치가 가장 높은 만족도를 보였다. 하지만 이 배치안들은 일렬 배치에 비해 시각혼잡도가 높아지는 문제점이 있었다.

둘째, 실험 II는 실험 I에서 높은 만족도를 보인 플로팅 및 사면 배치의 시각혼잡도를 낮출 수 있는 두 가지 아이디어의 유용성을 평가하였다: 아바타가 이동 시에는 화상이 아바타 머리 위에 있다가 아바타가 정지하면 (1) 화면 상단으로 화상이 이동하는 플로팅 & 상단이동 배치, (2) 화상이 사면으로 이동 배치되는 플로팅 & 사면이동 배치. 디자인 이미지 기반으로 진행한 실험 I의 한계점을 보완하기 위해 디자인 프로토타입은 PC 환경에서 실험참여자가 직접 아바타의 움직임을 조작하는 것과 유사한 체험을 가능하게 파워포인트를 이용하여 제작하였다. 실험 결과, 아바타의 이동 여부와 무관하게 화상이 항상 아바타 머리 위에 고정되어 있는 플로팅 고정 배치가 매칭수월성과 만족도 측면에서 가장 우수한 결과를 보였다. 하지만 시각혼잡도 측면에서는 여전히 일렬 배치에 비해 좋지 못했다.

셋째, 실험 III은 실험 II에서 가장 좋은 결과를 보인 플로팅 고정 배치의 화상 겹침 문제와 시각혼잡도를 줄이기 위해 아바타가 움직일 때만 화상의 사이즈를 축소하거나 오퍼시티를 줄여주는 인터랙션 효과의 유용성을 평가하였다. 실험 환경과 방법은 실험 II와 동일하였다. 시각혼잡도와 매칭수월성 측면에서는 사이즈나 오퍼시티 인터랙션 효과가 없는 것이 오히려 가장 우수한 결과를 나타냈으나, 조작편리성과 전반적인 만족도는 사이즈와 오퍼시티 효과가 둘 다 적용된 안이 가장 좋았다. 예상과는 달리 움직이는 화상에 사이즈와 오피시티 효과를 적용하는 것이 시각혼잡도를 오히려 높이는 부작용도 다소 있었으나 만족도는 가장 높았다.

본 연구에서 수행한 세 번의 실험은 2D 이미지 기반의 화상형 메타버스인 게더타운과 유사한 프로토타입을 만들어 진행되었다. 실험참여자들은 실험 III의 사이즈와 오퍼시티 효과가 적용된 플로팅 고정 배치에 대해 기존 배치보다 사용이 편하다, 메타버스 환경을 더 잘 즐길 수 있을 것 같다, 다른 사용자와 대화할 때 좀 더 집중하기 편리할 것 같다 등의 긍정적인 반응을 보였다. 세 번의 실험이 모두 게더타운과 동일한 디자인 기반으로 진행되었으나 배경 이미지나 아바타의 모양이 다를 뿐 아바타-화상 간의 매핑 문제는 다른 플랫폼에서도 동일하게 존재하므로 이러한 연구 결과가 다른 플랫폼에도 유용하게 적용될 수 있을 것이다. 하지만 본 연구의 실험에 사용된 프로토타입은 실제 메타버스처럼 사용자가 자유롭게 아바타를 조작할 수 없었고, 제한된 조작 범위 내에서만 이동 조작을 수행한 후 정해진 시나리오대로 움직이는 아바타들의 움직임을 동영상처럼 수동적으로 본 후에 평가를 수행했다는 한계가 있다. 추후 실제 메타버스처럼 자유롭게 아바타를 조작할 수 있는 소프트웨어 프로토타입을 구축하여 제안된 디자인 배치안들의 효과를 추가로 검증할 필요성이 있다.

아래 사항들에 대해서도 추가적인 연구가 필요하다. 실험 II에서 아바타가 멈췄을 때 이동하는 화상화면의 이동 속도나 실험 II에서 오퍼시티와 사이즈의 변화 속도 등을 다양하게 여러 단계로 세분화하여 그 효과를 살펴볼 필요성도 있다. 이외에도 발화하는 사람의 화상화면만 오퍼시트나 사이즈에 변화를 주는 등의 방법으로 시각복잡도를 줄이는 디자인 안에 대해서도 추가적인 연구가 필요하다. 또한 화상의 사이즈나 오퍼시티가 아바타의 움직임에 따라 변화하는 것은 많은 사용자가 동시접속한 경우 데이터 트래픽을 증가시켜 네트워크 환경에 따라서는 아바타의 움직임 등에 딜레이가 생기는 문제를 유발할 가능성도 있다. 이에 대해서는 보편적인 네트워크 환경에서 그런 문제가 없는지 충분한 검증 후에 적용할 필요가 있다.

Acknowledgments

This work was supported by the Research Program funded by Seoul National University of Science and Technology and published based on Master’s thesis of the first author in Seoultech 2023.

References

• Bailenson, J. N. (2021). Nonverbal overload: A theoretical argument for the causes of Zoom fatigue. Theory, Mind, and Behavior, 1-6. [https://doi.org/10.1037/tmb0000030]
• Bennett, A. A., Campion, E. D., Keeler, K. R., & Keener, S. K. (2021). Videoconference fatigue? Exploring changes in fatigue after videoconference meetings during COVID-19. Journal of Applied Psychology, 106(3), 330. [https://doi.org/10.1037/apl0000906]
• Gaggioli, A., Bassi, M., & Fave, A. D. (2003). Quality of experience in virtual environments. Emerging Communication, 5, 121-136.
• Liu, H. S., Lee, C., Kim, K., Lee, J., Moon, A., Lee, D., & Park, M. (2023). An Analysis of Factors Influencing the Intention to Use "Untact" Services by Service Type. Sustainability, 15(4), 2870. [https://doi.org/10.3390/su15042870]
• Panda, P., Nicholas, M. J., Gonzalez-Franco, M., Inkpen, K., Ofek, E., Cutler, R., Hinckley, K., & Lanier, J. (2022). AllTogether: Effect of Avatars in Mixed-Modality Conferencing Environments. In 2022 Symposium on Human-Computer Interaction for Work (pp. 1-10). [https://doi.org/10.1145/3533406.3539658]
• Smart, J., Cascio, J., & Paffendorf, J. (2007). Metaverse roadmap overview. Retrieved November, 2020, from https://www.metaverseroadmap.org/overview/.
• Spataro, J. (2020). The future of work?the good, the challenging & the unknown. Retrieved November, 2022, from https://www.microsoft.com.
• Sriworapong, S., Pyae, A., Thirasawasd, A., & Keereewan, W. (2022). Investigating students' engagement, enjoyment, and sociability in virtual reality-based systems: A comparative usability study of spatial. io, Gather. town, and Zoom. In Well-Being in the Information Society: When the Mind Breaks: 9th International Conference (pp. 140-157). [https://doi.org/10.1007/978-3-031-14832-3_10]
• Tu, J. (2022). Meetings in the Metaverse: Exploring Online Meeting Spaces through Meaningful Interactions in Gather. Town. Master's thesis, University of Waterloo.
• Virtira Consulting. (2021). The webcam survey exhausted or engaged? Meeting on camera during the Pandemic. 1-15.
• Wickens, C. D., Gordon, S. E., Liu, Y., & Lee, J. (2004). An introduction to human factors engineering (2nd Edition). Prentice Hall, Inc.
• Woods, S., Walters, M., Koay, K. L., & Dautenhahn, K. (2006). Comparing human robot interaction scenarios using live and video based methods: towards a novel methodological approach. In 9th IEEE International Workshop on Advanced Motion Control (pp. 750-755). IEEE. [https://doi.org/10.1109/AMC.2006.1631754]
• Yee, N. (2006). The psychology of massively multi-user online role-playing games: Motivations, emotional investment, relationships and problematic usage. Avatars at work and play: Collaboration and interaction in shared virtual environments, 187-207. [https://doi.org/10.1007/1-4020-3898-4_9]