Archives of Design Research

우리는 일상에서 매순간 역학적 상호작용을 경험한다. 물체가 힘을 받으면 운동을 시작하고, 다른 물체에 충돌하거나 마찰하면 속도가 떨어지며 에너지가 물체사이에서 전달되는 일련의 물리현상들이 모두 역학적 상호작용이다. 인터랙션 디자인에서 역학적 상호작용에 대한 일반적 정의는 없다. 본 연구에서는 질량을 갖는 물체들이 힘에 의해 운동을 만들어냄으로써 서로 영향을 주고받는 물리현상을 역학적 상호작용이라고 정의한다. 게임에서는 이런 현상을 물리엔진(physics engine)으로 계산하여 화면에 표시해주기 때문에 우리는 놀라운 실재감을 느낄 수 있다. 그런데 컴퓨터 화면 속이 아니라 실제세계에서 역학적 상호작용을 게임의 요소로 활용할 수는 없을까?

이 주제는 컴퓨터로 만든 가상 오브젝트와 실제 오브젝트 간의 공간적 정합(registration)을 기반으로 하는 혼합현실(mixed reality, MR)영역에서 주로 연구되어 왔다. Aoki 등(2005)이 제안한 Kobito라는 프로젝트에서 테이블 위에 찻통을 놓으면 작은 가상 요정들이 나타나 밀고 다닌다 (Figure 1의 좌측). 테이블 위에 놓인 카메라가 찻통의 위치를 파악하고, 가상 요정들의 움직임에 맞추어 테이블 밑에는 XY 이송장치가 자력으로 찻통을 움직인다. 사람들은 테이블 옆에 놓인 디스플레이를 통해서 가상과 실제가 합성된 놀라운 장면을 감상할 수 있다. IncreTable(Leitner et al., 2008)은 보다 다양한 물리적 오브젝트 간의 역학적 상호작용을 포함한다. 사람들은 테이블에 실제 도미노를 세우고 그 끝에 포털을 위치시킬 수 있다. 도미노가 연속적으로 넘어져 포털에 다다르면 포털은 도미노의 넘어짐을 감지하고 포털 반대쪽에 프로젝션되어 있는 가상 도미노를 연속해서 넘어뜨린다. 사용자는 테이블 위 원하는 위치에 실제와 가상 도미노를 위치시키고, 다른 오브젝트들을 올려놓아 지형을 바꾸기도 하며, 골드버그장치와 같은 풍부한 역학적 상호작용을 디자인하고 감상할 수 있다 (Figure 1의 중앙). Room Racers(van Velthoven, 2012)에서는 사람들이 방안에 있는 물건들을 플로어 위에 늘어놓아 자동차가 경주하는 레이싱 서킷을 만든다. 천정에 위치한 카메라가 사물들의 위치를 실시간으로 파악하기 때문에, 자동차가 오브젝트에 출동하면 그 역학적 상호작용을 시뮬레이션하여 프로젝터로 플로어 위에 표시한다 (Figure 1의 우측). 사용자는 리모트 컨트롤로 가상의 차를 운전하여 일상 사물로 만든 모형 레이싱 서킷에서 박진감 있는 게임을 즐길 수 있다.

Figure 1 Kobito(left), IncreTable(middle), and Room Racers (right)

우리는 실제 사물 사이나 가상 오브젝트간의 역학적 상호작용에 대해서 이미 익숙하다. 하지만 가상과 실제 오브젝트 사이의 상호작용을 일상에서 경험하기는 어렵다. 따라서 상기한 3 가지 프로젝트에서 가상과 실제 오브젝트 사이의 역학적 상호작용을 목격했을 때 마술과 같은 신기함을 느끼게 된다. 이런 마술적 경험(magical experience)을 일으키는 상호작용은 게임 콘텐츠 디자인에 잘 활용될 수 있을 것이다. 그런데 문제는 역학적 상호작용을 구현하기 위해 실제 오브젝트를 움직이는 것이 그렇게 간단하지 않다는 것이다.

이런 문제를 해결하기 위해 우리는 형태변형 테이블톱 (shape- changing tabletop)에 주목하게 되었다. 형태변형 테이블톱은 통상 2차원 핀 배열을 갖고 각 핀이 상하로 움직이며 3차원 형태를 표시한다. 컴퓨터 스크린이 광학적 화소로 2차원 이미지를 표시하는데 반해, 형태변형 테이블톱은 물리적 픽셀이 실제 3차원 형상을 나타낸다. 아직 초보적이기는 하지만 Lumen(Poupyrev et al., 2004), Relief(Leithinger & Ishii, 2010), MoleBot(Lee et al., 2011), inFORM(Follmer et al., 2013) 등과 같이 다양한 핀스크린 기반 형태변형 테이블톱이 제안되었다 (Figure 2). 이 중에서 MoleBot과 inFORM은 디스플레이의 해상도가 충분히 높아 테이블 위에 놓여 있는 물리적인 오브젝트와 역학적 상호작용을 기반으로 하는 다양한 응용들을 제안했다 (Figure 2의 아래). 이 두 연구는 상기한 Kobito나 IncreTable에 비해 물리적 오브젝트에 대해 훨씬 풍부한 역학적 상호작용성(kinetic interactivity)을 갖는다. 우리는 MoleBot 테이블을 이용하여 역학적 상호작용이 가능한 새로운 형식의 테이블톱 혼합현실 게임을 개발하여 연구를 수행했다.

Figure 2 Lumen(top left), Relief (top right), MoleBot(bottom left), and inFORM(bottom right)

우리는 MoleBot 테이블에 2인용 대전 경쟁 게임 2종을 개발했다. 한 쪽은 역학적 상호작용이 존재하는 게임이고 다른 하나는 없는 것이다. MoleBot 테이블 위에는 Room Racers와 같이 작은 물건들을 올려 자유롭게 배열할 수 있다. 게임 도중 두더지가 움직이면 물리적인 실제 오브젝트들은 어디로든 이동이 가능하다. 또한 가상 플레이어 캐릭터나 가상 오브젝트는 실제 오브젝트에 부딪치는 등 역학적인 상호작용이 가능하다. 이를 구현하기 위해 우리는 MoleBot 테이블 표면으로부터 약 1.5미터 상단에 마이크로소프트 Kinect와 빔 프로젝터를 설치했다. Kinect는 테이블에 놓인 오브젝트의 위치를 실시간으로 파악하여 가상 플레이어 캐릭터나 가상 오브젝트와의 역학적 상호작용을 모사할 수 있게 하였다. 플레이어들은 조이스틱을 이용해 캐릭터를 움직이며 게임을 할 수 있다.

실험환경은 동적 게임(kinetically dynamic game, KDG)과 정적 게임(kinetically static game, KSG) 두 가지로 구분된다 (Figure 3)

Figure 3 Kinetically static game environment(top) and kinetically dynamic game environment(bottom)

KDG(Figure 3의 a와 Figure 4)는 하나의 물리적인 플레이어 캐릭터(두더지)를 갖는다. 플레이어는 두더지를 움직여 실제 오브젝트를 움직일 수 있기 때문에 역학적으로 동적인 게임 환경을 만든다. 이 환경에서 두더지와 실제 오브젝트들은 가상 캐릭터나 가상 오브젝트들과 풍부한 역학적 상호작용이 가능하다.

KSG(Figure 3의 b)는 두더지가 물리적 플레이어 캐릭터에서 가상 캐릭터로 대체된 것으로 제외하고 KDG와 완전히 동일하다. 공격과 방어를 담당하는 두 가상 캐릭터(경주용 자동차와 두더지)와 가상 오브젝트 그리고 가상 아이템들이 테이블 면에 프로젝터로 투사된다. 가상 캐릭터인 두더지가 실제세계에서 역학적으로 어떠한 움직임도 만들어내지 않는다. 따라서 물리적인 오브젝트들은 전혀 움직이지 않고 장애물 역할만 하기 때문에 Room Racers와 거의 유사한 혼합현실 게임 환경이라고 할 수 있다. 물론 플레이어는 본인의 취향에 맞게 테이블 위에 있는 물리적 오브젝트를 재배치할 수 있다.

Figure 4 Scene from KDG(kinetically dynamic game) condition

실험용 게임 콘텐츠 개발을 위해 우리는 Unity라는 게임엔진을 이용했다. Kinect에서 실시간으로 스캔하는 MoleBot 테이블 위의 3차원 지형정보와 물리 시뮬레이션 알고리즘을 바탕으로 캐릭터와 오브젝트 사이의 역학적 상호작용을 계산하고 시각화하게 했다. 우리는 역학적 상호작용 구현을 위해 실제 캐릭터(두더지/physical player character, PC), 가상 캐릭터(virtual player character, VC), 실제 오브젝트(physical object, PO), 가상 오브젝트(virtual object, VO)간의 유효한 역학적 상호작용을 Table 1과 같이 정의했다. 작용체와 반작용체의 관계로 볼 때 실제 캐릭터와 오브젝트는 가상 캐릭터와 오브젝트에 영향을 미치지만, 역방향은 역학적으로 유효하지 않도록 설계하였다. 즉 가상 캐릭터나 오브젝트는 실제 캐릭터나 오브젝트를 움직일 수는 없고, 다른 가상 캐릭터나 오브젝트에만 경우에 따라 역학적 영향을 줄 수 있게 하였다.

실험용 콘텐츠는 2인용 대전 경쟁 게임으로 개발하였다. KSG의 경우 경주용 자동차와 두더지 두 개의 가상 플레이어 캐릭터가 등장한다. 반면 KDG의 경우 두더지라는 실제 물리적 캐릭터 하나와 경주용 자동차라는 가상 캐릭터 하나가 등장한다. MoleBot 테이블이 동시에 2개의 물리적 플레이어 캐릭터(두더지)를 지원하지 않기 때문에 경주용 자동차와 두더지가 서로 공격과 방어를 하는 비대칭 게임의 형식으로 개발하였다.

KDG에서 두더지가 물리적인 오브젝트를 옮길 수 있다는 것을 제외하고, KSG와 KDG의 게임 룰은 동일하다. 경주용 자동차는 테이블 위에서 장애물(실제 또는 가상 오브젝트)을 피해 움직이며 정해진 시간 내에 주 아이템을 10개를 획득하면 게임에서 승리한다. 두더지를 움직이는 플레이어는 경주용 자동차가 아이템을 얻지 못하도록 가상 오브젝트를 움직여 방어벽을 설치한다. 경주용 자동차는 공격을, 두더지는 방어의 역할을 수행한다. 게임은 플레이어에게 두 종류의 파워업 아이템(power-up item)을 제공한다. 하나는 자동차를 위한 연료보충 아이템이고 다른 하나는 두더지를 위한 얼음 아이템이다. 두더지가 얼음 아이템을 획득하면 일시적으로 자동차의 움직임이 정지하고, 플레이어는 자동차의 움직임을 방해할 수 있는 방어벽을 설치할 여유시간을 제공받는다. 방어를 담당하는 플레이어는 테이블 위에 놓여있는 실제 오브젝트들을 자신이 원하는 대로 배치할 수 있다. 하지만 게임 도중 손으로 오브젝트를 옮기는 것은 금지하였다. 따라서 게임 중에 실제 오브젝트를 옮기는 것은 KDG 조건에서 두더지를 컨트롤하는 플레이어만 가능했다.

역학적 상호작용이 게임경험에 어떤 영향을 미치는지 연구질문에 답하기 위해 KDG와 KSG에서의 게임 경험을 비교하는 방식으로 실험을 디자인했다. 또한 비대칭 게임이기 때문에 조작하는 캐릭터의 역할(공격과 방어)이 게임 경험에 어떠한 영향을 미치는지도 동시에 알아보았다. 즉 게임의 종류 2 종류(KDG와 KSG) 그리고 플레이어 캐릭터의 역할(공격과 방어) 2 종류에 대해 실험자내 완전요인설계(within-subject factorial design)를 실시하여 Table 2와 같이 총 4가지 실험조건을 생성하였다. 실험조건 제시 순서는 무선화하여 순서효과를 없애고자 했다.

우리는 총 20명의 실험참가자(평균연령:27.6세, 남성 9명)를 모집하여 2인 1조로 팀을 구성했다. 각 팀은 무선화된 순서에 의해 4가지 조건의 게임을 모두 플레이하도록 했다. 예를 들어 KDG에서 한 명이 공격 역할을 하면 다른 한 명은 방어 역할을 하고, 그 다음에는 서로 역할을 바꾸어 플레이를 하는 것이다. 게임 종류를 KSG로 전환해서도 서로 역할을 바꾸며 2가지 조건을 경험하게 된다. 2인 1조의 실험참가자 그룹은 우선 게임의 룰과 조작방법에 대한 설명을 듣고 연습 세션을 거치게 했다. 그런 다음 각 조건 당 3번씩 플레이를 하게 했다.

우리는 실험을 수행하며 3 종류의 데이터를 수집했다. 우선 게임경험에 대한 주관평가를 위해 iGEQ(in-game Game Experience Questionnaire/ Ijsselsteijn et al., 2013)를 활용했다. 각 조건 당 3번의 태스크 수행을 마치고, 다음 조건으로 전환하기 전에 팀원 2인에 대해 각각 iGEQ 설문을 실시했다. 다음은 기능적 근적외선분광법(Functional near infrared spectroscopy, FNIRS) 기기인 Spectratech OEG-16로 게임도중 주의집중에 의한 실험참가자의 뇌활성도(브로드만 영역 10번)변화를 측정했다. 아울러 펄스센서 모듈(pulsesensor.com)을 이용해 참가자의 각성상태를 파악하기 위해 심박수도 측정했다. 마지막으로 게임 도중 참가자들의 표정과 행동변화를 기록하기 위해 모든 세션을 비디오로 녹화하였다.

FNIRS와 심박수 데이터 수집은 장비의 수가 제한적이어서 한 팀의 실험 참가자중 한 명만을 무작위로 골라 실시했다. 실험조건을 동일하게 유지하기 위해 피측정자 외 다른 참가자에게는 유사한 무게와 크기의 측정장비 모형을 머리와 손가락에 착용하고 실험에 임하게 했다.

모든 실험을 마친 후 팀별로 종합 인터뷰를 약 20분간 실시하였다. 전통적인 게임과 비교하여 본 연구에서 제안한 새로운 게임의 특징과 장단점에 대해 다양한 의견을 수집하였다.

FNIRS은 적외선을 이용하여 전전두엽의 활성도를 헤모글로빈의 산화정도로 측정하는 방법이다. 주의집중을 담당하는 영역인 브로드만 10번 영역을 측정하는 Spectratech OEG-16의 채널 6번과 9번의 산화도 데이터를 수집했다. 호흡 및 움직임 요소를 배제하기 위해 MATLAB으로 데이터 처리과정을 거친 후 각 조건별 평균값을 도출하여 실험결과로 활용하였다.

실험과정에 대한 비디오 녹화 데이터는 실험참가자인 게임 플레이어의 리액션을 포함하고 있다. 우리는 2명의 연구보조원을 고용해 플레이어의 표정이 변하거나 소리를 내는 등 명확히 흥분하는 리액션이 있는 경우를 찾도록 요청했다. 2명이 독립적으로 리액션을 분석한 결과 96%의 일치도를 보였고, 양자의 응답이 일치한 상황만을 대상으로 흥분 반응에서 게임 요소 간에 어떤 미세 상호작용(micro interaction)이 있었는지 Table 1의 행렬표에 의거하여 분석하였다.

iGEQ 7가지 평가차원에 대한 Friedman 테스트 결과 긍정적 감성(positive affect), 몰입(flow), 흥미(sensory and imaginative immersion)에 대해 게임의 유형과 플레이어의 역할이 유의미한 효과를 미치는 것으로 나타냈다 (χ²(3)=10.075, p=0.018; χ²(3)=9.130, p=0.028; χ²(3)=9.664, p=0.022). 사후검정(Wilcoxon 순위검정) 결과, 긍정적 감성 차원의 경우 KDG/방어와 KSG/방어, KDG/공격과 KSG/방어와 사이에 유의한 차이가 발견되었다 (z=2.762, p=0.006, 양방검정; z=2.635, p=0.008, 양방검정). 흥미 차원의 경우 KDG/방어와 KSG/방어 사이에서도 유의차가 발견되었다 (z=2.676, p=0.007, 양방검정). 전반적으로 역학적 상호작용이 있는 KDG 상황이 플레이어들로부터 긍정적 감성과 흥미를 더 유발했고, 역학적 상호작용이 없는 KSG에서 두더지로 방어의 역할을 할 경우 상기한 3가지 차원에서 저조한 경험을 보였다.

Figure 5 Results of iGEQ evaluation (error bar: standard deviation)

Figure 6 Results of FNIRS test (error bar: standard deviation)

Figure 7 Results of heartbeat rate analysis of participants (error bar: standard deviation)

생리적 반응으로 게임도중 플레이어의 주의집중을 측정한 FNIRS와 각성상태를 알려주는 심박수를 측정하여 분석하였다. FNIRS의 경우 Friedman 테스트 결과 게임 종류와 플레이어 역할이 주의집중 정도에 유의한 영향을 미치고 있음을 알 수 있었다 (χ²(3) = 17.760, p < 0.0005). 사후검정(Wilcoxon 순위검정) 결과, KDG/방어와 KSG/방어, KDG/공격과 KSG/방어 사이에 유의차가 있음을 확인할 수 있었다 (z=2.701, p=0.007, 양방검정; z=2.803, p=0.005, 양방검정). 즉, 역학적 상호작용이 있는 게임 환경(KDG)에서 플레이어들이 더 주의집중을 하였고, KSG에서 가상 두더지로 방어역할을 할 때 덜 집중하는 상태임을 알 수 있었다.

심박수의 경우 Friedman 테스트 결과 실험조건이 유의한 효과를 미치는 것으로 나타났다 (χ²(3) = 12.818, p = 0.005). 사후검정(Wilcoxon 순위검정) 결과, KDG/방어와 KSG/방어 사이에 유의차가 있음을 알 수 있었다 (z=2.666, p=0.008, 양방검정). 두 종류의 생리적 반응에서 공통적으로 발견되는 특징은 두더지로 방어 역할을 하는 플레이어가 역학적 상호작용이 있는 KDG 상황에서 상대적으로 더 주의집중하고 각성한다는 것이다.

Figure 5의 iGEQ 평가결과에서도 알 수 있듯이 난이도(challenge)차원에서 유의차는 없지만, 실제 두더지로 플레이한 KDG/공격 조건에서 상대적으로 높은 점수를 나타냈다. 상기한 실험결과는 이와 같은 iGEQ 설문결과와도 궤를 같이 하는 것으로 보인다.

Figure 8 Frequency of excitement according to the game conditions (error bar: standard deviation)

각 실험참가자 팀의 흥분반응 빈도를 게임 종류(KDG/KSG) 별로 카운트한 결과 그림 8의 결과를 얻었다. 역학적 상호작용이 있는 KDG에서는 평균 39.0회(표준편차: 16.7) 그리고 KSG에서는 18.4회(표준편차: 8.6)를 기록하여 Wilcoxon 순위검정결과 두 조건 간에 유의차가 발견되었다 (z=2.809, p=0.005, 양방검정).

우리는 흥분반응을 게임 요소 간 작용-반작용 행렬표에 의거해 세분한 결과, 표3과 같은 결과를 얻을 수 있었다. KDG의 경우 실제와 가상 캐릭터(PC와 VC)가 만든 액션에 실제와 가상 오브젝트(PO와 VO)들이 리액션하는 경우 또는 실제 캐릭터(PC)가 가상 캐릭터(VC)에 영향을 주는 경우 플레이어의 흥분반응을 관찰할 수 있었다. 특히 PC와 PO 사이(164회/42.1%), PO와 VC사이(115회/29.5%), PC와 VC 사이(63회/16.2%)에서 흥분반응이 많이 나타났다. 방어를 담당하는 PC(두더지)가 직접 VC(자동차)를 가로막거나 또는 PO를 매개로 VC를 방어할 때 뚜렷한 흥분반응을 보였다. 한편 KSG 조건의 경우 VC와 VC 사이(100회/54.3%)와 VC와 VO 사이(61회/33.2%)에서만 흥분반응이 나타나 흥미로운 상황이 한정적임을 알 수 있었다.