Archives of Design Research

공간에서의 상호작용이란 일종의 커뮤니케이션으로 대화적 프로세스를 가지고 있다. 이것은 발신자와 수신자 모두의 정보가 대화를 통해 변형되는 프로세스를 가지게 되며, 이런 프로세스의 반복으로 상호작용이 진행된다. 정보의 변형 없이 그저 전달에만 그친다면 그것은 상호작용이기 보다는 단순한 반응이다. 고로 대화적 커뮤니케이션이라는 것은 상호작용성을 띠고 있고, “공간에서의 상호작용을 하는 과정에는 정보를 전달하는 특별한 문법 즉, 모달리티(modality)가 존재한다.”¹⁾는 것이 연구의 중심 내용이고 상호작용 커뮤니케이션 과정에서의 모달리티에 대한 내용이 밝히고자 하는 핵심이다. 본 연구는 상호작용이 커뮤니케이션의 형식인 발신자와 수신자 간의 기호 전달 체계로 이루어져 있지만, 그것이 단순한 기표와 기의, 통합체와 계열체로 나뉘는 소쉬르적인 이분법적인 해석에 그치는 것이 아니라, 퍼스(Peirce) 기호학의 핵심 개념인 세미오시스(semiosis) 즉, 기호 전달과 해석의 끊임없는 순환 과정의 입장으로 해석한다. 그것을 순환적 상호작용 행태 프로세스와 매칭하고 서로의 상관관계를 규명하여 상호작용 커뮤니케이션 모델을 추출하였다. 이것은 커뮤니케이션이 성립하기 위한 형식적 조건으로서, 이 추출된 모델을 바탕으로 모달리티의 존재와 역할을 관련 사례 분석을 통해 증명하고자 한다.

첫째, 상호작용 행태 프로세스와 퍼스 커뮤니케이션 모형과의 매칭을 전제한다. 상호작용 행태 프로세스²⁾는‘접속-몰입’의 선행적 프로세스를 거쳐‘심성모형 형성과 상호작용 행위’라는 실행적 프로세스를, 그리고‘변형과 경험적 발생'이라는 귀환적 프로세스를 가지며 이는 다시 접속의 과정으로 연결되어 상호작용이 멈출 때까지 계속해서 변화를 가지는 순환을 갖게 된다. 이는 상호작용성을 띠는 대화적 커뮤니케이션의 프로세스가 세미오시스적 커뮤니케이션 모형과 프로세스 상으로 일치하며, 행태 프로세스라고는 하나 수신자와 발신자 간의 대화적 과정을 가지는 세미오시스의 순환적 프로세스를 가진다고 볼 수 있다.

둘째, 공간에서 대화적 상호작용이라는 전제로 서사적 커뮤니케이션에서의 모달리티라는 보다 특수한 속성을 가진 모델을 제시한다. 모델에서 특별히 서사적 속성으로 한정하려는 것은 세미오시스가 발화자와 해석자 사이의 대화라는 속성에서 독자와 저자가 각각 서사 텍스트로 중재되며 이는 현실의 경험 세계를 구성하는 재현된 텍스트로서의 서사가 인지적 조건에서의 시공간성 구조를 가지고 있기 때문이다.³⁾ 이는 공간에서의 상호작용 과정, 특히 모달리티라는 상호작용 문법을 규명하는 데 있어 시공간성 구조라는 서사가 가지고 있는 인지적 조건과 대화적 세미오시스라는 속성이 적합하다고 판단했기 때문이다.

셋째, 상호작용 공간의 사례들 가운데 서사적 상호작용의 사례를 별도로 선별하여 분석하였다. 서사적 상호작용 공간에서의 모달리티에 대한 모형을 제시하고 분석의 틀로 삼았다. 모달리티의 모형은 서사 커뮤니케이션의 형식적 조건에 따라, 서사 층위적 해석을 통한 해석 영역의 매트릭스와 범주 층위적 해석을 통한 도상성으로서 의미영역과 지표성으로서 통사·구문 영역 그리고 상징성으로서의 상징 영역 등의 매트릭스로 구성되며 이를 통해 모달리티의 존재와 역할을 관련 사례를 통해 증명하고자 한다.

이정민은 “인터랙션은 상호작용성의 실제적 수행과정으로 이의 세부 유형은 상호작용 행태 프로세스 측면에서 분석하였다”⁴⁾고 전제하면서, 그의 연구에서 제시하고 있는 상호작용 행태 프로세스가 노먼(D.A.Norman)과 하트슨(H. Rex Hartson)의 상호작용 행위의 구조에 대한 이론의 고찰 결과물이라고 밝히고 있다. 이는 깁슨(J.J. Gibson)의 지각심리학적 개념을 기초로 한 것으로 행태지원성(affordance) 개념을 디자인에 적용한 모델로서 노먼은 인지 심리적 단계를, 하트슨은 노먼의 행위 구조를 기반으로 한 인터랙션 사이클 모델을 제시하였다. 이를 선행적 프로세스, 실행적 프로세스, 귀환적 프로세스의 3단계로 나누고 각각 두 단계의 프로세스를 가지는 행태 프로세스로 재정리하였다.⁵⁾

첫째, 선행적 프로세스로서 디자인 시스템 관련 프로세스로는 사용자의 주의를 끌어 사용자에게 디자인과 상호작용이 가능하다는 암시를 주는 단계인 접속에 이어 사용자가 적극적인 집중과 몰입을 하게 되는 몰입단계로 구성된다. 두 번째 단계인 사용자 행태 프로세스에서는 사용자가 경험한 지각 내용을 조직화하여 상호작용성에 대한 심성 모형을 형성하는 단계와 이것을 기반으로 구체적인 행위를 결정하고 이를 실행하게 되는 상호작용 행위 단계로 구성된다. 이 두 번째 단계에서 상호작용의 구체적인 행위가 일어나게 되며 사용자가 부정의 피드백을 받는 경우 심성 모형을 수정하는 전 단계로 돌아가 새로운 행위를 실행하게 된다. 이런 피드백의 경우까지를 고려하여 모달리티가 디자인되어야하며 그렇지 못한 경우 상호작용의 사이클이 완료되지 못한 채 사용자가 흥미를 잃어 행위가 중단된다. 세 번째 단계로서 관계적 커뮤니케이션 관련 프로세스로서의 피드백인데, 이는 사후적 조절 기능이다. 변형의 단계에서는 실행된 사용자의 참여행태가 공간에 변화를 가져오게 되며 이렇게 일어난 변화가 피드백으로 작용하게 된다. 이를 통해 사용자가 새로운 경험과 인지의 변화가 일어나게 되면 경험적 발생의 단계에 접어들어 스토리텔링의 성향을 나타나게 된다.

[그림 1] 상호작용 행태 프로세스

퍼스의 세미오시스는 데리다를 빌어 말하자면 의미의 차연을 발생시켜 진실의 본질에 다가가는 논리학의 순환 과정이라고 할 수 있다. 그 차연은 주체에 의해 발생한 해석이 새로운 재현으로 변형되고 다시 그 재현에 대한 해석으로 변화하는 끝없는 순환 고리를 통해 발생한다. 이러한 순환적 프로세스는 일반적으로 퍼스의 기호삼각형의 순환으로 표현되고 있으나 본 연구에서는 원형 소용돌이 운동으로 재구성하였다. 이를 통해 보다 순환적인 프로세스의 구조를 강조하여 표현하였다.(그림 2)

[그림 2] 세미오시스의 순환적 재구성

퍼스 기호학의 핵심 개념인 세미오시스는 발화자와 해석자 사이의 대화적인 상호작용(dialogical interaction)을 기술하는 데에 초점을 두며 이는 독자와 저자가 재현과 해석이라는 기호 시스템에서 어떻게 대화로 상호작용하는지 이해하는데 핵심이 된다.⁶⁾ 이를 퍼스의 기호학을 바탕으로 한 서사적 커뮤니케이션 관점으로 한정하여 형식적 조건이 어떠한 것인가를 살펴보고 이를 통해 상호작용 문법으로서의 모달리티에 대해 규명하려는 것이 본 연구의 핵심이다.

[그림 3] 세미오시스와 상호작용 행태프로세스의 결합

퍼스의 기호학적 관점을 기반으로 한 서사 커뮤니케이션, 즉 서사의 형태는 발화자와 수용자, 즉 공간 디자이너와 수용자 사이의 대화적 상황을 강조하며 그러한 상호 대화적 관계가 구체적으로 공간 디자인 작품으로 드러난다.⁷⁾ 이를 위해 디자인에 드러나는 퍼스의 기호학을 토대로 하는 서사의 형식적 조건은 표 1⁸⁾과 같다.

첫째, 서사 구조의 차원은 표현-재현-해석의 단계로 구성된다. 그리고 이는 각각 퍼스의 범주적 층위로서 하위 층위들을 가지는 데, 표현은 형식-매체-장르로 구분되는 서사 자체의 성격을 기술하는 데 초점이 맞춰지며, 재현은 어떤 대상이 재현되는가 하는 재현-맥락-상징화로 구분된다. 서사의 해석 단계에서의 범주적 층위에서는 재현된 대상의 의미로서의 명제 1, 매체를 통해 맥락화된 대상의 의미로서 명제 2로 표출된다. 그리고 이 두 명제는 삼차성의 토대로 통합 논증적인 최종 스토리를 구성하게 된다.

둘째, 이렇게 표현-재현-해석의 단계를 거치면서 발화자인 디자이너와 수용자는 공동의 해석체를 수립하게 된다. 이는 공통의 해석체로서 발화자와 수용자에게 스토리를 구성하게 하는 과정에서 발생한다. 이는 서사의 3단계 과정을 통해 디자이너가 보여주고 공유하고 소통하는 행위를 하게 되며 수용자는 인지적 차원에서 접속, 몰입하는 행태의 단계를 거쳐 자신의 맥락 안에서 재구성하며 행동으로 표출하게 된다.

이런 서사는 모든 매체에 다양한 모드로서 나타나며 보통 시각적 매체를 사용하기 때문에 미메시스 모드를 사용하게 된다. 즉 수용자가 상호작용 공간이 재현하고 있는 것이 무엇인가를 환경 즉 맥락 속에서 찾도록 유도하며, 이러한 관점을 토대로 상징적 해석에 이르게 되는데, 이는 상호작용 행태 프로세스에서처럼 인지작용으로서의 접속과 몰입 과정의 표현 층위를 거쳐 자신의 맥락 안에서 재구성하는 심성 모형 형성 단계로서의 재현 층위와 이를 통한 행동으로 표출되는 상호작용 행위 단계를 거치게 된다. 이로써 행동과 의미 작용의 서사 층위와 동시에 퍼스의 3개 범주 층위 단계를 거치게 되는 것이다.

본 연구에서는 서사 커뮤니케이션에서 해석 단계의 과정을 대상과 사용자 간의 상호작용으로 보고 이 과정을 상호작용 행태 프로세스에 대입하여 상호작용 과정에서 발생하는 퍼스의 세미오시스를 살펴보도록 한다. 이를 통해 상호작용 행태에서의 접속과 몰입 이후의 실행적 프로세스에서 해석과 재현의 상호작용에 의한 차연 과정을 설명하고 다시 해석의 대상으로서 재현체로 인식하게 되는 세미오시스적 상호작용 커뮤니케이션 모델을 설정한다. 이런 순환 모형을 통해 공간에서의 상호작용 행태를 퍼스의 세미오시스와 서사 커뮤니케이션의 관점에서 고찰하고 상호작용 사례를 분석하여 퍼스 기호학적 관점에서 본 상호작용 공간에서의 모달리티를 확인한다.

[그림 4] 서사적 상호작용 커뮤니케이션 프로세스

위의 다이어그램(그림 4)은 세미오시스의 상호작용적 커뮤니케이션 모델에 서사성을 대입하는 것으로 세미오시스의 미끄러지는 차연 과정에 서사성의 형식적 조건들, 즉 표현-재현-해석의 과정을 중첩해 살펴본 것이다. 이는 세미오시스가 일어나는 재현과 해석의 과정이 행태 프로세스에서는 심성모형 형성 단계와 상호작용 행위 단계에 걸쳐 적용될 수 있다. 이는 서사적 커뮤니케이션이 가지고 있는 대화적 상호작용성에 근거한 것으로 세미오시스의 발화자와 해석자 사이 즉 서사 텍스트가 독자의 해석과정과 어떻게 연동하여 작동하며, 독자와 저자는 재현과 해석이라는 기호 시스템 속에서 어떻게 대화적으로 상호작용하는지를 이해하는지⁹⁾ 그 과정을 시각적으로 표현한 다이어그램이다. 앞 절 서사 커뮤니케이션의 형식적 조건에서 해석의 단계가 상호작용 행태 프로세스에서의 상호작용 행위 단계에 해당하므로 이는 다시 해석의 범주 층위적 단계, 즉 의미영역과 통사·구문영역, 그리고 상징적영역의 층위로 구성·해석될 수 있다.

2장에서 살펴본 바와 같이 퍼스의 기호학에서 서사적 커뮤니케이션에 적용할 개념은 해석 과정이며, 아울러 해석과정과 연관된 퍼스의 범주론이 핵심이다. 상호작용 행위와 해석의 관계는 대화적 상호작용을 토대로 하는 서사적 커뮤니케이션에서 형식과 내용으로 이해한다. 다른 말로 하면 행위의 형식은 내용과 레퍼런스를 포함하고 있으며 이는 해석 작용을 통해 드러난다.¹¹⁾ 이에 상호작용 행위의 문법인 모달리티는 상호작용 행위 단계이자 서사 단계에서 해석의 과정에 존재하며 이는 서사 층위적인 성격과 함께 퍼스의 기호학적 범주적 차원의 성격도 동시에 가지고 있다고 할 수 있다. 즉 서사적 층위로서 해석 단계에서의 행동 영역과 의미 영역의 형식적 조건을 가지며, 동시에 범주 층위 요소인 세 단계의 영역 요소로 이루어진다.

[그림 6] 모달리티 모형(서사적 상호작용 공간)

[그림 6]은 서사적 상호작용 공간에서의 모달리티에 대한 모형이다. 모형은 퍼스의 기호학적 관점에 따라, 그리고 상호작용 공간에서 상호작용의 방법론으로서 공간 사용자가 설계자가 의도한 상호작용 단계에 접속하여 표현된 의미를 통하여 상황적 맥락 속에서 해석하고 행동할 수 있는 상호작용의 문법을 모형화한 것이다. 공간에서의 서사적 상호작용을 통해 스토리텔링을 만드는 모달리티 디자인 문법이라고 할 수 있겠다.

서사 층위는 의미발생에 따른 행동 표현이라는 서사성에 기반을 둔 구성이다. 발화자와 해석자 사이의 대화적인 상호작용을 기반으로 하는 공간에서의 행동과 의미의 영역을 요소로 한다. 세미오시스 측면에서는 해석 영역으로서, 표현되고 재현된 공간에서의 맥락적 상황에 참여하여 그 내러티브인 서사를 이해하고 행동하는 행동영역과 의미영역으로 구성된다.

서사층위(해석층)-내러티브의 해석과 행동
상호작용 행위 단계	해석 단계
행동영역 [N1]	의미영역 [N2]
계획된 상호작용 의미를 인지하고 표현하고자하는 행동을 취하는 단계	표현하고자 하는 의미의 이야기를 만들어 순환적 프로세스에 참여하는 단계

이는 서사 커뮤니케이션의 단계에서 해석층에 해당하는 것이다. 사용자가 의도된 디자인을 인지한 후 행동을 통해 표현하고자 하는 의미나 태도의 변화를 장소성으로 변화시키는 등의 개인적 의미를 생성시키는 단계로 작동한다. 따라서 사용자가 인지한 맥락과 의미에 맞는 행동이 모달리티가 되고 해석체의 모습으로 표현된다.

범주 층위 매트릭스는 퍼스 기호학적 관점에서의 서사 커뮤니케이션의 세 개의 범주¹²⁾, 즉 의미와 구문 그리고 상징 영역으로서의 범주층위 단계로 모형이 구성된다.

범주층위-해석단계에서의 세 개의 범주
명제 1 [C1]	명제 2 [C2]	통합·논증 [C3]
속성 / 의미영역	매체 / 구문영역	중재 / 상징영역
- 상호작용 공간 그 자체의 속성과 형식 - 본질적 속성에 대한 아이디어를 재현	- 공간이 매체를 통해 어떤 환경·맥락과 연관되었는지 해석하고 이야기를 구성	- 통합적 이야기를 구성하는 단계 - 공동체의식 등이 스토리텔링의 형태로 기억에 저장
- 습관적·개인적 의미	- 맥락·환경 매체에 전적 의존	- 문화적 관습적 해석

모달리티가 상호작용의 방법론으로 행태 프로세스에서 상호작용 행위의 구체적인 방법을 제시하는 것으로 서사 층위에서의 행동과 의미가 갖는 각 요소의 관계성을 설명하여 대상이 갖는 의미가 무엇인가를 탐구하는데 초점을 둔다. 이는 서사 커뮤니케이션의 형식적 조건을 따라 재현된 대상의 의미를 명제 1로서 해석하는 속성에 관련된 것이라면, 이런 서사적 상호작용의 매체를 통해 맥락화된 대상의 의미가 명제 2로 표출된다. 다시 이 두 명제는 삼차성의 중재적 기능을 토대로 최종적인 스토리를 구성하게 되며 이 새로운 스토리를 가지고 다시 순환적 프로세스에 참여하도록 한다.

이런 순환적 해석의 과정은 특정한 상호작용성(속성)을 가진 공간 내 장치(매체)를 통해 새로운 스토리(통합)를 만들어내는 모달리티를 가지게 되는데, 이 부분이 범주 층위 요소가 된다. 이는 개별적인 요소로 작동하는 것이 아닌 세 개의 범주가 전일적으로 작동하는 것으로 의미 행동 영역, 즉 서사 층위의 요소들과 함께 모달리티로 작동하게 된다.

공간에서 서사적 상호작용이 정상적으로 작동하며 관련 선행 연구¹³⁾에 의해 서사성을 가지고 있다고 증명된 사례를 통하여 퍼스 기호학적 관점에서의 서사적 커뮤니케이션에서 모달리티를 확인해본다. 앞장에서 제시했던 모달리티 모형과 각 층위 요소를 중심으로 분석에 앞서, 먼저 매체를 이용한 모달리티의 관점에서 모달리티 존재 방식과 작동 방법을 파악해 본다.

(1) 사례 1: Cyberhelvetia, 3deluxe (2002)

Cyberhelvetia는 2002년 스위스 엑스포에 설치된 파빌리온으로 공간 전체가 상호작용 공간으로 구성되어있다. 중앙에 유리로 만들어진 수영장 형태의 무대 위에서는 사용자가 고글을 착용하고 가상체험을 할 수 있고, 아래쪽에서는 ‘아쿠아 폰’을 이용하여 자신의 메시지를 남기거나 반대쪽 사용자와 대화할 수 있다. 수영장 내부의 'sea snake'의 움직임을 통제하여 상부의 사용자와도 상호작용할 수 있도록 되어있다. 본 연구에서는 무대 측면에서의 상호작용(표 4,오른쪽 사진)에 대해 살펴본다.

Cyberhelvetia, 사용자 행위 모습
상호작용 행위	모달리티
-아쿠아 폰을 벽체에 대고 -내부의 sea snake를 타깃 -수화기에 메시지 입력	-손으로 인터페이스 조작 -말을 통해 메시지 입력 -소리로 메시지 확인

(2) 사례 2: Cause & Effect, Scott Snibbe (2004)

화면을 구성하는 16개의 칸은 화면 앞에서 최근에 이루어졌던 16개의 행위들로 각각 구성된다. 체험자들이 화면 앞에서 일정한 행동을 취하고 다시 화면 밖으로 사라지면, 그 장면이 남아 하나의 칸을 차지하고 계속적으로 반복된다. 이를 통해 사용자는 마치 그림책이나 만화책에서의 연속된 장면을 만들어 가는 화자(話者)의 입장에서 상호작용을 할 수 있도록 디자인되어있다. 이는 단순한 반응으로서의 놀이를 뛰어넘는 스토리텔링을 만드는 상호작용을 유도하는 대화적 상호작용 작품이다.

Cause & Effect, 사용자 행위 모습
상호작용 행위	모달리티
-벽체를 향해 포즈를 취함 -계속 자신의 몸동작으로 나머지 칸을 채움	-온 몸을 움직이는 제스처

(3) 사례 3: Listening Post, Ben Rubin (2010)

휴대폰 문자메시지 혹은 인터넷에서 돌아다니는 소리와 텍스트의 결합으로 이루어진 작품으로 둥글게 줄지어 서있는 기둥에 설치된 231개의 LED 스크린에 온라인 채팅룸에서 수집된 단어와 문장이 나타나고 8개의 대형 스피커를 통해 소리로 읽혀진다. 현장에 참여하고 있는 사용자들이 핸드폰 문자 전송 등을 이용하여 작품에 참가해서 이야기를 구성할 수 있다.

Listening Post, 사용자 행위 모습
상호작용 행위	모달리티
-문자/문장 메시지를 전송 -디스플레이된 문자/문장을 보거나 소리를 듣고 다시 메시지를 입력	-손으로 메시지 입력 -시각/청각으로 메시지 확인

(4) 사례 4: Path of Stars, Sheila Levrant (1993)

미국 뉴헤이븐 지역의 ‘스타의 길 Path of Stars'프로젝트는 공공 디자인 측면에서 바닥에 쓰여 있는 글과 별 모양의 문양을 통해 역사 속에 숨겨진 한 인물을 표현하고 있다. 이는 지역 공동체에서 스타의 상징으로 인식되는 과정으로의 재현과 이것이 어떤 의미를 지니는지에 대하여 생각하게 함으로써 지역 공동체의 정신적 유대감을 형성하도록 장소성을 만들어주는 서사성을 지니는 상호작용 공간이라고 할 수 있다. 이는 단순히 기능적 측면에서의 영향이 아닌 정신적 측면에서 상징적 가치를 부여하게 될 때 디자인의 화용적 기능은 문화적 재화로서 그 속에 담긴 이야기를 통해 공동체의 정신이 중재되는 모델링의 역할을 하고 있는 것이라 할 수 있다.¹⁴⁾

Path of Stars, 사용자 행위 모습
상호작용 행위	모달리티
-공간에서 작품을 인지 -공간에 대한 인식 변화 -장소성의 변화	-시각으로 작품인식 -공감각(통각)을 통한 상황인지

이 사례는 디지털 매체의 도움 없이 작품과 공간 그리고 사용자간의 상호작용을 유도하여 이야기를 만들어낸다. 이는 행동과 사건을 통해 상호작용이 발생하면서 사용자에 의해 읽혀진 내러티브를 통해 의식을 모델링하는 것이다. 이는 맥락적 상황이 강조되는 참여적 내러티브의 모드로 사회와의 관계에 초점을 둔 사회적 텍스트로 표현되는 내부적 매체(internal medium)가 작동하는 것¹⁵⁾이다.

[표 8]¹⁶⁾은 서사적 상호작용에서의 모달리티를 층위적으로 분석하기 전에 상호작용 행동 프로세스에서 매체를 사용하는 관점에서 모달리티 유형과 작동 방식에 관해 분석한 것이다. 사례(1,2)의 경우 모달리티가 사용 매체와 매우 직접적인 관계를 맺고 있으나, 사례(4)에서는 상호작용을 위한 구체화된 매체가 없는 공간에서 공감각을 이용한 내재적인 매체를 사용하고 있는데, 이는 모달리티가 의식적인 유형을 가지고 있으며 새로운 경험 유도를 위해 작동하고 있는 것을 알 수 있다.

앞 장에서 제시한 서사적 상호작용 공간에서의 모달리티 모형을 기반으로 공간에서의 행동과 의미의 영역을 분석틀로 각 사례를 분석하였다. 이는 사용자가 특정 공간이라는 상황에 참여하여 디자이너가 표현하고 재현한 내러티브, 즉 서사를 이해하고 행동하는 문법(protocol)인 모달리티에 대한 분석이다.

이와 같은 서사적 상호작용에서의 모달리티는 공간에서 이야기(서사)를 만들어 가는 방법론으로서, 상호작용을 만들어가는 행동 문법을 제시하고 그것을 통한 의미 발생을 통해 순환적인 행태 프로세스에 참여하도록 만든다. 의미가 발생하지 않는 행동은 상호작용 행동이라기보다 단순 반응에 가깝다. 사례(4)에서는 생리적, 디바이스 대체적인 특정 행동은 보이지 않지만 사용자의 내재적인 의식이 리모델링되는 과정을 통해 심성모형을 재형성하는 순환적 프로세스에 참여하게 된다. 이를 통해 어떤 공간(space)이 상호작용한 개인에게는 장소(place)화하는 의미 변화를 일으킨다.

범주 층위적 분석은 퍼스의 기호학적 관점을 전제로 한다. 특별히 퍼스의 세 범주인 도상-지표-상징성을 서사적 커뮤니케이션의 관점에서 해석하고 상호작용 행태 프로세스와 매칭하여 모달리티의 특성을 분석하였다. 앞서 제시한 서사 층위적 해석이 행동을 근거로 한 분석이었다면 범주 층위적 분석은 모달리티가 가지고 있는 속성과 매체 그리고 새로운 스토리가 가지는 상징성을 분석한 것이다.

이들 분석의 핵심은 각 사례 분석표 하단의 범주별 요소이다. 이는 각각 상호작용 속성-공간 장치-스토리텔링을 완성시키기 위한 각 사례의 핵심 구성 요소로 공간에서의 상호작용을 위한 필수 구성요소이다. 이를 통해 사용자가 상호작용 행태 프로세스에 접속하여 상호작용 행위를 가능하게 하고 프로세스가 지속적으로 순환하도록 한다. 이는 전달하고자 하는 메시지를 표현하거나 재현한 미메시스적 요소가 아닌 특정 맥락이나 환경을 구성하여 상호작용 행동을 이끌어 내어 참여시키고 통합시키는 역할을 하도록 하는데 이것이 범주 층위에서의 모달리티가 된다.

[그림 14] 사례별 모달리티 비교

각 사례들의 모달리티의 특성을 제시한 모형의 구성 요소를 중심으로 종합·비교하였다. (그림 14) 모형을 분석틀로 살펴본 바와 같이 모든 상호작용에 있어 모달리티가 행동 중심으로만 디자인되지는 않는다는 것을 발견했다. 구체화된 매체가 없는 경우에도 내재적이고 의식적인 모달리티를 통해 대화적 상호작용이 가능하였고 제시한 모형으로 설명 가능하였다.

이 가운데서도 퍼스의 기호학적 범주에서 구문·매체 영역의 경우 공간적·환경적 맥락을 중요시하여 상호작용에서 공간과 환경 등 상황적 맥락의 중요성(사례 1, 4)이 확인되었으며, 상징적 요소가 강조된 모달리티(사례 3)에서는 행동보다는 의미영역이 함께 중요하게 다뤄지고 있었다. 공간에서의 상호작용을 통해 서사성, 즉 ‘스토리텔링-만들기’가 진행되는 경우 그 방법론에 있어 상징성과 의미성이 강조된다고 생각된다.