Home > Vol. 25, No. 2

The Modality of Narrative & Interactive Space
: A Peircean semiotic approach
서사적 상호작용 공간에서의 모달리티
: 퍼스(Peirce) 기호학적 접근
  • June Ho Suh : The Graduate School of Hongik University

Spatial interaction is a kind of communication which involves a dialogical process. The senders-receivers participate in the transformed process through their communication and exchange of information. This repeated process involves interactions, not reactions, and the modality exists as the interactive protocol in spatial interaction. In this study, I want to determine the modality of narrative and interactive space by using thePeircean semiotic approach. The study has been conducted in the following way. First, it is assumed that the process of interactive activities and the Peircean communication model are matched. The focus is on the relations and connections between senders-receivers’ dialogical process and the Peircean semiosis circular process. Second, I propose a model of modality that has the following special attribution: working in narrative and interactive space. It is essential that the attribution and performance in the narrative status and context have a spatio-temporal structure. Third, an analysis of narrative and interactive spatial works was performed. Using the modality model as a matrix of analysis, the properties were interpreted according tothe layer of narrations and categories. The modality is the protocol of spatial interactive communication, which is working in the interpretation layer of narrations and is working as semantic, syntactic and mediating performances. It is expected that this study will contribute to the research of interactive space design methods by providing and controlling the properties of spatial modality.

Abstract, Translated

공간에서의 상호작용은 대화적 프로세스를 갖는 일종의 커뮤니케이션이다. 발신자와 수신자 모두의 정보가 대화를 통해 변형되는 프로세스를 갖는다. 이런 프로세스가 반복되어 단순 반응이 아닌 상호작용이 발생하게 되며 공간에서 상호작용을 할 때 사용되는 상호작용 문법, 즉 모달리티가 존재하게 된다. 본 연구에서는 특별히 퍼스의 기호학적 관점에서 서사적 상호작용 공간에서의 모달리티에 대한 내용을 밝히고자 하였다. 연구는 다음과 같은 방법으로 진행된다. 첫째, 상호작용 행태 프로세스와 퍼스 커뮤니케이션 모형과의 매칭을 전제로 한다. 이는 수신자와 발신자 간의 대화적 프로세스와 퍼스 세미오시스의 순환적 프로세스 간의 관계에 관한 것이다. 둘째, 서사적 상호작용 공간에서 작동하는 모달리티라는 보다 특수한 속성을 가진 모형을 제시한다. 이를 통해 시공간성 구조를 갖는 서사에서 작동하는 모달리티의 속성과 역할 등을 파악하는 것이 본 연구의 핵심이다. 세 번째, 공간에서의 서사적 상호작용 작품 사례들을 분석한다. 제시한 모달리티 모형을 분석의 틀로 삼아 작동여부를 증명하고 그 속성을 서사 층위와 범주 층위 요소로 해석하였다.

이를 통해 상호작용 공간에서의 모달리티란 공간 상호작용 커뮤니케이션의 문법이며, 이는 공간 상호작용 모달리티 모델에서 서사의 해석적 층위에서 작동하며, 의미적, 통사·구문적, 중재적인 역할을 수행한다는 것을 확인하였다. 모달리티를 구성하는 요소들이나 속성들에 변화를 주어 공간에서의 상호작용성을 부여하거나 조정하는 상호작용 공간의 디자인 방법론에 대한 기반 연구가 될 것으로 기대한다.

Keywords:
Peirce, narrative interaction, modality, 퍼스, 세사적 상호작용, 모달리티.
pISSN: 1226-8046
eISSN: 2288-2987
Publisher: Korean Society of Design Science
Received: 28 Feb, 2012
Accepted: 16 Mar, 2012
Printed: May, 2012
Volume: 25 Issue: 2
Page: 207 ~ 217
PDF Download:

Citation: Suh, J. (2012). The Modality of Narrative & Interactive Space - A Peircean semiotic approach. Archives of Design Research, 25(2), 207-217.
1. 서 론
1.1. 연구의 목적과 의의

공간에서의 상호작용이란 일종의 커뮤니케이션으로 대화적 프로세스를 가지고 있다. 이것은 발신자와 수신자 모두의 정보가 대화를 통해 변형되는 프로세스를 가지게 되며, 이런 프로세스의 반복으로 상호작용이 진행된다. 정보의 변형 없이 그저 전달에만 그친다면 그것은 상호작용이기 보다는 단순한 반응이다. 고로 대화적 커뮤니케이션이라는 것은 상호작용성을 띠고 있고, “공간에서의 상호작용을 하는 과정에는 정보를 전달하는 특별한 문법 즉, 모달리티(modality)가 존재한다.”1)는 것이 연구의 중심 내용이고 상호작용 커뮤니케이션 과정에서의 모달리티에 대한 내용이 밝히고자 하는 핵심이다. 본 연구는 상호작용이 커뮤니케이션의 형식인 발신자와 수신자 간의 기호 전달 체계로 이루어져 있지만, 그것이 단순한 기표와 기의, 통합체와 계열체로 나뉘는 소쉬르적인 이분법적인 해석에 그치는 것이 아니라, 퍼스(Peirce) 기호학의 핵심 개념인 세미오시스(semiosis) 즉, 기호 전달과 해석의 끊임없는 순환 과정의 입장으로 해석한다. 그것을 순환적 상호작용 행태 프로세스와 매칭하고 서로의 상관관계를 규명하여 상호작용 커뮤니케이션 모델을 추출하였다. 이것은 커뮤니케이션이 성립하기 위한 형식적 조건으로서, 이 추출된 모델을 바탕으로 모달리티의 존재와 역할을 관련 사례 분석을 통해 증명하고자 한다.

1.2. 연구의 범위 및 방법

첫째, 상호작용 행태 프로세스와 퍼스 커뮤니케이션 모형과의 매칭을 전제한다. 상호작용 행태 프로세스2)는‘접속-몰입’의 선행적 프로세스를 거쳐‘심성모형 형성과 상호작용 행위’라는 실행적 프로세스를, 그리고‘변형과 경험적 발생'이라는 귀환적 프로세스를 가지며 이는 다시 접속의 과정으로 연결되어 상호작용이 멈출 때까지 계속해서 변화를 가지는 순환을 갖게 된다. 이는 상호작용성을 띠는 대화적 커뮤니케이션의 프로세스가 세미오시스적 커뮤니케이션 모형과 프로세스 상으로 일치하며, 행태 프로세스라고는 하나 수신자와 발신자 간의 대화적 과정을 가지는 세미오시스의 순환적 프로세스를 가진다고 볼 수 있다.

둘째, 공간에서 대화적 상호작용이라는 전제로 서사적 커뮤니케이션에서의 모달리티라는 보다 특수한 속성을 가진 모델을 제시한다. 모델에서 특별히 서사적 속성으로 한정하려는 것은 세미오시스가 발화자와 해석자 사이의 대화라는 속성에서 독자와 저자가 각각 서사 텍스트로 중재되며 이는 현실의 경험 세계를 구성하는 재현된 텍스트로서의 서사가 인지적 조건에서의 시공간성 구조를 가지고 있기 때문이다.3) 이는 공간에서의 상호작용 과정, 특히 모달리티라는 상호작용 문법을 규명하는 데 있어 시공간성 구조라는 서사가 가지고 있는 인지적 조건과 대화적 세미오시스라는 속성이 적합하다고 판단했기 때문이다.

셋째, 상호작용 공간의 사례들 가운데 서사적 상호작용의 사례를 별도로 선별하여 분석하였다. 서사적 상호작용 공간에서의 모달리티에 대한 모형을 제시하고 분석의 틀로 삼았다. 모달리티의 모형은 서사 커뮤니케이션의 형식적 조건에 따라, 서사 층위적 해석을 통한 해석 영역의 매트릭스와 범주 층위적 해석을 통한 도상성으로서 의미영역과 지표성으로서 통사·구문 영역 그리고 상징성으로서의 상징 영역 등의 매트릭스로 구성되며 이를 통해 모달리티의 존재와 역할을 관련 사례를 통해 증명하고자 한다.

2. 서사 커뮤니케이션과 상호작용 행태 프로세스
2.1. 공간에서의 상호작용 행태 프로세스

이정민은 “인터랙션은 상호작용성의 실제적 수행과정으로 이의 세부 유형은 상호작용 행태 프로세스 측면에서 분석하였다”4)고 전제하면서, 그의 연구에서 제시하고 있는 상호작용 행태 프로세스가 노먼(D.A.Norman)과 하트슨(H. Rex Hartson)의 상호작용 행위의 구조에 대한 이론의 고찰 결과물이라고 밝히고 있다. 이는 깁슨(J.J. Gibson)의 지각심리학적 개념을 기초로 한 것으로 행태지원성(affordance) 개념을 디자인에 적용한 모델로서 노먼은 인지 심리적 단계를, 하트슨은 노먼의 행위 구조를 기반으로 한 인터랙션 사이클 모델을 제시하였다. 이를 선행적 프로세스, 실행적 프로세스, 귀환적 프로세스의 3단계로 나누고 각각 두 단계의 프로세스를 가지는 행태 프로세스로 재정리하였다.5)

첫째, 선행적 프로세스로서 디자인 시스템 관련 프로세스로는 사용자의 주의를 끌어 사용자에게 디자인과 상호작용이 가능하다는 암시를 주는 단계인 접속에 이어 사용자가 적극적인 집중과 몰입을 하게 되는 몰입단계로 구성된다. 두 번째 단계인 사용자 행태 프로세스에서는 사용자가 경험한 지각 내용을 조직화하여 상호작용성에 대한 심성 모형을 형성하는 단계와 이것을 기반으로 구체적인 행위를 결정하고 이를 실행하게 되는 상호작용 행위 단계로 구성된다. 이 두 번째 단계에서 상호작용의 구체적인 행위가 일어나게 되며 사용자가 부정의 피드백을 받는 경우 심성 모형을 수정하는 전 단계로 돌아가 새로운 행위를 실행하게 된다. 이런 피드백의 경우까지를 고려하여 모달리티가 디자인되어야하며 그렇지 못한 경우 상호작용의 사이클이 완료되지 못한 채 사용자가 흥미를 잃어 행위가 중단된다. 세 번째 단계로서 관계적 커뮤니케이션 관련 프로세스로서의 피드백인데, 이는 사후적 조절 기능이다. 변형의 단계에서는 실행된 사용자의 참여행태가 공간에 변화를 가져오게 되며 이렇게 일어난 변화가 피드백으로 작용하게 된다. 이를 통해 사용자가 새로운 경험과 인지의 변화가 일어나게 되면 경험적 발생의 단계에 접어들어 스토리텔링의 성향을 나타나게 된다.


[그림 1] 상호작용 행태 프로세스
2.2. 퍼스의 세미오시스와 순환적 상호작용 행태 프로세스의 결합

퍼스의 세미오시스는 데리다를 빌어 말하자면 의미의 차연을 발생시켜 진실의 본질에 다가가는 논리학의 순환 과정이라고 할 수 있다. 그 차연은 주체에 의해 발생한 해석이 새로운 재현으로 변형되고 다시 그 재현에 대한 해석으로 변화하는 끝없는 순환 고리를 통해 발생한다. 이러한 순환적 프로세스는 일반적으로 퍼스의 기호삼각형의 순환으로 표현되고 있으나 본 연구에서는 원형 소용돌이 운동으로 재구성하였다. 이를 통해 보다 순환적인 프로세스의 구조를 강조하여 표현하였다.(그림 2)


[그림 2] 세미오시스의 순환적 재구성

퍼스 기호학의 핵심 개념인 세미오시스는 발화자와 해석자 사이의 대화적인 상호작용(dialogical interaction)을 기술하는 데에 초점을 두며 이는 독자와 저자가 재현과 해석이라는 기호 시스템에서 어떻게 대화로 상호작용하는지 이해하는데 핵심이 된다.6) 이를 퍼스의 기호학을 바탕으로 한 서사적 커뮤니케이션 관점으로 한정하여 형식적 조건이 어떠한 것인가를 살펴보고 이를 통해 상호작용 문법으로서의 모달리티에 대해 규명하려는 것이 본 연구의 핵심이다.


[그림 3] 세미오시스와 상호작용 행태프로세스의 결합
2.3. 퍼스 기호학적 관점의 서사 커뮤니케이션

퍼스의 기호학적 관점을 기반으로 한 서사 커뮤니케이션, 즉 서사의 형태는 발화자와 수용자, 즉 공간 디자이너와 수용자 사이의 대화적 상황을 강조하며 그러한 상호 대화적 관계가 구체적으로 공간 디자인 작품으로 드러난다.7) 이를 위해 디자인에 드러나는 퍼스의 기호학을 토대로 하는 서사의 형식적 조건은 표 18)과 같다.

[표 1]
서사 커뮤니케이션의 형식적 조건


첫째, 서사 구조의 차원은 표현-재현-해석의 단계로 구성된다. 그리고 이는 각각 퍼스의 범주적 층위로서 하위 층위들을 가지는 데, 표현은 형식-매체-장르로 구분되는 서사 자체의 성격을 기술하는 데 초점이 맞춰지며, 재현은 어떤 대상이 재현되는가 하는 재현-맥락-상징화로 구분된다. 서사의 해석 단계에서의 범주적 층위에서는 재현된 대상의 의미로서의 명제 1, 매체를 통해 맥락화된 대상의 의미로서 명제 2로 표출된다. 그리고 이 두 명제는 삼차성의 토대로 통합 논증적인 최종 스토리를 구성하게 된다.

둘째, 이렇게 표현-재현-해석의 단계를 거치면서 발화자인 디자이너와 수용자는 공동의 해석체를 수립하게 된다. 이는 공통의 해석체로서 발화자와 수용자에게 스토리를 구성하게 하는 과정에서 발생한다. 이는 서사의 3단계 과정을 통해 디자이너가 보여주고 공유하고 소통하는 행위를 하게 되며 수용자는 인지적 차원에서 접속, 몰입하는 행태의 단계를 거쳐 자신의 맥락 안에서 재구성하며 행동으로 표출하게 된다.

이런 서사는 모든 매체에 다양한 모드로서 나타나며 보통 시각적 매체를 사용하기 때문에 미메시스 모드를 사용하게 된다. 즉 수용자가 상호작용 공간이 재현하고 있는 것이 무엇인가를 환경 즉 맥락 속에서 찾도록 유도하며, 이러한 관점을 토대로 상징적 해석에 이르게 되는데, 이는 상호작용 행태 프로세스에서처럼 인지작용으로서의 접속과 몰입 과정의 표현 층위를 거쳐 자신의 맥락 안에서 재구성하는 심성 모형 형성 단계로서의 재현 층위와 이를 통한 행동으로 표출되는 상호작용 행위 단계를 거치게 된다. 이로써 행동과 의미 작용의 서사 층위와 동시에 퍼스의 3개 범주 층위 단계를 거치게 되는 것이다.

2.4. 소결-서사적 상호작용 커뮤니케이션

본 연구에서는 서사 커뮤니케이션에서 해석 단계의 과정을 대상과 사용자 간의 상호작용으로 보고 이 과정을 상호작용 행태 프로세스에 대입하여 상호작용 과정에서 발생하는 퍼스의 세미오시스를 살펴보도록 한다. 이를 통해 상호작용 행태에서의 접속과 몰입 이후의 실행적 프로세스에서 해석과 재현의 상호작용에 의한 차연 과정을 설명하고 다시 해석의 대상으로서 재현체로 인식하게 되는 세미오시스적 상호작용 커뮤니케이션 모델을 설정한다. 이런 순환 모형을 통해 공간에서의 상호작용 행태를 퍼스의 세미오시스와 서사 커뮤니케이션의 관점에서 고찰하고 상호작용 사례를 분석하여 퍼스 기호학적 관점에서 본 상호작용 공간에서의 모달리티를 확인한다.


[그림 4] 서사적 상호작용 커뮤니케이션 프로세스

위의 다이어그램(그림 4)은 세미오시스의 상호작용적 커뮤니케이션 모델에 서사성을 대입하는 것으로 세미오시스의 미끄러지는 차연 과정에 서사성의 형식적 조건들, 즉 표현-재현-해석의 과정을 중첩해 살펴본 것이다. 이는 세미오시스가 일어나는 재현과 해석의 과정이 행태 프로세스에서는 심성모형 형성 단계와 상호작용 행위 단계에 걸쳐 적용될 수 있다. 이는 서사적 커뮤니케이션이 가지고 있는 대화적 상호작용성에 근거한 것으로 세미오시스의 발화자와 해석자 사이 즉 서사 텍스트가 독자의 해석과정과 어떻게 연동하여 작동하며, 독자와 저자는 재현과 해석이라는 기호 시스템 속에서 어떻게 대화적으로 상호작용하는지를 이해하는지9) 그 과정을 시각적으로 표현한 다이어그램이다. 앞 절 서사 커뮤니케이션의 형식적 조건에서 해석의 단계가 상호작용 행태 프로세스에서의 상호작용 행위 단계에 해당하므로 이는 다시 해석의 범주 층위적 단계, 즉 의미영역과 통사·구문영역, 그리고 상징적영역의 층위로 구성·해석될 수 있다.

3. 서사적 상호작용 공간에서의 모달리티

[그림 5]10)는 매체를 사용하는 상호작용 디자인에서의 모달리티 모형이다. 매체를 사용하는 상호작용 디자인에서 가장 중요한 것은 일상생활에서의 경험처럼, 사용자의 생리적 감각을 직간접으로 사용하도록 하는 모달리티 디자인이다. 모달리티 디자인은 단순한 작동 방법에 대한 것만이 아닌 대상체와 데이터를 주고받는 의사소통에 관련된 것이며 분명한 대화 문법으로서의 모달리티가 존재해야 한다.


[그림 5] 모달리티 모형(매체 관점)

그리고 다양한 사용 환경에 맞는 입출력 미디어를 적절하게 통제할 수 있으며 또한 사용자가 모달리티를 사용함에 있어 별도의 교육이나 사전 지식 없이도 쉽고 섬세하게 사용할 수 있는 모달리티 디자인이 돼야 한다. 물론 본 연구의 경우에는 매체를 사용하는 상호작용 공간의 한계를 뛰어넘어, 대화적 상호작용이 일어나는 서사적 커뮤니케이션 공간, 즉 일반 상호작용 공간에서의 사례도 취급한다. 모달리티는 상호작용의 방법론을 제시하는 것이므로 모달리티를 인지하지 못한다면 공간에서의 상호작용, 특히 스토리텔링을 해야 하는 서사적 상호작용은 발생하기 어려울 것이다. 이것은 디자이너 혹은 설계자가 의도한 상호작용 단계에 접속 불가하거나, 몰입이 불가능하여 상호작용의 세미오시스 단계에 참여하지 못하게 된다. 서사 텍스트를 통한 대화가 불가능하게 되기 때문이다. 그렇기 때문에 그 대화의 과정에 참여하도록 하는 방법, 즉 상호작용의 모달리티를 인지하고 해석하여 행태 프로세스의 과정이 계속되도록 해야 하는 것이다. 이를 위해 작가의 의도대로 정상적으로 작동하고 있는 상호작용 공간을 사례 분석의 대상으로 삼아 퍼스 기호학적 관점에서의 서사적 커뮤니케이션에서 모달리티 작동 부분과 원리, 그리고 역할을 살펴본다.

3.1. 모달리티 모형의 형식적 조건

2장에서 살펴본 바와 같이 퍼스의 기호학에서 서사적 커뮤니케이션에 적용할 개념은 해석 과정이며, 아울러 해석과정과 연관된 퍼스의 범주론이 핵심이다. 상호작용 행위와 해석의 관계는 대화적 상호작용을 토대로 하는 서사적 커뮤니케이션에서 형식과 내용으로 이해한다. 다른 말로 하면 행위의 형식은 내용과 레퍼런스를 포함하고 있으며 이는 해석 작용을 통해 드러난다.11) 이에 상호작용 행위의 문법인 모달리티는 상호작용 행위 단계이자 서사 단계에서 해석의 과정에 존재하며 이는 서사 층위적인 성격과 함께 퍼스의 기호학적 범주적 차원의 성격도 동시에 가지고 있다고 할 수 있다. 즉 서사적 층위로서 해석 단계에서의 행동 영역과 의미 영역의 형식적 조건을 가지며, 동시에 범주 층위 요소인 세 단계의 영역 요소로 이루어진다.


[그림 6] 모달리티 모형(서사적 상호작용 공간)

[그림 6]은 서사적 상호작용 공간에서의 모달리티에 대한 모형이다. 모형은 퍼스의 기호학적 관점에 따라, 그리고 상호작용 공간에서 상호작용의 방법론으로서 공간 사용자가 설계자가 의도한 상호작용 단계에 접속하여 표현된 의미를 통하여 상황적 맥락 속에서 해석하고 행동할 수 있는 상호작용의 문법을 모형화한 것이다. 공간에서의 서사적 상호작용을 통해 스토리텔링을 만드는 모달리티 디자인 문법이라고 할 수 있겠다.

3.2. 서사 층위 요소

서사 층위는 의미발생에 따른 행동 표현이라는 서사성에 기반을 둔 구성이다. 발화자와 해석자 사이의 대화적인 상호작용을 기반으로 하는 공간에서의 행동과 의미의 영역을 요소로 한다. 세미오시스 측면에서는 해석 영역으로서, 표현되고 재현된 공간에서의 맥락적 상황에 참여하여 그 내러티브인 서사를 이해하고 행동하는 행동영역과 의미영역으로 구성된다.

[표 2]
서사층위 요소

서사층위(해석층)-내러티브의 해석과 행동
상호작용 행위 단계 해석 단계
행동영역 [N1] 의미영역 [N2]
계획된 상호작용 의미를 인지하고 표현하고자하는 행동을 취하는 단계 표현하고자 하는 의미의 이야기를 만들어 순환적 프로세스에 참여하는 단계

이는 서사 커뮤니케이션의 단계에서 해석층에 해당하는 것이다. 사용자가 의도된 디자인을 인지한 후 행동을 통해 표현하고자 하는 의미나 태도의 변화를 장소성으로 변화시키는 등의 개인적 의미를 생성시키는 단계로 작동한다. 따라서 사용자가 인지한 맥락과 의미에 맞는 행동이 모달리티가 되고 해석체의 모습으로 표현된다.

3.3. 범주 층위 요소

범주 층위 매트릭스는 퍼스 기호학적 관점에서의 서사 커뮤니케이션의 세 개의 범주12), 즉 의미와 구문 그리고 상징 영역으로서의 범주층위 단계로 모형이 구성된다.

[표 3]
범주층위 요소

범주층위-해석단계에서의 세 개의 범주
명제 1 [C1] 명제 2 [C2] 통합·논증 [C3]
속성 / 의미영역 매체 / 구문영역 중재 / 상징영역
- 상호작용 공간 그 자체의 속성과 형식
- 본질적 속성에 대한 아이디어를 재현
- 공간이 매체를 통해 어떤 환경·맥락과 연관되었는지 해석하고 이야기를 구성 - 통합적 이야기를 구성하는 단계
- 공동체의식 등이 스토리텔링의 형태로 기억에 저장
- 습관적·개인적 의미 - 맥락·환경 매체에 전적 의존 - 문화적 관습적 해석

모달리티가 상호작용의 방법론으로 행태 프로세스에서 상호작용 행위의 구체적인 방법을 제시하는 것으로 서사 층위에서의 행동과 의미가 갖는 각 요소의 관계성을 설명하여 대상이 갖는 의미가 무엇인가를 탐구하는데 초점을 둔다. 이는 서사 커뮤니케이션의 형식적 조건을 따라 재현된 대상의 의미를 명제 1로서 해석하는 속성에 관련된 것이라면, 이런 서사적 상호작용의 매체를 통해 맥락화된 대상의 의미가 명제 2로 표출된다. 다시 이 두 명제는 삼차성의 중재적 기능을 토대로 최종적인 스토리를 구성하게 되며 이 새로운 스토리를 가지고 다시 순환적 프로세스에 참여하도록 한다.

이런 순환적 해석의 과정은 특정한 상호작용성(속성)을 가진 공간 내 장치(매체)를 통해 새로운 스토리(통합)를 만들어내는 모달리티를 가지게 되는데, 이 부분이 범주 층위 요소가 된다. 이는 개별적인 요소로 작동하는 것이 아닌 세 개의 범주가 전일적으로 작동하는 것으로 의미 행동 영역, 즉 서사 층위의 요소들과 함께 모달리티로 작동하게 된다.

4. 사례를 통한 모달리티의 층위적 분석
4.1. 분석의 대상

공간에서 서사적 상호작용이 정상적으로 작동하며 관련 선행 연구13)에 의해 서사성을 가지고 있다고 증명된 사례를 통하여 퍼스 기호학적 관점에서의 서사적 커뮤니케이션에서 모달리티를 확인해본다. 앞장에서 제시했던 모달리티 모형과 각 층위 요소를 중심으로 분석에 앞서, 먼저 매체를 이용한 모달리티의 관점에서 모달리티 존재 방식과 작동 방법을 파악해 본다.

(1) 사례 1: Cyberhelvetia, 3deluxe (2002)

Cyberhelvetia는 2002년 스위스 엑스포에 설치된 파빌리온으로 공간 전체가 상호작용 공간으로 구성되어있다. 중앙에 유리로 만들어진 수영장 형태의 무대 위에서는 사용자가 고글을 착용하고 가상체험을 할 수 있고, 아래쪽에서는 ‘아쿠아 폰’을 이용하여 자신의 메시지를 남기거나 반대쪽 사용자와 대화할 수 있다. 수영장 내부의 'sea snake'의 움직임을 통제하여 상부의 사용자와도 상호작용할 수 있도록 되어있다. 본 연구에서는 무대 측면에서의 상호작용(표 4,오른쪽 사진)에 대해 살펴본다.

[표 4]
사례(1)의 상호작용 행위와 모달리티

Cyberhelvetia, 사용자 행위 모습
상호작용 행위 모달리티
-아쿠아 폰을 벽체에 대고
-내부의 sea snake를 타깃
-수화기에 메시지 입력
-손으로 인터페이스 조작
-말을 통해 메시지 입력
-소리로 메시지 확인

(2) 사례 2: Cause & Effect, Scott Snibbe (2004)

화면을 구성하는 16개의 칸은 화면 앞에서 최근에 이루어졌던 16개의 행위들로 각각 구성된다. 체험자들이 화면 앞에서 일정한 행동을 취하고 다시 화면 밖으로 사라지면, 그 장면이 남아 하나의 칸을 차지하고 계속적으로 반복된다. 이를 통해 사용자는 마치 그림책이나 만화책에서의 연속된 장면을 만들어 가는 화자(話者)의 입장에서 상호작용을 할 수 있도록 디자인되어있다. 이는 단순한 반응으로서의 놀이를 뛰어넘는 스토리텔링을 만드는 상호작용을 유도하는 대화적 상호작용 작품이다.

[표 5]
사례(2)의 상호작용 행위와 모달리티

Cause & Effect, 사용자 행위 모습
상호작용 행위 모달리티
-벽체를 향해 포즈를 취함
-계속 자신의 몸동작으로 나머지 칸을 채움
-온 몸을 움직이는 제스처

(3) 사례 3: Listening Post, Ben Rubin (2010)

휴대폰 문자메시지 혹은 인터넷에서 돌아다니는 소리와 텍스트의 결합으로 이루어진 작품으로 둥글게 줄지어 서있는 기둥에 설치된 231개의 LED 스크린에 온라인 채팅룸에서 수집된 단어와 문장이 나타나고 8개의 대형 스피커를 통해 소리로 읽혀진다. 현장에 참여하고 있는 사용자들이 핸드폰 문자 전송 등을 이용하여 작품에 참가해서 이야기를 구성할 수 있다.

[표 6]
사례(3)의 상호작용 행위와 모달리티

Listening Post, 사용자 행위 모습
상호작용 행위 모달리티
-문자/문장 메시지를 전송
-디스플레이된 문자/문장을 보거나 소리를 듣고 다시 메시지를 입력
-손으로 메시지 입력
-시각/청각으로 메시지 확인

(4) 사례 4: Path of Stars, Sheila Levrant (1993)

미국 뉴헤이븐 지역의 ‘스타의 길 Path of Stars'프로젝트는 공공 디자인 측면에서 바닥에 쓰여 있는 글과 별 모양의 문양을 통해 역사 속에 숨겨진 한 인물을 표현하고 있다. 이는 지역 공동체에서 스타의 상징으로 인식되는 과정으로의 재현과 이것이 어떤 의미를 지니는지에 대하여 생각하게 함으로써 지역 공동체의 정신적 유대감을 형성하도록 장소성을 만들어주는 서사성을 지니는 상호작용 공간이라고 할 수 있다. 이는 단순히 기능적 측면에서의 영향이 아닌 정신적 측면에서 상징적 가치를 부여하게 될 때 디자인의 화용적 기능은 문화적 재화로서 그 속에 담긴 이야기를 통해 공동체의 정신이 중재되는 모델링의 역할을 하고 있는 것이라 할 수 있다.14)

[표 7]
사례(4)의 상호작용 행위와 모달리티

Path of Stars, 사용자 행위 모습
상호작용 행위 모달리티
-공간에서 작품을 인지
-공간에 대한 인식 변화
-장소성의 변화
-시각으로 작품인식
-공감각(통각)을 통한 상황인지

이 사례는 디지털 매체의 도움 없이 작품과 공간 그리고 사용자간의 상호작용을 유도하여 이야기를 만들어낸다. 이는 행동과 사건을 통해 상호작용이 발생하면서 사용자에 의해 읽혀진 내러티브를 통해 의식을 모델링하는 것이다. 이는 맥락적 상황이 강조되는 참여적 내러티브의 모드로 사회와의 관계에 초점을 둔 사회적 텍스트로 표현되는 내부적 매체(internal medium)가 작동하는 것15)이다.

[표 8]
사례들의 매체 중심 모달리티 특징 분석

사례 행동과 의미 모달리티(매체관점)
매체적 공간적 유형별 기능별 감각별
1 직접적 직접적 복합적 데이터 I/O 공감각
2 직접적 간접적 대체적 데이터 I/O 시각/소리
3 간접적 간접적 생리적 제어 제스처
4 내재적 직접적 의식적 경험유도 공감각

[표 8]16)은 서사적 상호작용에서의 모달리티를 층위적으로 분석하기 전에 상호작용 행동 프로세스에서 매체를 사용하는 관점에서 모달리티 유형과 작동 방식에 관해 분석한 것이다. 사례(1,2)의 경우 모달리티가 사용 매체와 매우 직접적인 관계를 맺고 있으나, 사례(4)에서는 상호작용을 위한 구체화된 매체가 없는 공간에서 공감각을 이용한 내재적인 매체를 사용하고 있는데, 이는 모달리티가 의식적인 유형을 가지고 있으며 새로운 경험 유도를 위해 작동하고 있는 것을 알 수 있다.

4.2. 서사 층위적 분석

앞 장에서 제시한 서사적 상호작용 공간에서의 모달리티 모형을 기반으로 공간에서의 행동과 의미의 영역을 분석틀로 각 사례를 분석하였다. 이는 사용자가 특정 공간이라는 상황에 참여하여 디자이너가 표현하고 재현한 내러티브, 즉 서사를 이해하고 행동하는 문법(protocol)인 모달리티에 대한 분석이다.

[표 9]
서사 층위적 분석

사례 행동영역 [N1] 의미영역 [N2]
1 아쿠아 폰을 벽에 댐(시각/청각)
sea snake 타깃/선택
메시지 녹음 혹은 청취
대화 내용 인지
이야기(대화) 참여
2 그림자/화면 간 관계인식
의도된 표현의 몸동작
프레임 확인/반복 행동
프레임들의 이야기 인지
이야기 추가/재구성
3 디스플레이된 메시지 관찰·인지 (시각/청각)
메시지 입력/확인
단어/문장/이야기 인지
이야기(대화) 참여
4 공간과 작품 내용 파악(시각)
공간과 상황 재인식
공간 이야기 인지
공동체 의식 인식/참여
장소성 변화

이와 같은 서사적 상호작용에서의 모달리티는 공간에서 이야기(서사)를 만들어 가는 방법론으로서, 상호작용을 만들어가는 행동 문법을 제시하고 그것을 통한 의미 발생을 통해 순환적인 행태 프로세스에 참여하도록 만든다. 의미가 발생하지 않는 행동은 상호작용 행동이라기보다 단순 반응에 가깝다. 사례(4)에서는 생리적, 디바이스 대체적인 특정 행동은 보이지 않지만 사용자의 내재적인 의식이 리모델링되는 과정을 통해 심성모형을 재형성하는 순환적 프로세스에 참여하게 된다. 이를 통해 어떤 공간(space)이 상호작용한 개인에게는 장소(place)화하는 의미 변화를 일으킨다.

4.3. 범주 층위적 분석

범주 층위적 분석은 퍼스의 기호학적 관점을 전제로 한다. 특별히 퍼스의 세 범주인 도상-지표-상징성을 서사적 커뮤니케이션의 관점에서 해석하고 상호작용 행태 프로세스와 매칭하여 모달리티의 특성을 분석하였다. 앞서 제시한 서사 층위적 해석이 행동을 근거로 한 분석이었다면 범주 층위적 분석은 모달리티가 가지고 있는 속성과 매체 그리고 새로운 스토리가 가지는 상징성을 분석한 것이다.

이들 분석의 핵심은 각 사례 분석표 하단의 범주별 요소이다. 이는 각각 상호작용 속성-공간 장치-스토리텔링을 완성시키기 위한 각 사례의 핵심 구성 요소로 공간에서의 상호작용을 위한 필수 구성요소이다. 이를 통해 사용자가 상호작용 행태 프로세스에 접속하여 상호작용 행위를 가능하게 하고 프로세스가 지속적으로 순환하도록 한다. 이는 전달하고자 하는 메시지를 표현하거나 재현한 미메시스적 요소가 아닌 특정 맥락이나 환경을 구성하여 상호작용 행동을 이끌어 내어 참여시키고 통합시키는 역할을 하도록 하는데 이것이 범주 층위에서의 모달리티가 된다.

[표 10]
범주 층위적 분석

사례 의미·속성영역 [C1] 구문·매체영역 [C2] 통합·중재영역 [C3]
도상성 요소 지표성 요소 상징성 요소
1 타깃에 맞춰 청진기를 대듯 벽면에 대고 이야기를 청취 물 속을 헤엄치는 sea snake에 녹음된 메시지를 듣거나 자신의 이야기를 녹음 /대화 참여 익명의 사용자와 대화/이야기 만들기
그래픽/소리 물 속/sea snake 대화/이야기
2 자신의 그림자가 마치 거울인 듯 포즈를 취함 프레임 단독 혹은 연결에 의해 만들어지는 이야기 구성 사용자의 몸짓이 더해져서(프레임 대체) 이야기를 재구성/변형시킴
그림자 화면 프레임 이야기 전체 프레임
3 단어/문장 등이 디스플레이와 소리로 표현되는 것을 인식함 각각의 메시지를 확인하고 사용자의 메시지 전송하고 참여 네트워크에 참가한 개인 혹은 대중의 이야기/ 의식 확인
LED/소리 네트워크(가상공간) 대중들의 이야기
4 별모양을 통해 스타 관련 이야기임을 인식 /메시지 확인 지역에서 배출한 대중문화 스타의 이야기 습득으로 장소성 변화 지역의 공동체적 유대감을 형성
별모양 작품 공간적 맥락 유대감 형성

4.4. 종합

[그림 14] 사례별 모달리티 비교

각 사례들의 모달리티의 특성을 제시한 모형의 구성 요소를 중심으로 종합·비교하였다. (그림 14) 모형을 분석틀로 살펴본 바와 같이 모든 상호작용에 있어 모달리티가 행동 중심으로만 디자인되지는 않는다는 것을 발견했다. 구체화된 매체가 없는 경우에도 내재적이고 의식적인 모달리티를 통해 대화적 상호작용이 가능하였고 제시한 모형으로 설명 가능하였다.

이 가운데서도 퍼스의 기호학적 범주에서 구문·매체 영역의 경우 공간적·환경적 맥락을 중요시하여 상호작용에서 공간과 환경 등 상황적 맥락의 중요성(사례 1, 4)이 확인되었으며, 상징적 요소가 강조된 모달리티(사례 3)에서는 행동보다는 의미영역이 함께 중요하게 다뤄지고 있었다. 공간에서의 상호작용을 통해 서사성, 즉 ‘스토리텔링-만들기’가 진행되는 경우 그 방법론에 있어 상징성과 의미성이 강조된다고 생각된다.

5. 결 론

서사적 상호작용 공간에서의 모달리티는 서사 층위 요소와 범주 층위 요소를 만족시키며 작동하고 있는 것을 확인할 수 있다. 특별히 환경적·공간적 맥락을 강조하는 범주 층위의 구문·매체 영역에서는 각 사례마다 수중 공간, 프로젝터에 의한 화면 프레임, 가상공간으로서의 네트워크 공간, 그리고 거리, 공공 공간 등의 실존적 공간의 영역까지 다루고 있음을 살펴볼 수 있다. 공간에서 사용하는 매체의 경우도 사용자들이 쉽게 인지하여 행동할 수 있는 도상성이 크게 강조되어 별도의 학습 과정 없이 상호작용 과정에 참여할 수 있도록 디자인되었다. 무의미한 신체적 반응을 이끌어 내는 것이 아닌 의식적이고 심리적인 해석이 가능한 영역을 통해 사용자가 그들만의 이야기를 만들어 갈 수 있도록 공간 상호작용을 연출한 것을 알 수 있다. 또한 특정 제스처나 매체가 필요 없이 공간의 장소성을 변화시키는 상호작용의 사례도 살펴보았다. 이와 같이 각 사례별 서사 층위와 범주 층위에서의 작동 조건 및 특징을 종합해 보면 다음과 같다.

서사적 상호작용 공간의 모달리티 디자인 시, 첫째, 사용자의 참여와 지속적인 커뮤니케이션 순환에 참여하도록 누구나 이해할 수 있는 도상성 요소를 이용하여 상호작용 과정에 몰입시켜야 한다. 둘째, 공간에서의 상호작용 프로세스가 서사 구조를 가진 커뮤니케이션 구조를 가지고 있어야 한다. 이는 단순 반응이 아닌 ‘스토리텔링-만들기’ 방식이어야 한다는 의미이다. 셋째, 상호작용 문법이자 방법론인 모달리티 디자인 역시 서사 구조에서 해석단계에서의 행동과 의미영역 그리고 1-2-3차 범주 영역을 고려하여 디자인되어야 한다.

이 모달리티의 연구는 사용자가 서사적 상호작용 공간에서의 상황에 참여하여, 표현된 디자인 내러티브를 이해하고 그에 따른 행동을 통하여 커뮤니케이션의 순환 고리에 참여하도록 하는 것이 목표이다. 제시된 모달리티 모형은 서사적 상호작용 공간을 디자인하는 방법론이 된다. 이를 통해 서사적 공간에서의 상호작용 모달리티는, 내러티브 형식으로 표현되고 재현되는 인지적 과정을 통해 해석적 층위에서 일어나는 의미행동의 양식이며 그것은 다음 단계의 내러티브 커뮤니케이션을 발생시키는‘스토리텔링-만들기’의 의미를 가진다. 공간에서의 모달리티란 공간 상호작용 커뮤니케이션의 문법이며, 이는 공간 상호작용 커뮤니케이션 모델에서 서사의 해석적 층위에서 작동하며, 의미적, 통사·구문적, 통합·중재적인 역할을 수행한다. 이를 통해, 모달리티를 구성하는 요소들이나 속성들에 변화를 주어 공간에서의 상호작용성을 부여하거나 조정하는 상호작용 공간의 디자인 방법론에 대한 기반 연구가 될 것이다.

Notes

1) 서준호, 인터랙션 디자인의 모달리티, 디자인학연구 24권, 2011. p.110

2) 이정민, 상호작용 공간의 행태적 참여 어포던스 속성에 관한 연구, 홍익대학교 대학원 박사논문, 2007, p.83

3) 이윤희, 퍼스 기호학적 접근으로 본 서사적 커뮤니케이션, 기호학연구 26권, 2009, pp.456-459

4) 이정민, 상호작용 공간의 상호작용성 영향요인 1, 한국콘텐츠학회 논문지, 2010, Vol.10 No.5 pp.158

5) Ibid, pp.158-159

6) 이윤희, op. cit, p.456

7) 이윤희, 트랜스 미디어로서의 내러티브 디자인, 기호학연구, 2010, p.401

8) Ibid. p.404

9) 이윤희, 2009, op. cit, p.456

10) 서준호, op. cit. p.113

11) 이윤희, 2009, op. cit. p.465

12) 김성도, 퍼스의 기호사상, 민음사, 2006 p.82

13) 상호작용 공간의 사례에서 서사성을 체계로서 분류한 하은경의 연구(하은경, 디지털 미디어에 의한 공간체험의 몰입구조에 관한 연구, 홍익대학교 대학원 박사논문, 2010)와 이윤희(이윤희, ‘트랜스 미디어’로서의 내러티브 디자인, 기호학연구 27권, 395-420, 2010)연구에서 제시했던 공간 디자인의 사례를 선택하였다.

14) 이윤희, 2010, op. cit. pp.411~412

15) Ibid. p.405 10번 주석

16) 이 분석틀은 선행연구(서준호, 인터랙션 디자인의 모달리티, 디자인학연구 24권, 105-116, 2011)에서 제시한 모달리티 모형을 근거로 한 것이다. 모형은 3장에서 [그림 5]로 제시하였다.

References
  1. James Liszka. (1996). A General Introduction to the Semiotic of Charles Sanders Peirce. Indiana University Press.
  2. Shaleph O’Neil. (2008). Interactive Media: The Semiotics of Embodied Interaction. Springer.
  3. 김성도. (2009). 디자인 기호학의 인식론적 정초. 기호학연구 26권. 111-141.
  4. 김성도. (2006). 퍼스의 기호사상. 서울:민음사.
  5. 서준호. (2011). 인터랙션 디자인의 모달리티. 디자인학연구 24권. 105-116.
  6. 이윤희. (2010).‘트랜스 미디어’로서의 내러티브 디자인. 기호학연구 27권. 395-420.
  7. 이윤희. (2009). 퍼스 기호학적 접근으로 본 서사적 커뮤니케이션. 기호학연구 26권. 455-487.
  8. 이정민. (2010). 상호작용 공간의 상호작용성 영향요인 1. 한국콘텐츠학회논문지. Vol.10 No.5, 153-164.
  9. 이정민. (2007). 상호작용 공간의 행태적 참여 어포던스 속성에 관한 연구. 홍익대학교 대학원 박사논문.
  10. 하은경. (2010). 디지털 미디어에 의한 공간체험의 몰입구조에 관한 연구. 홍익대학교 대학원 박사논문.