The Media·Synaesthetic Characteristics of Spatial Modality in Interactive Space

사람들이 안경을 사용할 때, 검은 칠판에 분필로 글을 쓸 때처럼 여기서의 기술은 자신의 연장이며 신체의 확장이다. 그것은 상대적으로 투명한 ‘유사-투명성’으로 인간과 기술 사이에 존재한다.⁷⁾ 체현관계에서는 기술에 의해 체현된 우리의 감각을 통해 맨살로 경험하는 것과는 다른 어떤 경험의 변형을 유발하는데 그것은 매개되는 기술과 방법에 따라 감각상의 확장 혹은 축소의 관계가 생길 수 있다.

전자현미경을 사용 시, 그것에 체현된 시각으로 대상을 바라보지만 감각 상 확장의 폭이 너무 커서 육안으로 보는 세계와는 전혀 다른 시각장을 경험하게 된다. 이것은 일상 시각의 지평 외부에 있던 것들이 전자현미경의 디스플레이 기술을 통해 시각장 안으로 들어오는 것이다. 이 관계에서는 인간은 기술을 통해 세계를 읽는다. 기술과 세계 사이에 불투명성이 있으며 사용자가 그 텍스트화한 기술을 읽고 해석한다. 이를 위해서는 사용자가 기술 해석 능력과 기술 방법, 그리고 익숙한 사용 능력을 가지고 있어야 한다.⁸⁾

이제는 기술의 세계로서 일상생활의 일부가 되어버린 기술을 돈 아이디는 배경 관계들이라고 한다. 이런 관계를 소위 기술권(technosphere)이라고 규정하는데, 생활 세계의 일부이자 대기권처럼 인식하여 대개 자연스러운 인터페이스를 통해 기술을 통제해야할 대상으로 인식하지 못하는 반응과 관계의 구조를 가진다. 배경 관계의 기술들은 삶의 맥락을 조건 지우는 '유사-환경'으로서 더 은밀하게 사용자의 경험과 지각을 변형시킨다.⁹⁾

매체 속성의 지향성 구조는 상호작용 공간 작동원리인 공간 모달리티가 인간과 세계를 매개하는 기술로서의 공간 디자인과 그것을 작동하게 하는 기술성으로서의 구조적 관계를 갖는다. 특정 작동 원리를 통해 공간을 통제하고 상호작용 하기 위한 작동 문법이 필요하게 되고 그것이 상호작용을 가능케 하는 기술이자 방법론으로서의 공간 모달리티가 되는 것이다. 따라서 공간에 상호작용성을 부여하기 위해서는 상호작용 공간 디자인이라는 기술을 실현시키는 공간 모달리티 디자인이 반드시 필요하다. 공간 모달리티는 기술을 통한 관계 맺음과 이를 통한 적절한 통제를 활용하여 공간과 사용자를 연결하며, 이는 사용자가 세계를 인식하고 장과 지평을 확장하는 관계를 만들어준다. 단순히 사용자 단일 감각으로서 시각장의 한계에만 머무르는 것이 아니라 기술과 과학의 발전에 따라 다감각, 공감각의 차원까지 확대되는 인간 감각 확장의 계기를 마련하게 된다.

아이디에 따르면 지향적 구조를 가지는 관계들은 모두 ‘감각상의 확장-축소‘¹⁶⁾를 가진다. 이는 지향적 관계를 가지는 기술들 모두 지각을 변형시키며 관계에 따라 감각의 지평을 축소 혹은 확대한다는 것을 의미한다.¹⁷⁾ 체현관계에서는 사용자와 기술 간의 감각 축소·확대를 바로 알 수 있는 반면, 해석이나 배경의 관계에서는 기술에 의해 강하게 매개되기 때문에 불연속적인 것을 통해서만 파악할 수 있다. 확장-축소의 구조는 체현 관계에서 해석학적 관계 쪽으로 갈수록 확장·축소의 구조가 더 큰 대비로 나타나며 각기 특정한 방식으로 사용자의 경험을 변형하는데, 이런 변형은 근원적으로 도구적 지향성을 보여준다.¹⁸⁾

이러한 지향적 관계를 가지는 기술에 따라 우리의 지각과 경험이 확장·축소되고 변형되는 도구적 지향성은 사용자와 기술 간의 불연속성이 높을수록 일상적인 형태로 재현하고자 하는 방법으로, 즉 우리와 유사한 어떤 것으로 만들고자 한다. 여기서 체현관계에서 발생하는 투명성에 대한 욕망이 작동하며 해석관계에서는 대체 관계들(alterity relations)¹⁹⁾이 나타나는데, 원자의 구조를 시각적으로 재현한다든지, 컴퓨터와 연결된 인공 자연 재현 등이 그러한 예로서 ‘유사-타자’의 방식으로 새로운 관계를 맺는다.

현대의 상호작용을 이용한 미디어 예술 작품 등에서는 다양한 매체의 상호텍스트성을 통해 여러 감각들이 공존하는 것들을 쉽게 찾아볼 수 있다. 컴퓨터를 이용한 센서와 디스플레이를 중심으로 구성된 퍼포먼스와 소리, 냄새 등의 다양한 방법을 통해 사용자의 멀티모달을 사용하는 인터랙션 미디어 아트와 공간 체험 작품 등이 이미 대중화되어 전시회나 이벤트 등에 사용되고 있다.

사용자가 다감각을 통한 멀티모달의 방법으로 공간과 상호작용을 하기 위해서는 공간이 가지는 감각 양상의 방법 역시 다감각적인 매체를 통한 공감각적 잠재성을 공간에 내재하고 있어야한다. 이는 관계 지향적 구조에 따라 변형되는 감각과 경험의 대상에 대한 지각이 공감각적일 때 지각된 대상에 주어진 잠재적인 것 덕택에 대상의 총체성을 드러낼 수 있기 때문이다.²⁰⁾ 또한 도구적 지향성 구조에서 매개된 지각상황, 즉 지각 상황에서 기술적 인공물이 사용자가 도구를 통해 특정한 방식으로 보이도록 매개하는 데 이 같은 지향적 구조에서 아이디는 이것을 ‘매개적 위치‘라고 부른다.²¹⁾ 상호작용 공간에서 멀티모달을 사용하는 사용자와 사용자가 감지하고 인식하는 대상을 공간에서 매개해 주는 것이 바로 공간 모달리티이다.

앞 장에서 집중적으로 살펴본 바와 같이 공간 모달리티가 인간과 세계를 매개하는 상호작용 공간에 적용된 기술로서 관계의 지향성 구조를 가지고 있으며 그를 통해 사용자의 감각과 인식을 통한 경험의 장-지평을 확장한다는 것을 확인하였다. 사용자에게나, 공간적 표현 요소²²⁾를 가지는 상호작용 공간에서나 ‘향함’을 본래적 요소로 내재하는 지향성 구조는 그것이 공간을 위한 공간 모달리티와 사용자를 위한 모달리티에서 가장 기본적인 잠재적 요소로 작동한다. 지향성 공간은 중심과 장소, 방향과 통로, 구역과 영역 등의 표현요소를 가지며 이는 사용자가 공간에서 정향하고 정위할 수 있도록 하여 공간에서 대상과 세계에 대한 인식을 바르게 하여 공간을 통한 사용자와 세계와의 관계 구조를 지속적으로 형성·변형한다.

감각장의 조절은 사용자와 공간을 통제하고 상호간의 반응을 조정하는 매체 역할을 한다. 결국 지향적 관계를 조절하는 것은 의미와 행동을 앞서는 감각에 대한 조절이다. 아이디가 지향적 관계를 시각장에서 ‘핵-장-지평’을 설명했던 것처럼 감각은 세계를 인식하는 기본이 된다. 이제 단일 감각으로서의 시각장을 넘어 다감각·공감각 양상으로 감각의 기술이 확장되면서 사용자-공간 상호작용 양상의 지평은 보다 확장되며 변형되고 있다. 최신 디스플레이와 공간의 움직임(kinetic)을 사용하는 기술, 컴퓨터를 이용한 유비쿼터스 기술 등으로 인해 공간 연출 매체의 발전은 기술의 투명성과 비매개성 등을 확보하며 보다 자연적인 공간 모달리티 디자인으로 감각장 조절을 용이하게 하고 있다. 이는 사용자가 공간에서 특정 인터페이스를 조작하지 않더라도 자연적인 공간 내에서의 행위를 통해 상호작용이 가능하도록 한다.

[그림 2]

제 1 매트릭스: 지향성 구조의 잠재적 층위

지향적 관계를 가지는 기술로서의 공간 모달리티는 물리적 공간이 가지는 다감각적 표현 양상의 조절에만 머무는 것이 아니라 상호작용을 통한 ‘유사-환경’ 방식의 새로운 관계를 만든다. 사용자와 환경, 행동과 반응의 통제로 인해 발생하는 대체 관계들은 일상적인 생활과 비슷한 형태와 관계를 지향하는데, 그것은 ‘마치∼처럼’이라는 ‘유사-관계’를 맺도록 한다. 이는 공간이 가지는 건축적 환경뿐만 아니라 디자인된 맥락(context) 조절을 통해 사용자의 감각과 경험을 변형시킨다. 이것은 또 다른 지평의 세계를 열고 새로운 이야기(내러티브)를 만나도록 한다.

반응은 사용자와 공간의 감각에 의존한다. 앞서 말했듯이 감각은 의미와 행동보다 앞서기 때문에 공간 모달리티는 공간이 사용자와의 송·수신을 위해 반응하는 방법에 집중한다. 공간 측면에서 사용자에게 송·수신하는 방법으로 단일 감각을 사용하거나 다감각을 사용할 수 있다. 단일 감각화하는 것은 반응을 단순화화거나 집중하도록 만드는데, 반응은 빠르지만 상호작용 과정이 반응 그 자체에 그쳐 물리적 공간을 포함하는 깊이 있는 맥락 구조, 또는 의미를 읽어내는 서사 과정과 구조에 접근하는 데는 불리하다. 여러 상황을 통제해야 하고 복잡한 서사적 접근을 통해 특정 메시지를 주고받아야 하는 경우에는 다감각적 반응 체계를 갖추는 것이 좋다.

하지만 공간에 따라서는 복잡한 다감각적 반응 절차 없이도 장소성을 발생시켜 공간적 맥락과 서사 구조에서 상호작용 가능한 곳도 있다. 그러기 위해서는 사용자가 문화적·관습적 해석을 사전에 공유하고 있어야 가능하다.²³⁾ 맥락적 상황이 강조되는 참여적 공간에서 비교적 단순한 단일 감각을 이용한 공간 모달리티도 내재적 경험 유도 과정을 통해 상호작용이 가능하다.

[그림 3]

제 2 매트릭스 : 매체·공감각적 특징

통제 요소는 사용자 모달리티에서 사용자의 행동과 반응 영역을 감각장의 범위-예를 들어 센서가 미치는 거리, 눈에 보이는 영역, 발로 밟거나 누를 수 있는 제한된 면적을 가진 표면 등-안으로 제한하기 위해 통제하는 것이다. 모달리티란 감각 양상(modal)에 따른 것이기 때문에 감각을 통한 반응이 없다면 작동이 불가능하다. 감각장 안에서 모달리티가 진행되도록 하는 통제 요소가 필수적이다.

공간 모달리티 역시 사용자가 인식하고 반응할 수 있는 강도와 감각 양상이 허락하는 범위 안에서 대상의 행동을 유도하는 통제 요소와 실행 방법이 중요하다. 이는 사용자와 공간 간에 주고받는 입·출력 데이터, 그리고 사용자의 행동과 그에 대한 공간의 반응 등을 통제할 수 있는 물리적 공간에서의 환경 맥락 조절을 이용한 통제 등에 해당한다. 특히 통제 요소는 데이터를 처리하기 위해 컴퓨터 시스템을 이용한 디지털한 방법과 공간의 형태나 화살표 등의 그래픽, 특별한 마감 재질이나 조명 연출 등을 활용하는 자연적이고 아날로그적인 공간 모달리티를 사용한다.

공간 모달리티가 다감각 양상을 넘어 공감각적 매체로서의 특징을 갖는 것은 상호작용 기술성이 가지는 도구적 지향성 때문이다. 앞에서 살펴본 바와 같이 기술이 가지는 지향성에 따라 사용자와 기술 간의 관계 형성이 달라진다.

체현관계로서 투명한 도구 매개적인 관계가 형성될 때에는 자신의 경험과 지각을 변형함으로써 재귀적 관계로서의 ‘유사-나’의 관계가 형성된다. 다시 말해, 기술의 존재를 깨닫지 못한 채 나 자신을 투사한 공간을 통해서 만나는 ‘세계 속의 나’를 ‘마치 실제 나 자신인 것처럼’ 생각한다. 예를 들어 화면에 비친 움직이는 모습이 내 모습과는 완전히 다르게 생겼을지라도, 내가 움직이는 그대로 자연스럽게 따라 움직이는 화면 속의 모습을 보며 저 움직이는 형상을 나 자신으로 생각하고 행동한다.

해석관계에서는 우리가 일상적으로 지각하는 것과 확연하게 불연속적이기 때문에 상호작용 공간을 통해 얻은 것을 일상적인 시각의 형태로 재현하는 즉, 우리의 일상과 유사한 대체 관계들을 만들어내는 ‘유사-타자’의 관계를 형성한다.

배경관계에서는 상호작용 공간과 세계가 일치되어 상호작용 공간을 세계 그 자체로 생각한다. 배경 관계에서는 물리적인 공간과 상호작용을 통한 새로운 세계와의 경계가 없는 상태로 존재하여 마치 상호작용 기술의 작동 없이 상호작용이 가능한 것처럼 생각하고 행동하는 것이 배경적 관계 형성 요소이다.

반응 요소가 강화된 공간 모달리티는 사용자의 감각과의 커뮤니케이션에 대응하기 위해 시청각 중심 미디어를 많이 사용한다. 사용자와 공간 간의 반응을 중심으로 한 공감각 체험을 지향하는 모달리티 양상으로 물리적 공간 연출이나 인터페이스를 이용한 조작보다는 다감각적 반응 체계에 집중한다. 이를 위해 조명, 특수 효과, 키네틱 장치 등의 특수효과를 많이 사용하며 통제나 관계 형성 요소가 상대적으로 약해 새로운 방법의 상호작용 행태 자체에 의미를 두는 단순하고 즐거운 체험 중심의 모달리티 구성이 많다.

제어와 통제 중심의 공간 모달리티는 넓은 공간에서의 사용자의 이동을 제한하도록 디자인된다. 사용자가 공간과 최소화된 반응을 가지고 상호작용을 컨트롤하기 위해서 구체적인 방법을 습득하고 공간 내 디자인된 인터페이스를 이용한 조작이 용이해야 한다. 그러기 위해서는 공간과 사용자 사이의 매개체로서의 도구가 확실히 존재해야하며, 이를 통해야 해석된 내용을 기반으로 상호작용이 가능해진다. 공간 모달리티는 사용자가 정확한 인식과 조작을 통해 상호작용할 수 있도록 디지털 시스템이나 환경 맥락 조절이 용이하도록 그래픽, 조명 등의 인지와 피드백을 위한 장치로 구성되어야 한다. 이런 통제 중심의 모달리티는 작업, 일상생활 등에서 사용자 편의를 위한 상호작용에 많이 적용된다.

[표 2]

공간 모달리티의 통제 강화(R2+R2) 사례

위의 사례는 AR(증강현실, augmented reality)로 모바일 기기를 이용한 상호작용 작품이다. AR의 경우 실제 대상 특히 공간을 대상으로 하기 때문에 AR의 기능과 공간 간의 모달리티가 중요하다. 모바일 기기에서의 AR이 가지는 사용자 모달리티는 극히 단순한 반면, 모든 것이 AR의 대상이 될 수는 없기 때문에 대상 공간 영역과 해당 요소를 공간모달리티로 제한해야 한다. 이렇게 공간모달리티가 사용자의 인식과 감각 양상이 허락하는 범위를 좁히고 실제 대상의 물리적 공간 구성과 AR 작동 요소를 정확히 매칭해야한다. 이 작품은 일반적인 주거 공간 특히 주방이 중심인데, 상호작용 대상으로서의 공간의 디자인과 가구, 그래픽 등이 AR 작품과 잘 어우러질 수 있도록 디자인되어있다.

반응과 통제 요소가 약한 관계 강화 공간 모달리티는 양상 중 가장 아날로그하면서 자연적인 상호작용 방법을 사용한다. 미디어를 사용하여 공감각 체험을 중요시 하거나 디지털 센서나 장치 조작에 의한 통제 요소가 거의 없어 잠재적 제 1 매트릭스의 감각장 조절과는 거리가 먼 방법이다. 사용자는 내부적 매체(internal medium)²⁶⁾를 사용하여 공간과의 관계에 대한 서사적 관계를 맺고, 공간은 사용자에게 유사-환경과 맥락에 대한 메시지를 전달한다.

사용자가 자극적인 반응 요소보다는 공간을 통해 인식과 세계에 대한 지평을 확장할 수 있는 계기를 마련하고 장소성을 획득하도록, 공간은 문화적·관습적 맥락의 공간 모달리티를 사용하여 상호작용을 이끌어낸다. 이를 위해 사용자의 자연스러운 행동 유도와 장소성 형성을 위한 상징적인 공감각 연출이 필요하다.

작가는 이 작품에서 인식과 지평을 확장시키는 방법으로 시점, 시선의 변화를 선택했다. 지면 혹은 수면의 높이로, 혹은 물속에서의 시선으로 작품의 공간 모달리티를 조정한 것이다. 관람객이 이 작품에서 사용하는 모달리티는 일상생활과 동일하나 공간이 가지는 감각 양상과 상호작용 방법인 공간 모달리티는 공간을 통째로 사용자의 시선으로 옮겨 놓았다. 인-비트윈(In-Between)이라는 용어로 인간과 자연의 관계 설명하고 있는데, 작가가 사용한 공간 모달리티는 시선을 대상 내부로 옮기기 위해 새롭게 구축된 ‘유사-환경’ 내부의 ‘유사-지면’을 시선 높이로 들어 올리고 구멍을 내어 사용자가 대상 세계 내부로 들어갈 수 있도록 하였다. 이렇게 변화된 시선을 통해 작가는 자연을 바라보는, 세계를 바라보는 관람객에게 자연과 세계에 대한 새로운 인식과 지평을 열어주었다.

[표 3]

공간 모달리티의 관계형성 강화(R3+R3) 사례

감각 지향의 반응 요소만 약화된 공간 모달리티는 사용자가 상호작용 시스템을 느낄 수 없을 정도로 자연적이고 체현적인 기술을 사용한다. 통제 요소와 관계 형성이 강화된 공간 모달리티는 환경·맥락 조절을 지향하는데, 배경적 지향 관계의 기술권 형성을 위한 공간 디자인이 강조된다. 즉 ‘유사-환경’ 조성을 위한 장소성 구축과 동시에 전체 공간에서 자연적 사용자 모달리티를 이끌어낼 수 있는 유비쿼터스 시스템 환경을 이용한다. 때에 따라서 사용자의 시각장 범위를 일상생활 이상으로 확장하는 디스플레이 방법을 이용하는 반면 사용자 모달리티 부분은 센서에 의존하여 사용자 직접 조작이 매우 단순하도록 디자인한다.

뮌헨의 BMW 박물관의 700㎡가 넘는 벽면은 흑백 LED와 불투명 유리벽체로 설치된 미디어 파사드 내부 건축물 표면을 덮고 있다. 작품의 이름에서도 암시하듯 박물관 전체를 기술권(Techno-Sphere)로서의 장소성을 구축한다. 이는 관람객이 일상생활에서 인지할 수 있는 감각장의 범위를 넘어, 공간 전체가 상호작용을 위한 시스템으로 채워진 ‘유사-환경’ 구축의 공간 모달리티를 사용한다.

사용자의 모달리티는 일상생활에서와 같은 행동인 반면, 박물관 내부는 센서와 LED인 미디어텍쳐(mediatecture)²⁷⁾로서 시스템 공간 그 자체가 된다. 건물 내벽에 촘촘하게 설치된 LED들 하나하나가 디스플레이의 픽셀(pixel)과 같은 역할을 하여, 문자나 이미지가 동영상처럼 움직이며 메시지를 전하는 미디어로 사용된다. 또한 센서를 이용하여 관람객의 특별한 조작 없이 일상적인 움직임을 따라가는 영상패턴을 만들어낸다.

[표 4]

공간 모달리티의 관계·통제 강조(R3+R2) 사례

통제 요소가 약한 공간 모달리티는 대부분 넓은 공간에서 불특정 다수의 사용자를 대상으로 이뤄지거나 반대로 사용자가 반응해야 하는 상호작용 영역 안에서만 행동해야하는 경우이다. 앞의 경우 사용자에게 특정한 조작을 요구하지 않고 자연적인 행동만으로도 공간을 통해 자신과 타자, 환경 등과의 관계를 생각할 수 있도록 디자인된다. 반대로 사용자가 상호작용 대상을 인식하고 제한된 영역에서만 반응하는 경우는 공간 내 상호작용 대상에 대한 강한 지향적 반응에 몰입하게 된다. 반응 강화 관계와 유사하지만 일반적으로 공간 연출이나 콘텐츠에 서사 구조가 강하게 내재되어 있으며 맥락 관계를 이해하지 못하면 관계 구조에 들어오지 못해 단순 반응에 그칠 수 있다. 따라서 복잡한 환경 조성보다는 최대한 단순하게 인식하고 이해할 수 있는 콘텐츠와 디자인이 사용된다.

겉으로 보기에는 일반적인 그림자 상호작용 놀이처럼 보이지만 매우 정교한 움직임 감지 렌더링 기능이 포함된 디테일한 날갯짓을 보여준다. 세 개의 초대형 스크린에서는 신화의 내러티브를 사용하여 날개, 새, 날기 등과 관련한 신화 속 세상으로 사용자를 끌어들인다. 여기에서 사용자는 ‘신화 속의 나’로서 ‘유사-자신’과의 관계를 맺게 되고, 움직임을 통한 단순한 즐거움을 넘어 세 편의 ‘나의 신화 이야기’를 서술하게 된다.

[표 5]

공간 모달리티의 반응·관계 강조(R1+R3) 사례

이 작품의 공간 모달리티는 초대형 스크린으로 빈 공간을 나눠 이벤트 공간과 차단하고 장식을 완전 배제하여 탈맥락적 공간을 구성한다. 이는 사용자가 스크린(신화세계)을 향한 강한 지향성을 갖도록 한다. 스크린의 거대한 스케일은 사용자가 대상을 통제하거나 조정하려고 하지 않고 주변 환경이나 반응에 독립되어 오로지 이벤트 공간에서 연출되는 조명과 사운드와 함께 신화이야기 속으로 빠져들도록 만든다. 강한 반응 요소와 함께 익숙한 신화를 이용한 서사 구조는 스크린 속의 세계와 새로운 ‘유사-자신’으로서의 관계를 맺도록 한다.

공간 모달리티 측면에서 반응 요소는 공간 연출에 대한 입출력을 통해 공간 표면의 콘텐츠나 상호작용 공간 구성에 변화를 주는 경우가 많다. 특히 공간에 사용되는 디스플레이 기술과 방법에 따라, 즉 시각장을 중심으로 하는 공감각 요소의 공간적 대응 방법과 콘텐츠가 가지는 서사 구조에 따라 그것이 관계 요소를 강조하거나 통제 요소를 강조하게 된다. 통제의 경우 사용자에 의해 입력된 감각 반응 요소를 감각적 출력의 형태로 상호작용하게 되는 데 이때 공간 모달리티는 사용자의 감각장을 조절하여 사용자 감각을 변형하는 데 집중한다. 사용자가 예측하지 못하는 반응은 새로운 경험을 제공하게 되고 그에 따라 사용자는 새롭게 대응하게 된다. 이렇게 변형된 감각은 새로운 반응으로 공간과 상호작용하면서 프로그램에 참여하게 된다.

[표 6]

공간 모달리티의 통제·반응 강조(R2+R1) 사례

예페 하인은 눈으로 보이는 감각에 의한 공간이 전부가 아니라는 것을 보여준다. 미리 프로그램화된 헤드셋, 그리고 천정 부분이 센서들로 구성된 공간 모달리티는 사용자의 감각장을 직접 조절하여 행동을 이끌어낸다. 공간에는 정보 표면으로서 공간 형태를 암시할 수 있는 그래픽이나 시각 반응을 위한 조명, 특수 효과 등은 사용하지 않았고 오히려 밝은 전시 공간을 통해, 잘 보이지만 보이지 않는 공간을 표현하였다. 물리적 공간은 비었지만 상호작용하는 반응으로 만들어지는 공간은 보이지 않는 미로의 구조를 가진다. 시각장으로는 인식할 수 없는 공간을 완전히 새로운 감각으로, 몸으로 익혀진 신체적 경험 공간을 만들었다.