Archives of Design Research

투명디스플레이는 스크린상의 정보를 후경과 함께 보여줄 수 있고, 사용자가 화면을 마주하면서 인터랙션을 수행하는 양면성과 스크린 후방에 위치한 사물을 스크린 정보와 함께 보여주는 투명성을 지니고 있다(Li, 2014). 그러나, 일반 디스플레이와 달리 투명성으로 인해 사용자가 접근 시 거리와 각도, 방향에 따라 사용자에게 인지되는 상이 달라질 수 있다(Harrison, 1995). 또한 전면과 배면에서 동시에 상을 볼 수 있는 양면성을 활용하여 디스플레이의 앞뒤 양면에서 동일한 정보를 둘 이상의 사용자가 인터랙션을 하는 경우 배면에 표시되는 시각 정보는 좌우 반전되어 제공되기 때문에 인식 오류 위험성이 발생된다는 제한점을 지닌다(Luz, 2014). 그러므로 이처럼 새로운 디스플레이에는 기존 방식 그대로 정보를 표현하기보다 적합한 방식을 새롭게 정의해야 하며, 이를 위해서는 투명 디스플레이의 특징 및 이를 통한 시각 정보의 인지적 특성 파악이 향후 새로운 디스플레이에 특화된 UI 방식을 구성하는데 선행되어야 할 것이다.

본 연구에서는 공간 디스플레이의 시각 모달리티 기반 정보 요소들을 사용자의 인지적 특성에 따라 세분화하고, 투명 디스플레이 양면에서 텍스트와 그래픽 정보가 각각 정방향이나 반전되어 제시되는 상황을 분석하여 각 요소들이 인지되는 효율을 실험을 통해 관찰하였다.

Figure 1 Research process

투명디스플레이는 디스플레이 자체가 투과도를 가지고 있어서 스크린 뒤편이 보이는 특징을 가지는 디스플레이를 말한다. 이러한 특성으로 인해 투명디스플레이에서 제시되는 정보 평면은 단일 디스플레이 표면 하나가 아니라 전경과 후경 정보의 합으로 인지되며(Hardy, 2012), 반대 표면의 정보 사용자의 인터랙션이 가능하다 (Lee, 20014).

Figure 2 Visual information area on transparent display

전경영역은 디스플레이에서 주요 정보가 표시되는 영역이고, 후경영역은 디스플레이가 위치한 환경이 보이는 동시에 디스플레이가 놓인 공간의 후경이 보이는 영역이다(Tanaka, 2008). 이때 사용자가 태스크 수행 시 시각적 주의집중(Focussed Attention)을 가하는 표면은 태스크마다의 목적에 따라 달라진다. 주의집중정보(관심정보)가 전경 정보이면 디스플레이에 표시되는 전경 정보가 주요 정보(Primary Information), 후경 정보가 부가 정보(Sub Information)로 작용한다(Son et al., 2015). 사용자의 주의집중정보가 후경에 위치한 정보이고 전경 정보는 이와 연관된 하위 정보를 제공하는 것이라면 후경 정보는 주요정보, 전경 정보가 부가 정보로 작용한다(Peterson, 2006). 전경정보와 후경정보는 주요 정보일 때에는 사용자의 정보처리 과정에서 각각 유사한 기능을 수행하지만, 부가정보일 때 그 기능에 차이를 보인다. 사용자의 관심사가 전경정보 A에 있고 후경정보 B가 부가정보일 경우에는 A와 B의 교집합인 중첩정보는 태스크 수행에 방해가 되는 요소로 작용하게 된다. 이때 사용자는 정보 처리과정에서 시선 초점 조절이나 인지적 정보 필터링 등의 비용을 투입하여 의식적으로 A 정보만을 표집하고 중첩정보는 제거하여 A 정보에 더 많은 집중을 시도한다(Lee, 2012). B정보는 사용자가 처해있는 상황에 대한 맥락정보(Contextual Information)를 전달하지만 주요 태스크 수행에 긍정적 지원을 하거나 전경정보와의 연결성이 높은 정보로 작용하지는 않는다.

Figure 3 Visual overlapping of frontal and rear side information on transparent display

사용자의 관심사가 후경정보 B에 있고 전경정보 A가 부가정보일 경우에는 A와 B의 교집합인 중첩정보는 태스크 수행에 지원을 하거나 강한 연관관계를 지니는 요소로 작용하게 된다. 쇼 윈도우에서 디스플레이 너머의 제품을 바라보면서 디스플레이 상단의 정보를 동시에 보는 경우가 해당된다. 이때 사용자의 태스크 수행을 위한 인지 투입 비용은 분산 주의를 수행한다는 측면에서는 A정보가 주의집중정보 일 때와 유사하지만 연관성이 높은 정보를 처리하는 과정에 있으므로 부가정보 A는 후경정보 B에 관련된 정보를 제공하는 메타정보로서 기능하게 된다.

즉 투명 디스플레이 사용 환경에서 전경정보와 후경정보의 기능은 그 정보가 주의집중정보가 아닌 부가정보로 작용할 때 주요 정보와의 관계성과 정보종속관계에 따라 분류가 가능하다(Bower, 2013).

투명 디스플레이의 인터랙션 사이클은 정보 조작(Control) 단계와 정보 인식(Perception) 단계로 구분할 수 있다(Gutwin, 2003). 인식 단계에서는 기존의 불투명 일반 디스플레이와 같은 시각영향요소를 가지고 있는 동시에 투명성에서 비롯되는 시각영향요소를 동시에 지니고 있다(Ramos et al, 2014). 특히 정보를 두 명 이상의 사용자가 마주하여 볼 수 있기 때문에 디스플레이에 나타나는 정보의 정방향성과 역방향성에 대한 고려가 필요하다(Cox, 1998).

디스플레이에서 사용자에게 전달되는 정보는 언어적, 공간적 코드에 따라 구분되어 각각의 시각-청각 모달리티를 통해 인간의 작업 기억에 전해진다 (Wickens, 2013). 투명 디스플레이로 표현되는 정보 또한 시각 모달리티를 통해 전달되는 언어적, 공간적 코드의 정보로 크게 구분할 수 있다(Kim, 2012). 언어적 코드를 지니는 시각 정보, 즉 문자는 조형, 길이, 배치, 크기, 색상 등의 다양한 세부 속성으로 구성된다. 한편 공간적 코드를 지니는 시각 정보, 즉 이미지는 색채, 형태, 위치, 크기 등 비 언어적인 공간 조형 요소를 통해 표현된다. 그런데 이러한 이미지는 감각기관에서 지각되어 단기기억에서 처리되는 공간 코드 - 시각 모달리티 기반 시각 정보로도 인지되지만, 맥락에 따라서는 개개인의 장기 기억에서 저장하고 있는 멘탈모델이나 선언적- 절차적 지식으로부터 인출되는 정보와 결합되어 추가적인 의미를 형성하기도 한다. 이러한 과정은 메타 인지(Meta Cognition)로 정의할 수 있는데, 이 메타 인지는 이미지 정보를 단순히 시각 모달리티 - 공간 코드 조합으로 구분하고 한 종류로 간주했던 기존 공학 심리 기반 이미지 정보 구분을 좀 더 세분화하여 컨텍스트에 따라 장기기억 내에 저장된 유형별 지식과의 결합도에 따라 의미적으로 보다 세분화된 차원을 지니는 정보로 나눌 수 있음을 보여준다(Yoo, 2013). 풍경 사진 또는 기하학적 패턴과 같은 공간적 요소만을 지니는 이미지들은 픽토그램, 로고 등의 사회문화적 상징과 결합된 이미지와는 사용자에게 다르게 인지된다. 또 방위 및 지리 정보와 결합되어 포함하는 이미지 그룹은 상징기호와 결합된 이미지와는 다른 지식의 추상 속성을 지닌다(Kersten, 2006).

Figure 4 Perception and meta cognition of visual information

투명 디스플레이에서 전면에 특정 정보를 제공할 때 배면에서는 반전되어 보이게 된다. 이 때 텍스트와 각 이미지 정보가 지니는 명확성, 이해도, 접근 효율은 좌우 반전 시 유지되기도 하고 저하되기도 한다(Hegarty, 2011). 즉, 정보의 각 특성에 따라 투명 디스플레이 배면에서 좌우 반전된 정보 인지율은 전면 대비 일괄적으로 하락하는 것이 아니라 속성별로 다른 양상을 보인다.

Figure 5 Abstract layers of meta cognized visual information

본 실험에서는 좌우 반전된 시각정보의 인지 효율 저하를 검토하기 위해 앞서 분류한 4가지 차원의 시각 정보 요소들이 함께 제시되는 화면을 구성하여 이를 제공하는 투명한 디스플레이 세트를 제작하였다. 실험을 위해 두 도시의 지하철 노선도를 보여주는 투명 디스플레이 전면에서 각 정보가 정방향으로 제시 되는 경우와 반전된 경우에서 피실험자의 인지 수행을 관찰하였으며 문자와 이미지의 반전에 따른 대상자들의 반응 시간을 분석하였다.

투명 필름 프로토타입과 정성 조사를 위한 60인치 크기의 투명 디스플레이 세트를 제작하고 2014년 3월에 총 24명의 20대 남녀를 대상으로 테스트를 실시하였다. 모두 주 5회 이상 지하철을 이용하며 서울 지하철을 10년 이상 사용한 경력자들이지만 외국 지하철 사용 경험은 없었으며 별도의 성별 컨트롤은 실시하지 않았다. 실험은 사전 설문 이후 세 단계로 진행되었다. 첫 번째 실험에서는 반전된 이미지와 텍스트 정보가 태스크 수행에 미치는 효율저하를 익숙한 서울시간으로 측정하는 정량평가를 수행하였다. 이후 모든 피험자들은 익숙한 지리정보가 반전되었을 때의 익숙한 정보 대비 인지 효율 저하를 측정하기 위해 반전된 외국의 지리 정보를 토대로 동일한 정량 평가를 수행하였다. 마지막 정성 평가에서 피험자들은 반전된 상징적 이미지 공간적 이미지에 관한 선호도와 감성 만족도에 관한 정성적 평가를 수행하였다.

Figure 6 Process of experiment

60“ 투명 디스플레이 세트 상의 복합적인 시각 정보를 표시하는 디스플레이를 가정하고, 투명 아크릴에 프로젝션 필름을 부착한 모의 투명 디스플레이 환경을 구축하였다.

Figure 7 Design of experiment setting

서울 지하철 중 2, 3, 6호선만을 추출하여 동서남북 방향별 방위 및 지리기반 정보코드 배치를 지니면서 간략화한 노선도를 제작하였다. 역명, 노선 상의 유명 방문지 정보는 텍스트 정보와 공간 정보로 배치되었고, 익숙한 기관 로고타입이 추가되어 심볼 이미지 정보를 전달하도록 디자인 되었다. 각 레이어는 모두 정방향 디자인과 반전 디자인이 함께 제시되었다. 동일한 방법으로 사용자들에게 생소한 런던의 지하철 노선도 일부도 함께 제작되었다.

[실험 1 : 친숙도 높은 정보의 반전 화면 인지실험] 에서는 그래픽과 텍스트가 정방향-역방향으로 디자인 조합된 4종류의 서울시 지하철 노선도를 피험자들에게 제시하고 특정 역을 찾도록 하는 시각적 탐색 태스크 수행시간과 “A역에서 B역으로 가기 위해 환승해야 하는 역은?” 과 같은 정보해석-목표수립 태스크의 두 가지 태스크를 제시하고 피험자의 수행시간을 측정하였다. 정보지시는 시각 코드 중첩 제공에 의한 인지 처리 속도 저하를 피하기 위해 음성코드로 전달되었다.

Figure 8 Combination of four subway map dependent on visual codes

모든 정보 반전 조합에 따라 피험자들은 친숙한 노선도의 좌우가 반전된 상태의 이미지에서 태스크를 수행하도록 요구되었고 학습효과를 피하기 위해 순서는 랜덤으로 이루어졌다. 이미지와 텍스트의 반전 여부가 각 태스크별 인지 처리 효율에 미치는 영향은 각각의 세트에서의 정보 검색 및 의사 결정 태스크 수행 시간 측정 비교를 통해 수행되었다. 따라서 사용자들은 랜덤순서로 4개의 코드 레이어가 모두 정방향으로 제시되는 스크린에서 태스크를 수행하도록 요구 받고, 이후 레이어 중 하나가 반전된 스크린을 제시 받고 유사한 태스크를 수행 받도록 지시되었다.

[실험 2 : 친숙도 낮은 정보의 반전 화면 인지실험] 에서는 이미지 그룹 내에서 실제 세계 정보와 연관이 강한 지리적 이미지의 반전이 미치는 영향을 검증하기 위해 모든 피험자들이 경험한 적 없다고 답한 런던의 지하철 노선도를 각각 좌우 반전하여 동일한 태스크를 수행하였고 이 결과를 실험 1의 결과와 비교하였다. 이를 통해 친숙도가 다른 시각 정보의 반전에 따른 인지영향을 측정하였다.

Figure 9 Combination of less familiar subway map dependent on visual codes

[실험 3: 반전 이미지 정성평가]에서는 지리정보 뿐 아니라 일반 사진, 로고 등 상징적 이미지와 공간적 이미지가 반전 되었을 때의 인지적 효율과 별도로 사용자의 감성적 수용도 관련 응답을 정성 수집하였고, 만족도를 파악하기 위해 실험 후 인터뷰를 별도 수행하였다. 이를 통해 지리적 이미지(Geographical Image), 상징적 이미지(Symbolic Image), 공간적 이미지(Spatial Image)의 반전여부에 따른 사용자들의 수용도를 검증하였다.

Figure 10 Scene of transparent display experiment

친숙도가 높은 공간정보와 텍스트 기반 화면을 해석할 때에는 텍스트 정보가 방위 및 지리 정보에 비해 좌우 반전 시 인지 수행에 영향을 더 받는 것으로 나타났다. 또한 투명 디스플레이 배면에서 전면 대비 인지 저하가 비교적 크게 일어나는 순서는 텍스트 > 이미지 (방위 및 지리 정보) 순으로 나타남을 확인하였다.

이미지 그룹 내에서 이미지 특성에 따른 인지효율은 정량적인 영향 평가 수치가 나타나지는 않았다. 특히 사회문화적 상징과 공간적 이미지의 인지는 디스플레이 접근 방향에 거의 영향을 받지 않는 양상을 보였다. 그러나 사회문화적 상징 요소는 좌우 반전된 상의 인지율 저하는 없더라도 감성적으로 잘못 디자인된 정보로 여겨진다는 답이 많았다. 인터뷰를 통한 정성 평가에서는 지리적 정모 > 사회문화적 상징 > 공간적 이미지 순서로 부정적인 반응이 크게 나타났다. 따라서 투명한 디스플레이의 전/배면에서 사용자들이 함께 정보를 사용하는 경우 텍스트나 지도, 배치도 정보 같은 지리 방위 이미지들은 멘탈모델 민감도가 높으므로 반전이 최대한 발생하지 않는 방향으로 디자인을 제안할 필요가 있음을 보여준다. 또, 로고 등의 심볼 이미지는 인지율 저하는 발생하지 않았으나 인터뷰에서 부정적인 감성 결과가 보고된 경우가 많았다. 반면 일반 사진, 풍경, 그림 등의 공간정보 이미지와는 인지율 및 감성 평가 모두에서 좌우 반전시에도 별도의 부정적 반응은 발견되지 않았다. 따라서 광고, 풍경, 제품 등의 이미지 정보는 현재의 투명 디스플레이 배면에서 반전되어 표현되어도 사용성의 저하는 없는 것으로 예측할 수 있다.

실험 수행 도중 수집된 피험자들의 음성 정보 분석(Verbal Protocol)l은 기존 지식과 인지된 정보간 관계성이 높고 친숙한 이미지일수록 좌우반전에 대한 거부감 증대와 인지율 감소가 더 확연하게 드러났다.

검증결과 공간적 이미지에는 반전 여부를 인지하지 못하고 자연스럽게 느끼는 경우가 많았으며 반전 여부가 감성 만족도나 인지에 영향이 없다는 반응이 많았다. 상징적 이미지의 경우에는 인지 해석 과정에는 문제가 없었으나, 잘못된 정보라는 느낌이 든다는 반응과 함께 부정적인 응답이 증가하였다. 지리정보가 반전된 경우는 절대적으로 부정적인 반응이 다수였고 즉각적으로 인지, 해석하는데 방해가 된다는 의견들이 있었다. 다만, 친숙하지 않은 지리정보는 일반 이미지와 마찬가지로 별도의 부정적 반응을 보이지 않았다. 장기 기억 등 메타인지가 시각 정보의 좌우 반전에 영향을 미치지 않는 디스플레이의 경우, 반전된 이미지들은 태스크 수행에는 큰 영향이 없으므로 복잡한 태스크 관련 시스템을 제외하면 투명디스플레이의 양면에서 더 자유로운 활용이 가능할 것으로 예상된다.