소셜 미디어를 기반으로한 감정분석 및 이를 활용한 감정의 시각화 사례연구 : 미디어 아트 사례를 중심으로

1. 1. 연구의 배경 및 목적

소셜 미디어(social media)로 대표되는 정보 기술의 발전은 정보를 생산하고 전달하는 주체를 매스 미디어에서 대중으로 확대시켰다. 과거 매스 미디어의 수용자였던 대중들은 언제 어디서든지 스마트폰을 통해 인터넷에 접속하여 시공간의 제약 없이 자유롭게 정보를 생산하고 공유함에 따라 생산, 유통, 저장되는 정보량은 기하급수적으로 늘어나고 있다. 이렇게 생산된 대부분의 정보들은 개인이나 집단의 의견을 반영하는 것이므로 평가와 감정 등의 주관적인 의견을 분석하기 위한 비정형 데이터로 활용된다. 많은 기업들이 이러한 비정형 데이터 분석을 통해 소비자의 심리를 파악하고 마케팅에 이용하거나 정치적 선호도를 분석하여 정책 수요를 예측하는 등 그 활용 범위가 갈수록 넓어지고 있다. 소셜 미디어의 급격한 성장으로 수많은 데이터가 발생함에 따라 어떤 데이터가 정보로서 유효한지를 판별하는 과정은 점점 더 많은 연구를 필요로 하고 있다. 이와 함께, 방대한 양의 정보를 판별하기 위해 자동으로 의견을 분석하는 감정 분석에 대한 관심 또한 증가하고 있다. 감정 분석은 단어와 문맥을 분석하여 텍스트의 감정을 파악하는 기술이다(Jang, 2009). 감정 분석에 대한 사회적 요구의 증가에 따라 감정 분석에 대한 다양한 연구가 진행되고 있지만, 지금까지의 연구들은 대부분 검색 알고리즘이나 프로세스 기술 및 기반 플랫폼 구축에 초점을 맞추고 있다. 소셜 미디어 데이터에 대한 기계적인 분석보다 더 중요한 것은 데이터 속에서 패턴을 찾아내는 것이다. 즉 데이터에서 패턴과 의미를 발견하기 위한 하나의 방법으로서 ‘데이터 시각화(data visualization)’가 등장하게 된다.

감정 분석을 위한 데이터 시각화와 관련하여 다음과 같은 선행 연구들이 있다. 트위터로부터 수집한 문서의 감정을 분류하여 특정 감정이 다우존스 평균주가(DJIA, Dow Jones Industrial Average)를 예측하는 선행지표가 될 수 있음을 보여준 연구(Bollen, et al., 2011)는 ‘행복’, ‘친절’, ‘경계심’, ‘지각’, ‘활력’, ‘침착성’의 6가지 기분 상태로 감정을 분류하였고, 이철성(Lee, 2013)은 트위터(Twitter)로부터 수집한 데이터를 이용하여 기계 학습 모델을 적용해 7개의 감정인 ‘분노’, ‘혼란’, ‘우울’, ‘피로’, ‘친근감’, ‘긴장감’, ‘생동감’으로 영화평을 분류하여 영화 장르별 감정 특성을 분석하고 장르별 감정의 특성을 방사형 그래프로 도식화하였다. 남민지 외(Nam, et al., 2015)의 연구에서는 인스타그램 해시태그를 이용하여 감정을 분류하고 이를 사용자 게시물에 적용하여 게시글의 감정 형용사와 분류된 감정 키워드 간 유사도 측정을 통해 감정을 분석하였고, 이를 SNS상의 사용자 맞춤형 서비스 또는 감성 마케팅 등에 활용할 것을 제안하였다. 이러한 연구들은 감정과의 관계 분석을 통해 현상을 파악하여 상업적 활용 방안을 제안한다는 특징이 있지만, 감정 분석의 디자인 방법에 대한 고찰과 같은 시각화 관련 연구들은 드물다. 이처럼, 감정 분석은 주로 정보 기술과 관련된 분야에서 이루어져 왔으며 주로 유통과 마케팅의 상업적인 측면에서 시도되고 있다. 프로그래밍을 통한 시각화 구현 시 발생하는 다양한 기술적 문제와 디자이너 참여의 제한적 여건으로 인해 디자인 분야에서의 감정 분석을 활용한 학술적 연구는 아직 초기 단계에 머물고 있다. 이강이, 최종훈(Lee & Choe, 2017)은 스마트폰을 통해 저장되는 라이프로깅 정보에 사용자의 심장박동을 기반으로 감정 정보를 포함하여 관리할 수 있는 다이어리 애플리케이션 인터페이스를 제안하였다. 라이프로깅 정보를 저장하는 센싱 기술에 대한 분석과 정보 시각화 분야의 방법론에 대한 선행 연구를 진행하여 감정에 큰 변화를 준 글이나 사진 정보를 색상으로 기록하는 애플리케이션 인터페이스를 제시하였다. 이들은 스마트폰의 센싱 기술이 인간의 감정 영역에 미치는 영향을 시각적 관점에서 연구했다는 데 그 의미가 있지만, UI 설계에 있어서 컬러와 이미지만을 표현 방식으로 활용했다는 한계를 가지고 있다.

앞선 연구들의 한계를 감안하여, 본 연구에서는 시각적 표현 방식과 소셜 네트워크의 사용 방식이 다양하게 연구되는 미디어 아트 사례를 분석하여 디자인 분야에의 적용 방법을 연구할 것이다. 선행 연구들이 현상의 분석과 분석 결과의 명료한 정보 전달을 위한 시각화에 집중한 반면, 본 연구는 감정의 추상성과 복잡성, 경험적 개념에 집중하여 관객/사용자에게 감정의 경험을 전달하는 시각화 방향을 모색한다. 따라서 본 연구의 목적은 소셜 미디어를 활용한 감정 분석의 개념과 특징을 살펴본 후, 소셜 미디어를 통한 감정 분석의 시각화 사례를 분석하여 그 특징과 유형을 파악하고 감정의 시각화를 위한 방향성을 모색하는 것이다. 본 연구가 감정 분석 관련 전문 분야에 디자이너의 참여와 데이터 시각화 분야의 발전 방향 및 가능성 탐구를 위한 선행 연구가 될 것으로 기대한다.

1. 2. 연구 범위 및 방법

연구의 방법은 크게 세 가지로 구분된다. 첫 번째는 소셜 미디어와 감정 분석의 개념 등 이론적 고찰을 위한 문헌 연구를 진행하였다. 두 번째는 앤드류 반데 모어와 헬렌 퍼체이스(Moer & Purchase, 2011)가 제안한 데이터 시각화 연구를 위한 삼각형 모델을 활용하여 사례를 분석하고 디자인 영역의 위치를 고찰하였다. 세 번째, 소셜 미디어를 활용하여 감정을 시각화한 작품의 사례 분석을 진행하였다. 네 번째, 위에 제시한 삼각형 모델에 기반하여 사례 분석을 분류하고, 디자인 영역에서의 감정의 시각화를 위한 삼각형 모델의 세분화를 제안함으로써 연구의 종합적인 결론을 맺었다.

감정의 시각화 사례를 분석하기 위해 감정에 대한 개념과 감정 분류 체계를 고찰함에 있어, 기본 감정에 대한 연구들을 조사하여 감정의 용어 사용과 감정 분석의 시각에 따른 다양한 접근법들을 참고하였다. 선행 연구자들의 분류 체계를 기반으로 사례들의 표현 방법을 분석하였는데, 사례 표본은 소셜 미디어를 도구로 이용하여 감정을 분석하고 시각화하는 미디어 아트 작품으로 제한하였다. 미디어 아트는 소셜 미디어에서 실시간 생성되는 데이터의 동시성을 가장 잘 활용하는 예술 분야로, 소셜 미디어의 참여, 개방, 커뮤니티, 대화, 연결이라는 특징을 가장 적절하게 활용한다고 할 수 있다. 미디어 아트는 인터랙션 장치를 통해 사용자/관객의 적극적 참여를 유도하며, 아티스트 고유의 예술성을 바탕으로 한 참신하고 적절한 시각적 단서의 제공과 그에 따른 해석의 다양성을 통해 사용자/관객에게 각자의 경험과 생각을 환기하게 함으로써 스토리텔링의 효과를 갖는다.

선행 연구들로, 김원희(Kim, 2016)의 연구는 소셜 미디어를 활용하여 디지털 공간과 아날로그 공간에서의 상호작용으로 참여자들이 스스로 감정을 표현할 수 있는 작품을 제작하여 소셜 미디어 아트의 표현 방법을 확장 시켰다. 박진완 외(Park, et al., 2011)는 데이터 시각화에 대한 실험적 시도와 이를 해석하는 새로운 도상학에 대해 분석하여 예술적 관점에서의 데이터 시각화를 연구하였고, 예술적인 데이터 시각화 작품을 보는 감상법 설계의 필요성을 제안하였다. 이수진(Lee, 2014)은 데이터를 소재로 한 예술 작품의 시각 표현과 기술 구현 과정을 논의하여 데이터의 시각화가 정보로서 갖는 의미뿐 아니라 시대적 상황을 반영하는 예술의 기능에 의미가 있음을 제안하였다. 이처럼, 이전의 연구들은 예술 작품을 위한 소재로서의 데이터와 시각화의 표현 방법 확장에 대한 분석이 주를 이룬다. 그러나, 데이터 시각화에 대한 연구가 활발한 그래픽 디자인 분야와의 연결성을 논의하는 연구는 부족하다. 이에 본 연구는 미디어 아트 사례를 분석하여 디자인 분야에서 감정 데이터 시각화의 표현 방법 확장과 이를 통한 실용성 및 심미성의 균형을 기대할 것이다. 미디어 아트 사례 수집은 디자인 블로그, 데이터 시각화 관련 책 그리고 선행 연구 논문 등에서 언급된 사례들을 활용하였다.

2. 1. 소셜 미디어의 개념과 정의

소셜 미디어란 사회를 구성하는 개인들이 의견, 생각, 경험, 관점 등을 서로 공유하기 위해 사용하는 플랫폼과 온라인 툴을 뜻한다(Lee, 2013). 소셜 미디어라는 용어는 가이드와이어 그룹(Guidewire Group)의 창업자 크리스 쉬플리(Chris Shipley)가 ‘The Blog Conference(2004)’에서 처음 사용하였다. 그는 ‘자신의 생각과 의견, 경험, 관점을 서로 공유하고 참여하기 위해 사용하는 개방화된 온라인 툴과 미디어 플랫폼’을 소셜 미디어로 정의 하였다. 김미경 등(Kim, et al., 2012)에 의하면 소셜 미디어는 ‘친구나 지인과 교류할 수 있는 연결망, 개인의 사적인 정보를 수록할 수 있는 공간을 제공한다는 점에서 오프라인에서 성행하는 관계 맺기를 온라인으로 끌어온 인맥 형성 서비스’라고도 불린다. 카플란과 핸레인(Kaplan & Haenlein, 2010)은 ‘웹 2.0의 이념과 기술을 기반으로 사용자가 생성한 콘텐츠의 제작과 교환을 가능하게 하는 인터넷 기반 어플리케이션’을 소셜 미디어로 정의하였다. FKII 조사연구팀(2006)에 따르면 소셜 미디어의 주요 특성은 참여(participation), 개방(openness), 대화(conversation), 커뮤니티(community), 그리고 연결(connectedness)이라 할 수 있다. 즉, 소셜 미디어는 정보 공유와 참여가 개방되어 있어 누구나 정보 생산의 주체가 될 수 있으며 온라인 네트워크를 통해 연결하고 소통함으로써 자유롭게 정보를 생산하고 공유할 수 있는 매체라고 할 수 있다.

이와 같이 시공간의 제약 없이 자신의 생각과 의견을 공유하며 참여하는 공간을 제공하는 소셜 미디어는 특정 주제에 대한 사람들의 태도, 의견, 성향과 같은 데이터를 수집, 분석하는 감정 분석(emotion analysis)의 주요한 정보 수집 매체이다. 따라서, 소셜 미디어는 사람들의 참여를 용이하게 하여 풍부한 감정 데이터 수집을 가능하게 하고, 실시간으로 감정의 변화에 반응하여 감정 분석 결과를 시각화에 즉각적으로 반영하여 전달할 수 있게 하는 중요한 도구이다.

2. 2. 감정 분석의 이해

‘Sentiment analysis’는 사람들의 태도, 의견, 성향과 같은 데이터를 활용하여 특정 주제에 대해 긍정적인지 혹은 부정적인지를 분류하는 기술이다(Seo & Yoo, 2017). ‘sentiment analysis’는 ‘감성 분석’ 또는 ‘감정 분석’으로 해석 된다. ‘sentiment analysis’ 의 선행 연구 제목들을 살펴보면, ‘소셜 데이터의 주된 감성 분석에 대한 연구 - Study on Principal Sentiment Analysis of Social Data’(Jang, 2014), ‘설명 가능한 주제 단위의 감성 분석 기반 추천 시스템 - Explainable Recommendation based on Aspect: level Sentiment Analysis’(Shin, 2019), ‘교육정책관련 여론탐색을 위한 소셜미디어 감정분석 연구 - A Study on Social Media Sentiment Analysis for Exploring Public Opinions Related to Education Policies’(Chung, et al., 2017), ‘언어자질기반 한국어 감정 분석 - Sentiment analysis of Korean: a linguistic feature-based approach’(Jang, 2011) 등으로, ‘sentiment analysis’는 ‘감성 분석’과 ‘감정 분석’으로 혼용되고 있음을 알 수 있다. 신수정(Shin, 2014)은 IDG Tech Report에서 ‘emotion’을 ‘감정’으로, ‘sentiment’를 ‘감성’으로 사용하며 “원문인 ‘sentiment’를 번역해 ‘감성 분석’, 혹은 ‘감정 분석’으로도 불리나 기사에서는 현재 널리 쓰이고 있는 ‘감성 분석’이라는 용어를 사용한다.”라고 하였다.

정진명 등(Chung, et al., 2017)에 의하면 감성 분석은 크게 세 가지 단계로 나눌 수 있다. 첫 번째는 ‘데이터 수집’ 단계로 여러 소셜 미디어 매체에서 정보를 수집하는 과정이다. 두 번째는 ‘주관성 탐지’ 단계로 수집된 정보에서 의견, 생각, 관점 등 사용자의 주관을 알 수 있는 부분을 걸러내는 단계이다 . 세 번째는 ‘극성 탐지’ 단계로 추출한 데이터를 ‘좋음’과 ‘싫음’의 양 극단으로 분류하는 과정이다. 즉, 감성 분석은 텍스트의 주제를 분석하거나 텍스트의 저자가 주제에 대하여 어떠한 감정을 느끼고 있는가를 분석하기보다, 텍스트의 저자가 주제에 대하여 느끼는 감정의 긍정 혹은 부정이라는 감각적 측면을 분석하는 것이다.

이수상(Lee, 2016)은 한글로 된 감정 단어들의 의미적 관계와 범주를 분석하는 연구에서 감성과 감정을 구분하였는데, “감성은 인간이 눈, 코, 귀, 입 등을 통해 외부로부터 자극을 받아들이고 파악하는 감각(sense) 또는 인식의 능력을 의미하며 심리학이나 의학에서 감각을 받아들이는 성질의 의미를 나타내는 감수성과 유사한 개념”을 의미한다. 즉, 감정은 인간의 내적인 느낌의 표현이며, 감성은 인간이 외부 환경의 변화를 느끼고 구분하는 역량으로 어떤 대상에 대한 느낌은 감성으로 파악하고, 감정으로 표현하는 것이다. 이구형(Lee, 1998)에 따르면, 감정은 외부의 감각 자극에 대하여 두뇌에서 이루어지는 단계적인 정보 처리의 결과로 나타나며, 생리적·신체적 반응을 동반하는 데 비하여, 감성은 반사적이고 직관적으로 발생되며, 겉으로 나타나는 생리적 변화가 없다. 또한, “감정은 동일한 대상에 대하여 여러 사람이 유사한 반응을 보이는 공통성과 객관성을 갖지만, 감성은 동일한 대상에 대해서도 개인에 따라 다양하게 나타나며 시간과 환경에 따라서도 변화한다(Lee, 1998).”

본 연구에서는 앞에서 언급한 선행 연구들과 같이 어떤 특정 대상에 대해 느끼는 긍정과 부정이라는 감각적 측면이 아닌, 대상에 대한 내적인 느낌으로 긍정과 부정의 구분을 넘어 특정한 마음의 상태(슬픔, 행복, 분노 등)와 그것의 표현을 시각화하는 사례들을 분석하기에 ‘감정 분석’이라는 용어를 사용하는 것이 적합하다고 본다.

3. 1. 감정의 개념

‘감정’의 사전적 의미는 어떤 현상이나 일에 대하여 일어나는 마음이나 느끼는 기분이다. (국립국어원). 최현석(Choi, 2011)에 따르면 ‘감정(emotion)’의 어원은 라틴어 ‘e + motio’에서 파생되었는데, 이는 ‘운동(motion)’과 ‘밖으로(e-,out)’의 합성어로서 감정은 어떤 사건의 직접적인 결과가 아니라 인간의 마음 속에서 느낀 것이 밖으로 표출된 것이라고 할 수 있다. 심리학자들은 감정 상태에 따른 신체 변화에 대해 연구해 왔다. 윌리엄 제임스(William James)는 흥분을 일으키는 사실을 지각하면 신체 변화가 나타나는데 이러한 변화에 대한 느낌을 감정으로 정의하였고(Choi, 2011), 캐논(Cannon)은 분노와 두려움 같은 극단적 감정은 폭발적인 몸의 활동을 준비하는 응급 반응을 수반한다고 하였다(Jung & Na, 2007). 제니퍼 로빈슨(Robinson, 2005)에 따르면 철학자 윌리엄 라이온스(Lyons, 1980)는 그의 저서 ‘『감정(Emotion)’』에서 감정을 ‘자신이 처한 상황에 대한 주체적 평가로 야기된 생리적으로 비정상적인 상태’로 정의 하였다.

감정의 유사어로 정서, 감성 등이 있는데, 이수상(Lee, 2016)에 따르면, 정서(affect)는 개인의 감정, 생각, 행동 등과 관련된 상태로 감정보다는 넓은 의미를 나타내며, 감성은 외부로부터의 자극에 반응하는 감각 또는 인식의 능력을 의미한다. 감정은 인간의 내적인 느낌의 표현이며, 감성은 대상의 외적인 자극을 느끼는 역량이다. 예를 들어, ‘기쁘다’, ‘슬프다’ 등 내적인 느낌을 표현하는 것은 감정인 반면, ‘예쁘다’, ‘고급스럽다’ 등 외부로부터의 감각 자극에 대한 반응은 감성이다(Jung & Na, 2007). 즉, 감정은 대상에 대해 느끼는 기분을 생리 반응, 얼굴 표정, 기호, 언어 표현 등으로 표현한 것이다(Lee, 2016). 생리 반응은 심장 박동수와 맥박수의 증가, 호흡량의 증가, 피부 혈관의 수축 등 자율신경 조직의 교감 부분의 활동에 기초한다(Parkinson, 1995). 황유선 외(Hwang, et al., 2010)의 연구에 따르면, 얼굴 표정은 생리 반응보다 많은 감정을 나타낼 수 있으며, 충분한 의사전달 역할을 수행할 뿐 아니라 문화나 인종적 특징에 기인하지 않는 보편적인 커뮤니케이션 단서가 된다. 이수상(Lee, 2016)에 따르면, 기호를 통한 표현은 문자나 이미지를 이용하여 감정을 표현하는 것으로, 이모티콘(emoticon)이 대표적인 기호 표현 방법이며, 인간의 감정 상태를 가장 정교하게 표현하고 전달할 수 있는 수단은 언어 표현으로, 감정을 표현하는 언어의 형태를 감정 단어라 한다.

본 연구에서는 기쁨이나 슬픔 등 내적인 느낌을 표현하며 동일한 대상에 대하여 여러 사람이 유사한 반응을 보이는 공통성과 객관성을 갖는 ‘감정’ 용어를 사용하고자 하며, ‘emotion’을 감정으로, 감정 분석은 ‘emotion analysis’로 번역한다.

3. 2. 감정의 분류

지난 수년 동안 다양한 학문 영역에서 감정에 대한 연구가 이루어졌는데, 미국의 사회학자 시어도어 켐퍼(Kemper, 1987)는 그의 논문에서 학자들이 제안한 기본 감정들을 진화론적, 신경, 정신분석적, 자율신경계, 얼굴 표정, 경험적 그리고 발달적 접근 방법으로 각각 나누어 분류하였다<Table 1>.

Table 1

Primary Emotions Proposed in Recent Theories

켐퍼는 학자들이 제안한 기본 감정의 분류를 일곱 가지 접근법에 따라 분류하였는데, 크게는 인간은 네 가지 기본 감정을 선천적으로 타고난다는 실증주의적 접근법과 사회 시스템 내에서 후천적으로 생성된다는 사회 구성주의적 관점의 두 가지 접근으로 나뉜다. 켐퍼에 따르면, 사회가 고도화될수록 경험이 세분화되고 이에 따른 감정들 역시 미세하게 차별화되지만, 이러한 새로운 감정도 감정으로 경험되기 위해서는1차 감정이라고 말하는 네 가지 기본 감정과의 연결을 통해 생성되어야 한다. 즉, 실증주의적 접근법과 사회 구성주의적 접근법을 함께 고려해야 감정의 수를 구성할 수 있다. 켐퍼가 여러 학자들의 이론에서 발견한4가지의 기본 감정은 두려움, 분노, 우울, 만족으로, 감정의 이름은 표준화되지 않았으며 동일한 감정에 대해 다른 용어를 사용하거나 동일한 감정의 강도 수준을 다른 용어로 반영할 수 있다고 하였다. 예를 들어, 만족과 행복은 동의어이며, 우울은 슬픔의 높은 강도를 말한다.

미국의 심리학자 폴 에크만(Paul Ekman)은 얼굴 표정을 기준으로 두려움, 노여움, 슬픔, 행복, 혐오, 놀라움의 여섯 가지 감정을 ‘기본 감정’이라고 보았고, 얼굴 표정으로 여러 문화를 비교해본 결과 인간에게는 보편적인 감정이 있는데 이는 다른 문명에 살고 있어도 동일하게 느끼는 공통 감정이라고 연구 결과를 밝혔다. 또 다른 정서 심리학자 로버트 플루칙(Robert Plutchik)은 폴 에크만이 말한 감정들을 기초로 기대와 수용 두 가지를 덧붙여 여덟 가지의 기본 감정으로 분류한 ‘정서 수레바퀴(Emotion Wheel)’ 모델을 제시하며, 인간의 감정은 종의 ‘생존’을 위한 적응의 결과물이라는 진화론적 접근법을 제안하였다. 예를 들어, 두려움과 분노는 인간이 위험에 직면했을 때 생존을 위해 행동할 수 있는 힘을 주며, 만족은 휴식을 취하게 하여 생존을 위한 노력을 유지할 수 있도록 한다.

플루칙(Plutchik, 1980)은 기본 감정을 공포, 분노, 슬픔, 기쁨, 수용, 혐오, 기대, 놀라움으로 분류한 ‘감정 바퀴(Wheel of Emotions)’ 모델을 제시하였는데<Figure 1>, 8가지 기본 감정이 아닌 다른 감정은 기본 감정의 혼합에서 파생되며, 이는 3원색의 원리를 기반으로 만들어졌다. 기쁨(joy)과 기대(anticipation)라는 감정이 더해져 낙관(optimism)이라는 감정이 파생되며, 혐오(disgust)와 슬픔(sadness)의 감정이 더해져 회한(remorse)이라는 감정으로 나타나게 된다. 이처럼 플루칙은 유사한 감정을 묶어 같은 계열의 색으로 표기하였고 감정 어휘의 감정 강도를 컬러로 표현하였다.

Figure 1

Robert Plutchik's Color wheel of Emotions(https://www.6seconds.org/2020/08/11/plutchik-wheel-emotions/)

경험적 접근법은 주로 사람들이 감정을 어떻게 인식하는지 사람들의 말(구두)을 통해 발견하려고 하며 자극에 대한 독특한 느낌 또는 정서적 상태를 기본 감정으로 정의한다. 분석 결과는 주로 요인 분석, 군집 분석 또는 다차원 척도 분석의 형태로 제공된다. 정신 분석적 접근법은 에로스, 타나토노스, 리비도, 분노, 불안으로 기본 감정을 분류한 프로이트에 기반하되, 그보다 절충적인 입장으로 감정의 발달적 분화를 제안한다. 자율신경계 접근법은 감정의 형성 과정을 심장, 폐, 피부 등 다양한 신체 기관의 말초신경계에 의한 활성화를 기반으로 하는 것으로 이해하며, 이러한 신체 기관의 변화에 감정을 일치시키는 것이다(Kemper, 1987).

이러한 접근법들과 그에 따른 감정 분류들은 다음에서 이루어질 감정의 시각화 사례에 대한 분석의 기초가 될 것이다. 특히 얼굴 표정 접근법은 문화와 인종의 다양성에 상관없이 인간에게서 보편적으로 발견되는 감정을 연구한 결과라는 점에서 객관성을 갖추므로, 감정의 시각화에서 가독성을 확보하기 위한 감정 분석의 접근법으로 활용될 수 있다. 경험적 접근법은 미디어 아트 사례 분석 시 관객/이용자들이 참여하는 과정에서 자신들의 감정을 언어 표현으로 전달하는 방식에 대한 수집과 해석에 있어서 유용하게 활용될 것이다. 감정은 인간의 생존을 위해 형성되고 발달되어 왔다는 진화론적 접근법과 자율신경계 접근법은 생명 또는 인간의 신체 기관을 연상시키는 시각적 요소들을 활용한 사례 분석에 활용될 것이다. 이러한 접근법들의 활용은 사례를 분석함에 있어서 관객/이용자들이 시각화된 감정을 해석하는 방식과 기준을 제안할 수 있다.

3. 3 데이터 시각화 표현

인포메이션 디자이너 노아 일린스키(Iliinsky, 2010)는 데이터 시각화의 질적 가치에 대한 네 가지 기준을 제시하였는데, 참신하고(novel) 정보 제공의 가치가 있으며(informative), 효율적(efficient)이고 심미적(aesthetic) 요소를 아름다운 데이터 시각화의 기준으로 규정하였다.

첫 번째로, 미셸 보킨 외(Borkin, et al., 2013)에 따르면, 참신하거나 예상치 못한 시각화가 사용자에게 더 기억에 남으며 복잡한 사고 과정없이 데이터를 이해하는 데 도움이 된다. 그래픽 디자이너이자 작가인 나이젤 홈즈(Holmes, 2006)는 데이터 시각화는 통계적, 지리학적 또는 도식적 시각 요소의 활용과 관계없이 스토리에 대한 진정한 시각화가 필요하다고 하였다.

두 번째로, 데이터 시각화는 정보 제공의 가치가 있어야 한다. 인포메이션 디자이너인 알베르토 카이로(Cairo, 2012)는 예술과 데이터 시각화의 관계는 저널리즘과 문학의 관계와 유사하다고 말하였다. 기자는 문학에서 도구와 방법을 차용하지만, 그 결과가 문학이 되어서는 안 되며, 마찬가지로, 시각화는 예술적 해석을 적용한다 해도 정보의 전달에 대한 책임이 있다.

세 번째로, 데이터 시각화는 효율적이어야 한다. 다층적이고 복합적인 데이터를 손상하지 않으면서도 메시지를 즉각적으로 전달할 수 있어야 한다. 나이젤 홈즈(Holmes, 2006)에 따르면, 관련 없는 정보를 줄이면 더욱 효율적인 시각화가 될 수 있지만, 동시에 적절한 시각적 단서의 제공은 데이터를 보강하기 위한 중요한 요소이다.

네 번째는 심미적 요소로, 시각적으로 매력적인 데이터 시각화는 사용자에게 메시지를 이해하려 노력하게 하고 적극적인 참여를 유도한다. 안드레아 라우와 앤드류 반데 모어(Lau & Moer, 2007)에 따르면 아티스트와 디자이너에 의해 점점 더 많은 창의적이고 심미적인 데이터 시각화가 이루어지고 있으며, 명료성보다 미학에 중점을 두는 것은 데이터의 효율성과 가독성을 떨어뜨릴 수 있지만, 동시에 사용자를 깊게 생각하게 만들고 디자이너의 근본적인 의도를 보다 효과적으로 전달할 수 있다.

앤드류 반데 모어와 헬렌 퍼체이스(Moer & Purchase, 2011)는 세 가지 연구 영역으로 데이터 시각화 연구를 위한 모델을 제안하였다<Figure 2>. ‘시각화 작업(visualization practice)’, ‘시각화 연구(visualization studies)’, ‘시각화 탐구(visualization exploration)’의 세 가지 영역으로, 시각화 작업은 비즈니스, 시각화 연구는 연구원, 시각화 탐구는 아티스트의 영역으로 분류하였으며, 세 영역이 겹치는 중간 영역을 디자인의 영역으로 제안하였다. 참신성과 심미성은 주로 시각화 탐구 영역, 즉 고유한 개성과 미적 표현이 중요한 아티스트의 영역에서 두드러지는 특성이며, 정보성과 효율성은 시각화 작업 영역인 비즈니스 영역에서 중요하게 다루어진다.

Figure 2

A model of information visualization research(Moer, A. & Purchase, H. (2011). A model of information visualization research [Graphic]. In On the role of design in information visualization (Information Visualization, 10(4) ed., pp. 356-371).)

본 연구에서는 모어와 퍼체이스의 모델<Figure 2>에서 제안한 시각화 탐구 영역과 시각화 작업 영역, 그리고 시각화 연구 영역을 기반으로 사례들을 분석하고, 세 개의 영역들 사이에 위치한 디자인 영역의 위치를 검토해 볼 것이다. 이를 위해, 시각적 탐구 영역에 위치하는 미디어 아트 사례들의 조형적, 구성적 시각 요소 특징들과 사용자/관람객과의 상호작용 방식을 분석하여 소셜 미디어를 활용한 감정 분석 데이터 시각화를 위한 디자인 영역에 참신하고(novel), 심미적(aesthetic)인 가치를 더할 수 있는 요소들의 가능성을 탐구한다. 이와 함께, 켐퍼(Kemper, 1987)가 제안한 기본 감정 접근법들에 기반하여 사례들의 감정 분류를 분석한다. 기본 감정 접근법들과 미디어 아트 사례들의 조형적, 구성적 시각 요소, 그리고 상호작용 방식과의 연결성을 분석하여 감정의 시각화 사례들을 해석하는 방식을 논의한다. 또한, 시각 작업 영역에 위치한 상업적 목적의 데이터 시각화 사례를 함께 분석하여 시각적 탐구 영역과 시각 작업 영역의 중간 지점에 위치한 ‘디자인(design)’ 분야에서의 활용 가능 요소를 연구한다.

4. 1. We Feel Fine

조나단 해리스(Jonathan Harris)의 데이터 시각화 프로젝트 ‘We Feel Fine’(2005)은 블로그에서 감정 표현이 들어간 문구를 수집하고 다양한 모드를 통해 시각화한다. ‘I feel’, 또는 ‘I am feeling’이라는 문구가 들어간 문장을 찾아 감정 어휘를 저장하는데, 감정 어휘는 연구자에 의해 미리 정의된 5,000개의 감정 어휘 안에 포함되어 있어야 하며, 저장된 감정의 데이터는 작은 동그라미와 사각형 조각들(particles)로 시각화되는데, 색상으로 조각들이 담고있는 감정을 표현한다. 감정의 조각들은 ‘madness’, ‘murmurs’, ‘montage’, ‘mobs’, ‘metrics’, ‘mounds’의 여섯 가지 ‘움직임(movement)’ 단계를 통해 다양한 이미지로 출력된다.

Figure 3

Six movements in We Feel Fine(Harris, J. (2006). Six Movements in We Feel Fine [Web]. An Exploration of Human Emotion, in Six Movements. http://wefeelfine.org/movements.html)

5000개의 감정 어휘는 시각화 과정에서 색상과 연결되어 감정의 분위기(tone)에 따라 색조가 지정되었다. 행복하고 긍정적인 감정들은 밝은 노란색, 슬프거나 부정적인 감정들은 어두운 푸른색, 분노의 감정은 붉은색, 평온한 감정은 초록색 등으로 감정 그룹에 따라 나뉜다. 5,000개의 세분화된 감정들을 소수의 기본 감정 카테고리로 분류 후, 그룹별 색조를 기준으로 각 감정들의 색상을 지정하였는데, 이는 감정은 무한히 세분화될 수 있지만, 동시에 4가지 기본 감정과 연결되어 있어야 경험될 수 있다는 사회 구성주의적 시각(Kemper, 1987)으로 해석할 수 있다. 세 번째 단계인 ‘montage’에서는 수집한 감정 어휘와 함께 업로드된 이미지를 출처 계정과 함께 볼 수 있다. 감정의 분류와 색상과의 연결을 통한 감정의 시각화는 연구자에 의해 지정되었으나, 감정 어휘가 포함된 전체 문장과 함께 업로드된 이미지들을 공유함으로써, 이용자가 자유롭게 해석할 수 있는 가능성을 열어 두었다. 이는, 시각화 탐구 영역의 특징인 해석의 다양성과 연결되며 지정된 감정 카테고리의 분류와 색상들의 활용은 창작자의 연구를 기반으로 한 것으로, 시각화 연구 영역에 해당한다고 할 수 있다. 감정, 성별, 날씨, 지역에 따른 분석 결과를 그래프, 아이콘, 도형 등 통계적 시각 요소로 표현하여, 빠르고 쉽게 정보를 읽을 수 있으나, 사용자가 감정 분석 결과를 직관적으로 느끼거나 몰입하여 해석하게 하는 참신하고, 심미적인 시각적 요소는 부족하다.

4. 2. The Emotional Art Gallery

‘The Emotional Art Gallery’(2019)는 소셜 미디어를 기반으로 지하철 이용객의 감정을 실시간으로 분석하고 지하철 내 디지털 광고판으로 시각화하여 사람들이 느끼는 부정적 감정을 긍정적 감정으로 환기시키는 것을 그 목적으로 한다. 실시간으로 저장되는 감정 데이터는 슬픔(sad), 불안(anxious), 피로(tired), 긴장(stressed), 짜증(irritated), 두려움(afraid)의 여섯 가지 감정으로 분류되며, 이와 대치되는 행복(happy), 평화(peaceful), 활기(energized), 안정(calm), 애정(loving), 안전(safe)의 여섯 가지 긍정적 감정으로 시각화되는데, 이는 부정적 감정 대신 긍정적 감정을 시각화한 작품을 통해 사람들의 감정을 환기시키기 위한 것이다. 여섯 명의 작가가 여섯 개의 긍정 감정 중 각기 다른 감정을 맡아 작품화하였는데, 제스퍼 린드보그(Jesper Lindborg)는 쿠션, 천 조각 등의 부드러운 물체와 푹신한 폼(foam) 조각들이 대리석 조각상을 감싸는 애니메이션을 제작하여 ‘안전(safe)’을 표현하였고<Figure 4>, 마시에크 야니키(Maciek Janicki)는 ‘안정(calm)’을 잔잔한 물 위에 쌓인 돌 더미가 리듬에 맞춰 숨 쉬듯 움직이는 애니메이션으로 시각화하였다<Figure 5>.

Figure 4

Safe, The Emotional Gallery (Lindborg, J. (2019). Safe, The Emotional Gallery [Digital art]. https://www.behance.net/gallery/81244667/Emotional-Art-Gallery)

Figure 5

Calm, The Emotional Gallery(Janicki, M. (2019). Calm, The Emotional Gallery [Digital art]. https://www.maciekjanicki.com/clear-channel-emotional-art-gallery)

‘슬픔’과 ‘두려움’은 모든 접근법에서 제안하는 기본 감정이고, 불안은 두려움에 우울이 더해졌을 때에 나타나는 2차 감정으로 정의된다(Kemper, 1987). ‘긴장’, ‘피로’, ‘짜증’은 ‘슬픔’과 ‘두려움’ 같은 기본 감정과 연결되어 현대 사회의 지하철 이용이라는 상황에서 세분화되어 미세하게 차별화된 감정으로 볼 수 있다. 잔잔한 물 위에 쌓인 돌 더미 이미지와 물소리를 활용해 애니메이션으로 제작한 야니키의 ‘안정(calm)’에서, 위로 길게 쌓인 돌 더미는 무너지지 않음으로써 안정감을 줄 수 있지만 동시에 무너질 수도 있다는 불안감을 주기도 한다. 이는 일린스키의 데이터 시각화의 관점에서 사용자/관객의 관심을 유도하고 직관적으로 주제를 느낄 수 있도록 하는 ‘참신성(novel)과 ‘심미성(aesthetic)’을 갖추었다고 할 수 있다. 반면, ‘peacefullness’라는 텍스트를 이미지와 함께 배치하여 ‘효율적(efficient)’인 요소를 더하였지만, 여전히 관객의 다양한 해석이 가능하다는 점에서 ‘정보의 전달성(informative)’ 측면에서는 부족하다고 할 수 있다.

린드보그의 ‘안전(safe)’에서 부드럽고 푹신한 폼(foam)과 쿠션들이 조각상을 감싸는 애니메이션은 사람들이 깨지기 쉬운 오브제를 보호하기 위해 충전재로 감싸는 행위를 연상시키며 자연스럽게 ‘안전’하다고 느끼게 한다. 폼과 쿠션 등이 조각상을 향해 날아오는 속도는 느리며, 조각상을 감싸 안는 움직임 또한 섬세하고 리드미컬하게 설정하여 부드럽고 푹신한 물체들의 촉감과 부피감을 느낄 수 있도록 하였는데, 이는 참신하고 심미적인 시각 요소뿐만 아니라, 물건이 깨지는 것을 방지하기 위해 충전재로 감싸는 일상적인 사람들의 행동을 연상시키는 시각적 연출로 정보의 전달이라는 목적에도 어느 정도 부합한다고 할 수 있다. 야니키와 린드보그의 두 작품 모두 시각적 요소뿐만 아니라 음악과 물소리와 같은 청각적 요소를 활용하여 감정을 더욱 풍부하고 직관적으로 경험하게 한다.

4. 3. Mood Map

‘Mood Map’(2013)은 트위터에서 수집한 텍스트 데이터를 기반으로 인간의 감정을 시각화하였다. E/B Office는 트위터에 올라오는 텍스트 속 감정을 각기 다른 색의 빛으로 표현하기 위해 기본 감정을 기쁨/자부심(joy/pride), 사랑(love), 공포/수치심(fear/shame), 분노(anger), 연민(pity) 그리고 슬픔/좌절(sadness/frustration)의 여섯 가지로 분류하였다. 실시간으로 발생한 트윗, 지난 한 시간 동안 나타난 두 가지 감정, 하루에 한 가지 감정의 세 가지 시각화 순서를 기준으로 순환한다. 감정을 표현하는 빛은 30초마다 변하면서 시간의 흐름에 따른 감정의 변화를 관찰하게 한다. 시간이 지남에 따라 특정 감정의 강도가 변하는 것을 연속적으로 불 수 있다.

Figure 6

Mood Map(E/B Office. (2013). Mood Map [Installation]. https://www.yongjulee.com/MOOD-MAP)

켐퍼(Kemper, 1987)의 연구에 따르면 자부심과 수치심은 2차적 감정으로 1차적 감정인 기본 감정들과 연결되고 사회화되며 세분화된 감정이다. 스루페(Sroufe)는 기쁨을 ‘능동적인 숙달’과 연관시켰는데, 자부심의 경우, 능력이 숙달되는 즐거움으로 사회적 정의를 통해 만족감은 더욱 특별해진다. 켐퍼는 수치심이 분노의 감정에 붙어 있다고 가정하였고, 이자드(Izard)는 신체적 증상 중 홍조와 같은 일부 증상을 수치심과 연관시켰는데, 홍조는 본질적으로 혈관 확장을 통해 얼굴이 붉어지는 분노와 같은 생리학적 반응으로, 분노가 수치심의 기본 감정적 기반일 가능성이 높기 때문이다.

무드 맵은 기본 감정들에 사회적으로 세분화된 2차적 감정들을 더하여 감정 카테고리를 정하였는데, 1차적 기본 감정에서 연결되어 세분화되는 2차적 감정들의 흐름을 빛의 색과 강도, 시간의 차이를 두어 질적인 감정의 연속성을 시각화하였다. 트위터의 타임라인과 같이 시간의 흐름에 따른 감정의 변화를 빛과 색상의 강도를 조절하여 시각화하였는데, 관객의 머리 위로 장막처럼 걸려 있는 광섬유의 빛은 강도와 색상의 변화로 공간의 분위기를 연출하면서 관객으로 하여금 감정의 변화를 체험하도록 한다. 이러한 방식은 감정을 경험으로 전달하기에 적합한 연출이라고 할 수 있다. 왜냐하면 감정의 변화를 시간적 흐름에 따라 여러 가지 감각의 형태로 입체적으로 표현하였기 때문에 감정의 질적 특징을 직관적으로 쉽게 파악할 수 있다. 반면 시간에 따른 역동적인 변화의 흐름은 그 모습을 분명하고 명확하게 포착하여 파악하기가 어렵기 때문에, 색상과 빛의 강도 등의 시각 형태와 감정 분석의 연결성을 명확하게 알아채지 못할 가능성이 있다는 한계가 있다.

4. 4. Pulse

‘펄스(Pulse)’는 베를린 예술 대학(University of the Arts Berlin)의 디지털 미디어(digital media) 학과에서 블로그에 기록되는 감정 표현 텍스트를 실시간으로 분석하여 형태 변환 오브젝트로 시각화한 작품이다. 블로그에서 수집된 감정 텍스트는 플루칙의 ‘Wheel of Emotions’를 기반으로, 기쁨, 슬픔, 공포, 분노, 수용, 혐오, 기대, 놀라움의 8가지 기본 감정으로 분류되고, 플루칙이 제안한 원뿔 형태의 오브제로 시각화되었다. 블로그에 기록되는 감정 표현에 반응하여 24개로 나뉘어진 감정 영역이 팽창, 수축을 반복하는데, 이렇게 변화되는 작품의 형태는 블로그 이용자들의 전반적인 감정 상태에 따라 달라진다. 가장 많이 느끼는 감정 영역이 팽창하거나 반대로 적게 발견되는 감정 영역이 축소하는 등, 감정 분석 데이터는 원뿔의 형태 변화와 움직임으로 시각화된다.

Figure 7

Pulse(Digital Media Class at the University of the Arts Berlin. (2012). Pulse [Kinetic installation]. https://www.markuskison.de/kinetic.html)

감정에 따라 팽창하고 수축하는 원뿔 형태의 움직임과 붉은 색상 그리고 라텍스의 재질은 사람의 심장을 연상하게 한다. 감정의 목적은 ‘생존’이라는 진화론적 접근법과, ‘생명’을 상징하는 심장의 형태는 시각적 연결성을 갖는다. 이는 관객으로 하여금 기본 감정 분류의 진화론적 시각과 실시간으로 수집되는 감정의 변화를 직관적으로 이해할 수 있게 한다. 도식화되지 않은 시각적 형태와 팽창하고 수축하는 움직임, 상징적인 색채와 오브제의 재료 선정 모두 진화론적 접근법의 감정 분석 방식과 맞닿아 있으며, ‘감정’과 ‘마음’, ‘마음’과 ‘심장’이라는 연상 작용을 불러일으키며 사용자/관객에게 직관적이고 효율적으로 정보를 전달한다. 단순하지만 상징적인 형태와 색상은 심미적이며, 모터를 활용한 오브제의 움직임을 통해 감정의 변화를 보여주는 것은 참신한 시각적 효과라고 할 수 있다.

4. 5. Spell on the City

‘Spell on the City’는 관객이 트위터를 이용해 전달하는 서울이라는 도시에 관한 느낌을 전시장 외부의 미디어 파사드에 영상 프로젝션으로 반영한다. 트위터를 통해 전시장 관객의 감정을 분석하여 행복, 슬픔, 공포, 놀람, 혐오, 분노, 중립의 일곱 가지 감정으로 분류하였다. 이렇게 추출된 감정 데이터는 이모티콘으로 시각화하였고, 이를 전시장 내의 스크린과 서울 도심의 미디어보드로 전송하여 정해진 일정에 따라 볼 수 있게 하였다.

Figure 8

Spell on the City, Seoul Square(Lee, Z., Kim, K. (2012). Spell on the City, Seoul Sqaure [SNS Interaction & Media Board Network]. http://studiobottles.net/projects/nhm/spell-on-the-city)

얼굴 표정 접근법은 얼굴 표정으로 여러 문화를 비교한 후 기본 감정의 문화적 보편성을 제안한 연구로, 인간은 다른 문명에 살아도 동일하게 느끼는 보편적인 감정이 있다는 것이다. ‘Spell on the City’는 감정 분석 결과를 표정을 보여주는 이모티콘으로 시각화하였다. 이는, 얼굴 표정 접근법에 따른 기본 감정의 문화적 보편성을 활용한 시각화로 다양한 문화와 환경에 있는 사람들에 대해서도 동일한 해석이 가능하다는 점에서 정보 전달이 용이하다는 장점이 있다. 얼굴 표정은 충분한 의사 전달 역할을 수행할 뿐 아니라 문화나 인종적 특징에 기인하지 않는 보편적인 커뮤니케이션 단서가 되며(Hwang, et al., 2010), 이모티콘(emoticon)은 대표적인 감정의 기호 표현 방법이다(Lee, 2016).

이처럼, 이모티콘으로 감정을 표현하는 것은 감정의 시각화에 대해 보편적이고 공통적인 해석을 이끌어 낼 수 있다는 점에서 유용한 감정 데이터 전달 방식이라고 할 수 있다. 반면, 이모티콘은 인간의 표정을 단순화한 기호이기 때문에, 미세한 시각적 변형으로도 다르게 해석될 여지가 있다. 따라서 창작자의 감정에 대한 해석과 표현 방법에 대한 기준을 제시하는 것이 중요하다.

4. 6. Brave New World

‘Brave New World’(2013)는 트위터를 통한 관객 참여 작품으로, 관객은 전시장에서 실시간으로 자신의 이미지와 감정을 입력할 수 있다. 입력된 이미지와 감정은 디지털 스크린에 보인다. 감정은 플루칙의 ‘Wheel of Emotions’를 기반으로 색으로 표현 되었으며, 플루칙이 제안한 8가지 기본 감정인 기쁨(joy), 슬픔(sadness), 공포(fear), 분노(anger), 수용(acceptance), 혐오(disgust), 기대(expectancy), 놀람(surprise)으로 분류되었다.

Figure 9

Brave New World(Zhou, C. (2013). Brave New World [Digital art]. http://cedarz.cn/brave-new-world/)

경험적 접근법은 주로 사람들이 감정을 어떻게 인식하는지 사람들의 구술을 통해 발견하려는 연구이다. ‘Brave New World’는 전시장이라는 특정 장소에서 관객들이 받는 자극과 이에 따른 느낌과 정서적 상태를 트위터를 통해 관객들로 하여금 직접 말하게(tweet) 하는 방식으로 감정을 분석하고, 플루칙이 제안한 감정 어휘에 따른 색채 모델을 활용하여 관객의 감정을 색상으로 시각화하였다. 경험적 접근법에서 주로 사용하는 분석 방법 중 하나인 다차원 척도법은 분석 대상의 유사성이나 속성 등을 평가하여 공간상에 투영시키는 기법으로(한국교육평가학회, 2004), 다차원 데이터는 많은 양의 변수가 포함된 데이터를 말하며, 다차원 데이터를 시각화할 때는 군집 단위의 분석이 주로 이루어지는데, 군집화(clustering)는 데이터의 속성과 유사도에 따라 데이터를 분류하는 기법을 말한다(Ha, et al., 2016).

참여자들이 트위터를 통해 업로드하는 감정 데이터들은 각 감정들이 속하는 군집에 따라 색상으로 표현되며, 스크린 공간상에 표현하여 감정들의 상대적인 위치를 표시하고 실시간으로 변화하는 데이터의 구조를 파악함으로써 감정들 간의 관계와 참여자들과 공간의 관계를 알 수 있다. 이는, 사람들의 참여를 통해 감정을 분석하는 경험적 접근법과 데이터를 공간상에 점으로 위치시키는 다차원 척도법을 활용하여 감정을 시각화한 것으로, 시각화 연구 영역을 적극적으로 활용한 시각화 탐구 영역으로 볼 수 있다.

5. 1. 시각화 작업 영역

감정 분석에 대한 연구는 기업과 기관의 마케팅, 정책 수요, 소비자 반응 조사 등 다양한 상업적 목적의 감정 분석에도 활용된다. 디지털 컨슈머 인텔리전스(Digital Consumer Intelligence) 기업인 영국의 브랜드워치(Brandwatch)는 2019년 ‘감정 보고서(The Emotions Report, 2019)’에서 폴 에크만의 여섯 가지 기본 감정 분류를 기반으로 이모티콘을 활용해 온라인으로 감정을 공유하는 방식과 감정적인 대화가 브랜드와 기업에 미치는 영향을 분석하였다<Figure 10>. 이 작업은 이모티콘을 분석하여 감정을 추출하는 방법을 사용하였는데, 이모티콘은 감정 분석의 시각화를 위한 시각적 요소가 아니라 사람들의 표정을 담고 있는 분석 대상으로 사용된다. 통계적 시각 요소의 활용과 단순한 색상 구분으로 정보 전달의 가치와 효율성을 강조하여 상업적 요구에 부응하며, 감정 데이터의 시각화를 위해 폴 에크만의 연구를 활용하였다는 점에서 시각적 작업과 시각적 연구 영역이 중첩된 사례라고 할 수 있다.

Figure 10

Emoji Use, Broken by Emotion(Brandwatch. (2018). Emoji Use, Broken by Emotion [Graphic]. https://commacomms.home.blog/2019/05/17/what-can-communications-professionals-learn-from-the-brandwatch-emotions-report/)

고객 경험 관리(Customer Experience Management) 및 소셜 미디어 마케팅 플랫폼을 개발하는 누비(Nuvi)는 리슨(Listen)이라는 플랫폼을 통해 고객에게 소셜 데이터 기반 감정 분석 서비스를 제공한다. 플루칙의 여덟 가지 기본 감정을 기반으로 분류되며, ‘감정 바퀴(Wheel of Emotions)’ 모델의 조형적 특성과 색채를 활용하였다<Figure 11>.

Figure 11

Social Data Analysis with Emotion Analysis(Nuvi. (2020). Social Data Analysis with Emotion Analysis [Graphic]. https://www.prnewswire.com/news-releases/nuvi-adds-emotion-analytics-to-industry-leading-ai-language-engine-for-powerful-customer-experience-insights-301115669.html)

비즈니스 영역인 시각화 작업 영역에서 상업적 응용 사례를 분석한 결과는 다음과 같다. 첫째, 그래프와 다이어그램 등의 통계적이고 도식적인 시각적 요소 활용으로 쉽고 정확하게 분석 결과를 전달하는 데 집중하였다. 두 사례 모두 이용자가 분석 결과를 바탕으로 고객 관리, 브랜드 리스크 관리 등, 브랜드와 제품의 수정 사항이나 발전 방향성을 정하기 위한 기초 자료로 활용하는 것이 주 목적이었다. 이 과정에서 정보 제공의 가치가 있으며(informative), 효율적(efficient)인 데이터 시각화를 위해 이용자들이 직관적으로 빠르게 읽을 수 있는 통계적 시각 요소들을 활용하였다. 둘째, 폴 에크만, 로버트 플루칙과 같은 심리학자의 감정 분석 연구들을 기반으로 수집된 감정 데이터를 분석하고, 색채와 조형적 특성 등의 시각적 요소들을 차용하여 분석 결과를 시각화하였다. 브랜드워치의 이모티콘 분석을 기반으로 한 감정 분석 보고서는 객관성과 보편성을 가진 에크만의 얼굴 표정 접근법을 기반으로 했다는 점에서 시각화 작업 영역, 즉 비즈니즈 영역에서 필요한 객관성과 보편성을 부여한다. 누비의 사례 역시 플루칙의 이론을 기반으로, 여덟 가지 기본 감정으로 데이터를 분류하고, 플루칙이 제안한 감정 수레바퀴의 구성과 형태, 색채를 시각 요소로 활용하였다. 두 사례 모두 시각화 연구 영역의 요소들을 시각화 작업 영역에 활용함으로써 감정 분석 과정과 분석 결과의 시각화에 논리와 설득력을 부여한다.

5. 2. 시각화 연구 영역

소셜 미디어를 활용한 감정의 시각화를 다룬 미디어 아트 작품은 네 가지 기준으로 분석되었다. 첫째, 작품을 조작하기 위한 소셜 미디어 도구로 무엇을 활용하였는가, 둘째, 몇 가지의 감정으로 분류되었는가, 셋째, 작품의 구성 형태와 조형적 특성, 넷째, 상호작용의 방식이다. 이를 기준으로 사례를 분석한 결과는 다음과 같다. 감정 표현을 수집하기 위한 도구로 트위터(twitter)와 블로그(blog)가 주로 사용되었다. 블로그와 트위터 같은 경우 사용자의 감정을 암시하는 내용이 풍부하며 텍스트 기반의 플랫폼을 지향하기 때문에 감정 어휘로 표현되는 개인의 감정을 수집하고 분석하기 위한 도구로 적절하다. 이수상(Lee, 2016)에 따르면 인간의 감정 상태를 가장 정교하게 표현하고 전달할 수 있는 수단은 언어 표현으로, 사람들의 구술을 통해 감정을 발견하는 경험적 접근법의 감정 데이터 수집 방식과도 닿아있다. 기본 감정의 수는 여섯 가지에서 5000가지까지 제안되었는데, 감정은 사회 시스템 내에서 후천적으로 생성된다는 사회 구성주의적 관점에 따르면, 인간의 기본 감정은 무한대로 생성될 수 있다. 즉, 연구자의 감정 분류 방법에 따라 5000 가지의 기본 감정을 제안할 수 있다. 반면, 인간의 감정은 근본주의 접근법과 사회 구성주의적 접근법을 함께 고려해야 감정의 수를 구성할 수 있기 때문에(Kemper, 1987), 폴 에크만과 로버트 플루칙의 연구를 기반으로 6 가지와 8가지의 기본 감정으로 분류하기도 했다. 구성 형태와 조형적 특성을 이루는 시각적 요소들 또한 감정 분석 접근법에 따라 다양하게 활용되었는데, 얼굴 표정 접근법과 이모티콘, 진화론적 접근법과 붉은색의 심장의 형태, 경험적 접근법과 다차원 척도 분석법에 기반하여 스크린상에 감정들의 상대적인 위치를 표시한 사례들이 있다.

5. 3. 시각화 탐구 영역

첫째, 구성 형태와 조형적 특성은 빛과 색채, 오브제와 소리 등 다양한 시각 요소들뿐만 아니라 청각 요소를 활용하였다. 광섬유로 빛과 색채의 변화를 시각화하고, 사운드로 더욱 풍부한 감정 전달 효과를 내며, 모터를 활용한 움직이는 오브제로 관객의 직관적인 이해를 돕기도 한다. 라우와 모어(Lau & Moer, 2007)는 명료성보다 미학에 중점을 두는 것은 데이터의 효율성과 가독성을 떨어뜨릴 수 있지만, 관객을 깊게 생각하게 하고, 작품의 근본적 주제를 보다 효과적으로 전달할 수 있다고 하였다. 미디어 아트 사례들은 정보 전달의 가치보다 감정의 경험을 전달하는 것에 집중하여, 관객/사용자가 작품에 몰입할 수 있는 환경 조성을 고민하였다.

둘째, 감정 분석 결과를 시각화하는 과정에 창작자의 개성과 주관적 해석이 큰 비중을 차지한다. 홈즈(Holmes, 2006)는 데이터 시각화는 통계적, 지리학적 또는 도식적 시각 요소의 활용과 관계없이 스토리에 대한 진정한 시각화가 필요하다고 하였으며, 보킨(Borkin, 2013)은 참신하거나 예상치 못한 시각화가 사용자에게 더 기억에 남으며 복잡한 사고 과정 없이 데이터를 이해하는 데 도움이 된다고 하였다. 데이터 시각화에 있어 작가의 개성과 다양한 해석의 가능성은 스토리텔링과 참신한 시각 요소들을 통해 감정이라는 추상적 개념을 관객으로 하여금 직관적으로 이해하고 기억하게 하는 데 도움이 된다고 할 수 있다.

셋째, 시각화 연구 분야의 활용으로 주제를 더욱 명확하게 전달하는 것이 가능하다. 소재와 색상의 선택, 움직이는 방식으로 구현한 심장 형태의 오브제는 진화론적 접근법에서 말하는 감정의 목적인 생존과 연결되며, 감정 분석 결과를 이모티콘으로 표현하여 얼굴 표정 접근법을 기반으로 객관성과 보편성을 갖는 사례 등이 있다.

5. 4. 디자인 영역

시각화 작업 영역(visualization practice), 시각화 연구 영역(visualization studies), 시각화 탐구 영역(visualization exploration) 사이에 위치한 디자인 영역에서 소셜 미디어를 활용한 감정의 시각화 작업에 활용할 수 있는 요소들을 분석하면 다음과 같다.

첫째, 소셜 미디어의 주요 특성인 참여, 개방, 대화, 커뮤니티, 연결을 시각적 요소로서 적극적으로 활용할 수 있다. ‘Mood Map’은 트위터의 타임라인과 같이 시간의 흐름에 따른 감정의 변화를 빛과 색상의 강도를 조절하여 표현함으로써, 관객의 실시간 참여와 감정 데이터들의 연결을 시각화하였다. ‘Pulse’에서 오브제와 연결된 붉은색 실들과 ‘Brave New World’에서 감정 데이터들이 선과 연결되어 뻗어나가는 시각적 효과 또한 소셜 미디어의 연결성을 보여준다.

두번째, 통계적이고 도식적 시각 요소 외에 빛과 오브제, 소리 등의 다양한 시청각 요소들을 활용하여 참신성(novel)과 심미성(aesthetic)을 더할 수 있다. 단순한 정보 전달을 넘어 감정 데이터의 공감각적 경험을 통한 효율성을 더할 수 있으며, 이러한 경험은 사용자/관객으로 하여금 깊게 생각하게 만들고 디자이너의 근본적인 의도를 보다 효과적으로 전달할 수 있게 한다(Lau & Moer, 2007).

세번째, 다양한 분야의 감정 분석 연구를 활용하여 시각 요소를 도출할 수 있다. 폴 에크만이 제안한 기본 감정의 얼굴 표정 접근법과 ‘Spell on the City’의 이모티콘으로 표현한 감정 데이터, 로버트 플루칙이 제시한 ‘Emotion Wheel’ 모델의 색채와 형태를 기반으로 한 ‘Pulse’, 다차원 척도법의 분석 방식으로 해석할 수 있는 ‘Brave New World’의 사례들뿐만 아니라 다양한 신체 기관이라는 시각 요소를 활용할 수 있는 자율신경계 접근법 등, 감정 분석의 선행 연구들을 활용하여 감정 데이터의 시각화에 정보 제공의 가치 (informative)와 효율성(efficient)을 더할 수 있다.

마지막으로, 소셜 미디어를 단순히 데이터 수집을 위한 도구가 아니라 적극적인 참여와 대화를 통해 참신한 시각적 효과를 생성하는 창작 도구로 활용할 수 있다. ‘We Feel Fine’과 ‘Brave New World’는 참여자들이 직접 이미지를 올려서 창작자의 통제에서 완전히 벗어난 이미지를 생성하기도 하며, ‘Pulse’와 ‘Mood Map’은 색상과 빛의 강도, 부풀고 줄어드는 움직임이라는 최소의 조건만 지정하여, 사용자/관객의 참여에 따라 창작자가 예상치 못한 시각적 효과를 생성하기도 한다.

모어와 퍼체이스(Moer & Purchase, 2011)가 제안한 데이터 시각화 모델에서 디자인은 시각화 작업(visualization practice)’, ‘시각화 연구(visualization studies)’, ‘시각화 탐구(visualization exploration)’의 세 영역이 겹치는 중간 영역에 위치한다<Figure 2>. 이 모델은 삼각형으로 형상화되었는데, 디자인이 위치한 중앙의 삼각형 안에서 시각화 작업, 시각화 연구, 시각화 탐구의 세 영역 중 어디에 더 비중을 둘 것인지에 대한 판단은 디자이너의 역할이다. 이것은 소셜 미디어를 활용한 감정 분석 시각화의 목적에 따라 판단한다. 예를 들어, 제품에 대한 소비자의 감정과 같은 기능적 만족감의 감정과 사회적 공헌이나 윤리적 소비와 같은 메시지를 전달하기 위한 감정의 시각화는 다르게 표현한다. 전자는 정보 전달의 가치와 효율성에 집중하는 시각화 작업 영역과 선행 연구들의 활용으로 객관성과 보편성을 갖는 시각화 연구 영역에 초점을 맞추며, 후자는 참신성과 심미성으로 근본적인 주제에 대해 더욱 깊게 생각하고 오래 기억할 수 있게 하는 시각화 탐구 영역과 감정 분석에 대한 다양한 시각을 제시하는 시각화 연구 영역에 초점을 맞추게 된다. 따라서 디자인 영역의 소셜 미디어를 활용한 감정 분석의 시각화는 모어와 퍼체이스가 제안한 삼각형 모델에서 세분화하여 디자인 영역 안에서 각 세 개 영역이 포함되는 비율에 따라 또다른 삼각형으로 구분할 것을 제안한다<Figure 12>

Figure 12

A revised Model of Information Visualization Research by Andrew Moere and Helen Purchase(Chung, D. (2021). A revised model of information visualization research by Andrew Moere and Helen Purchase. Revised from Figure 1.)