논쟁 분석을 위한 시각화 인터페이스 디자인 연구: 동시발생 행렬과 서클 패킹을 중심으로

1. 연구의 배경 및 목적

토론은 서로 다른 입장을 가진 참가자들이 논쟁적 의사소통을 하는 과정으로, 다양한 매체와 형식에서 이루어진다(Van Dijk, 1997). 연구자들은 토론의 맥락을 이해하기 위해 주요 논의 주제, 사용된 어휘, 논쟁의 진행 방식 등을 분석한다. 월튼 그리고 크라베(Walton and Krabbe, 1995)에 따르면 토론 참여자의 대화 속 핵심 키워드를 파악함으로써 논의의 흐름과 결과를 예측할 수 있다고 보았다. 이처럼 토론의 구조를 분석하면 전체 흐름과 주요 논점을 효과적으로 이해할 수 있다. 최근에는 이러한 논쟁의 복잡성을 관리하고 이해하는 데에 시각적 분석 기반 연구가 주목받고 있다. 시각화는 정보를 직관적으로 표현하고 전달하는 강력한 도구로서, 복잡한 텍스트 데이터와 정보를 이해하기 쉬운 형태로 변환하는 데 유용하다. 또한, 모든 사람이 시각적 해석을 쉽게 하도록 시각화를 구성하는 것이 필요하다. 이를 위해 연구자들이 시각적 은유를 활용하여 데이터를 시각화하는 사례가 생겨나고 있다.

시각적 은유는 특정한 연관성이나 유사성을 제안하는 이미지를 통해 대상을 표현하는 것으로(Forceville, 2008), 복잡한 데이터를 해석하는 데 도움을 줄 수 있다(Ha, Joung, Moon and Lee, 2022). 이에 본 연구는 토론에서 나타나는 데이터(토론의 주제, 발화자의 키워드, 입장 등)를 구조적으로 시각화하는 방식을 설계하였으며, 시각적 은유는 이러한 구조적 설계가 사용자에게 직관적으로 인지되도록 돕는 보조 장치로 활용하였다. 해당 시각화 시스템의 설계 목적은 다음과 같다.

첫째, 토론 분석에 적합한 시각화를 제공하여 참가자들이 토론 주요 내용을 확인할 수 있도록 돕는다. 이를 통해 전체 토론 내용에 대한 개요와 맥락을 파악할 수 있다.

둘째, 논쟁을 탐지하는 시각화에서는 토론이 진행되는 동안 논쟁이 발생하는 구간과 그에 따른 정보를 제공한다. 주제별로 논쟁의 심화 정도와 어떤 주제에서 논쟁이 많이 발생하였는지 정보를 제공한다.

셋째, 논쟁을 비교하는 시각화에서는 토론 참여자 입장과 어떤 의견을 가지는지 주제별로 보여주고, 참여자가 얼마나 주제 관련 키워드를 언급하였고, 누가 가장 영향력 있는 발언을 하였는지 비교하도록 한다.

본 연구의 시스템은 토론 분석에 적합한 시각화를 제공하여 참가자들이 토론의 주요 내용을 확인하고 맥락을 파악할 수 있게 돕는다. 또한, 논쟁을 탐지하는 시각화에서는 토론이 진행되는 동안 논쟁이 발생하는 구간과 그에 따른 정보를 제공하며, 논쟁을 비교하는 시각화에서는 토론 참여자의 입장과 의견을 주제별로 보여주고 참여자가 얼마나 주제 관련 키워드를 언급하였는지를 통해 영향력 있는 발언을 비교할 수 있게 한다. 이와 같은 접근 방식은 토론의 복잡성을 관리하고 이해하는 데 기여할 것으로 기대된다.

본 연구에 대한 설명 비디오와 구현 링크는 다음과 같다.

비디오(https://elfin-alpaca-c04.notion.site/Video-23dbf68f06c2803a9c61f5f108f55e3b?source=copy_link)

구현링크(https://hm00081.github.io/tvdebate-front-v2/)

2. 토론 및 논쟁의 정의

본 연구는 토론과 논쟁이 가지는 의미와 논쟁이 발생하는 조건이 무엇인지 살펴보고자 관련 개념들을 검토하였다. 우선 토론은 참여자들이 다양한 의견과 주장을 주고받으며 공동의 목표를 달성하려는 심의 과정이다. 토론의 목적은 상대방과의 언쟁을 통해 자신의 주장을 확고히 하는 데 있으며, 논쟁은 한 쪽의 주장에 대한 다른 쪽의 반론이 이어지는 과정으로 진행된다(Rieke and Sillars, 1984). 월튼(Walton, 1990)에 따르면, 토론은 제도화된 맥락과 규칙에 따라 이루어지며, 주로 자신의 논증을 상대방과 주고받는 행위로 정의되고 제삼자를 설득하는 데 목적이 있다. 즉, 논쟁은 토론 안에서 이루어지는 발화 행위라고 판단할 수 있다.

박용익의 연구에 따르면, 토론 구성원은 진행자와 참여자로 나뉘며, 토론의 진행 단계는 소개, 논의, 정리의 순서로 이루어진다. 논의 단계에서는 여러 견해를 내놓으며, 주제에 대해 상반된 주장이 발생한다(Park, 1997).

주제에 대한 한 발화자의 주장에 이어, 다른 발화자의 주장에 대한 반박이 이루어지며 이 과정에서 서로의 주장과 반박을 통해 결론에 도달하거나 주장과 반박이 반복될 수 있다.

이러한 논쟁의 정의에 따라 주장과 반박이 일어나는 구간에서 논쟁이 발생한다고 볼 수 있으며, 이를 시각화하기 위해 특정 조건들을 설정할 수 있다. 논쟁이 발생하는 조건은 Table 1과 같다.

Table 1

Conditions for argument to appear in debate

3. 토론 시각화 사례 분석

데이터 시각화는 복잡한 정보를 더 쉽게 이해하고 숨겨진 패턴을 분석하는 데 유용한 도구다. 특히 토론 시각화 연구에서는 논쟁의 흐름, 발언량, 참여자의 입장 등 다양한 요소를 효과적으로 표현하기 위한 여러 시각화 기법이 연구되었다. 일부 연구에서는 정보 전달의 직관성을 높이기 위해 시각적 은유를 함께 활용하기도 하였다. 본 장에서는 관련된 토론 시각화 연구를 조명하고 그 특징을 살펴본다. 각 사례들의 대표도는 Figure 1과 같다.

Figure 1

Visual metaphor-based debate data visualizations (A) VisInReport, (B) ConToVi, (C) DebateVis, (D) Visual Dashboard, (E) Debate Dynamics Visualization

우선, 세버스트저노우버, 엘 아사디, 브래들리, 콜린스, 버트 그리고 킴(Sevastjanova, El-assady, Bradley, Collins, Butt and Keim, 2021)이 제안한 VisInReport는 2016년 미국 대선 후보들 간의 논쟁 데이터를 시각화한다. 이 연구는 주제 모델링 알고리즘을 사용해 주제와 키워드를 분석하고, 토론 주제별 발언 강도와 참여 빈도를 시각화하였다. 특히 무대 구조를 공간적 레이아웃으로 차용하여 참여자 간 주제별 발언 강도와 영향력을 한눈에 비교할 수 있도록 구성하였다.

엘 아사디, 골드, 아세베도, 콜린스 그리고 킴(El-assady, Gold, Acevedo, Collins and Keim, 2016)이 제안한 ConTovi는 토론 참여자들의 의견, 입장, 태도를 분석하여 주제별 논쟁 구간에 대해 참여자들의 의견과 발화량을 비교할 수 있다. 토론에서 나타나는 논쟁을 표현하기 위해 토론을 토론장(discussion floor)의 모습을 본떠 원형 플롯으로 시각화하여 나타낸다. 토론 참여자들은 다양한 색상의 ‘거품(bubble)’으로 나타나며, 토론 주제의 지속 기간에 따라 토론장의 너비가 조정된다. 이를 통해 토론의 핵심 내용 파악을 돕는 주요 용어와 정보를 제공한다.

사우스, 슈아브, 보우샴프, 왕, 위비 그리고 보킨(South, Schwab, Beauchamp, Wang, Wihbey and Borkin, 2020)이 제안한 DebateVis는 토론 참여자 및 참여자의 의견을 분석한다. 참여자 간 논쟁의 횟수를 노드 링크 다이어그램으로 표현하고, 이모티콘을 사용하여 의견 관계를 분석한다. 이때 나타난 발화 중 중요한 키워드는 타임라인으로 표현하여 참여자 의견을 파악하도록 돕는다.

얼먼, 더 리도우 그리고 배클러(Ullmann, De Liddo and Bachler, 2019)가 제안한 Visual Dashboard는 토론의 구조와 의견을 분석한다. 서클 패킹(circle packing)을 사용하여 서클의 색상을 통해 주제별로 참여자의 입장과 의견을 직관적으로 보여주고, 참여자들의 활동 수준을 확인할 수 있으며 버블 시각화를 통해 다양한 아이디어와 찬반 의견을 시각화한다. 이는 사용자가 토론 내에서 다른 입장을 지닌 사람들의 의견과 아이디어를 비교하고 평가하는 데 도움을 준다.

그루버(Gruber, 2024)가 제안한 연구는 다중 사용자 간 논의 데이터를 시각화하는 시스템을 제안하며, 의사결정 흐름의 구조적 특성을 블록 형태로, 참여자의 발언량과 주제 분포를 버블 형태로 시각화하였다. 이 시각화 방식은 정보의 계층성과 상대적 중요도를 동시에 전달하며, 사용자가 토론 중 어떤 주제에서 누구의 발언이 핵심적인지를 직관적으로 파악할 수 있도록 설계되었다.

사전 연구들을 분석한 결과, 주요 분석 목적은 1) 전체 주제를 파악하고 토론의 흐름을 쉽게 요약하기, 2) 주제별로 중요한 핵심 용어 파악하기, 3) 논쟁이 발생하는 구간과 빈도를 탐지하기, 4) 참여자들의 입장과 의견, 그리고 영향력을 비교하는 것으로 확인되었다. 특히, 사용자의 인지적 이해를 높이기 위해 색상, 구조, 위치 등 시각적 단서를 전략적으로 활용하는 경향이 자주 나타났으며, 논쟁이 나타난 구간을 탐지하기 위해 ‘건축 구조물’을, 논쟁 비교를 위해서는 ‘화합물’을 사용하여 이해를 돕는 경향이 나타났다.

본 연구에서는 사전 연구의 분석 목적에 부합하고 시각적 이해 효과를 높이는 데이터 시각화 방식으로, 논쟁 탐지를 위해 동시발생 행렬(co-occurrence matrix)을, 참여자 간 입장 비교를 위해 서클 패킹을 각각 선택하였다(Ha, Moon, Joung, Kim and Lee, 2024). 논쟁 구간 탐지를 위해 ‘건축 구조물(피라미드, 빌딩 블록, 회의장 등)’의 시각화를 활용한다는 것은 건축물의 계층성과 구조의 안정성에 대한 체화된 인식(embodied cognition)을 자극함으로써, 발화 및 논쟁 간의 위계 구조나 중요도를 공간적으로 쉽게 파악하도록 돕는다(Pitt and Casasanto, 2022). 그리고 참여자 간 입장 비교를 위해 circle packing 방식의 ‘화합물(버블)’의 시각화를 활용하는 것은 데이터를 계층에 따라 구분하는 데 효과적이므로, 토론의 주제를 구간에 따라 효과적으로 묶어서 비교하고자 할 때는 적절한 선택이 될 수 있다(Wu, Zhang, Liang, Shafiabady, Lu, Gide, Dasanayake, Jha and Duan, 2025).

본 연구에서 선정한 두 시각화 방법에 대해 인지적·심리적 측면에서의 적절성을 제시하면 다음과 같다. 우선, 동시발생 행렬은 피라미드형 구조를 통해 발화 간 관계성, 계층성, 논쟁의 발생 위치 및 밀도를 직관적으로 전달할 수 있다. 피라미드 형태는 인간이 정보를 하위부터 상위의 방향 또는 상위부터 하위의 방향으로 관찰하는 양방향적 인지 메커니즘에 부합한다(Pitt and Casasanto, 2022). 발화의 위치와 밀도, 발화 간 관계와 계층 구조를 피라미드 구조물로 표현하면, 사용자는 양방향적 인지 메커니즘에 따라 시각화를 관찰하게 된다. 그 과정에서 논쟁이 집중되는 구간(미시적 관찰 개념의 하위 방향)과 토론 중 발생하는 논쟁들이 어느 구간에 분포하는지(거시적 관찰 개념의 상위 방향)를 쉽게 탐지하는 데 있어 도움받을 수 있다.

다음으로, 서클 패킹은 주제별 핵심 키워드가 다양한 입장과 결합되며 구조화되는 과정을 원형 군집 형태로 시각화함으로써, ‘비교’ 목적에 효과적이다. 화합물(버블) 형태는 사람의 시각 인식이 집단 간 거리·색상·크기 차이를 통해 유사한 정보와 대조되는 정보의 관계성을 빠르게 구분하는 효과를 누릴 수 있다(Wu, Zhang, Liang, Shafiabady, Lu, Gide, Dasanayake, Jha and Duan, 2025). 이때 사용자는 각 참여자의 입장과 발화 비율을 버블의 크기와 모양으로, 주제 간 연관성을 계층적으로 구성된 버블(서클 패킹)을 통해서 직관적 비교가 가능하다.

이처럼 각 시각화 방식은 본 연구에서 소개하는 시각화 설계 요구사항(R1-R6)과 기능적으로 연결되며, 사용자의 논쟁 해석과 구조 인식을 지원할 수 있다.

한편, 기존 연구들에서는 이러한 시각화 방식이 정적인 형태로만 구현되거나, 상호작용 기능이 제한되어 있어 사용자가 논쟁 흐름을 자율적으로 탐색하거나 다각도로 비교하는 데 한계가 있었다. 따라서 본 연구는 사용자 중심의 해석과 상호작용성을 강화한 시각화 시스템을 설계하고자 하였다.

4. 디자인 설계 및 요구사항

본 연구에서 제안하는 시각화 시스템의 인터페이스 디자인 설계 과정과 디자인 요구사항을 소개한다. 앞서 토론 및 논쟁 시각화에서 논쟁의 탐지와 논쟁의 비교를 분석하기 위한 시각화 유형에서 건축물과 화합물을 사용한 시각화가 많이 나타나는 것을 확인하였다. 실제로 해당 분석 결과의 유용성을 판단하기 위해 논쟁의 탐지를 위해서는 건축 구조물 기반의 동시발생 행렬 시각화를 선정하였으며 논쟁의 비교를 위한 시각화에서는 화합물 기반의 서클 패킹 시각화를 선정하여 제작하였다.

4. 1. 디자인 설계

시각화 구현에 사용된 데이터는 MBC 100분 토론 데이터를 사용하였다(MBC, n.d., retrieved 2022). 토론 데이터 원본은 발화자와 발화내용에 대한 값만을 가지고 있어 이를 해시 테이블(hash table) 형태로 변환하여 사용하였다. 구체적으로 Table 2와 같이 토론의 기본 정보를 보여주는 자체 데이터와 토론이 진행됨에 따라 생성되는 데이터로 구성된다.

Table 2

Introduction to debate data

본 연구에서는 토론의 주요 토픽과 각 토픽에 대한 참여자 정보와 토론에서 참여자 간 상호작용을 시각화하기 위해 제공된 토론 스크립트 내용에 대해 형태소 분석을 진행하였다. 토론 스크립트 데이터는 반복되어 표현되는 부분을, 정규표현식을 활용해 수정하였다. 수정된 스크립트를 바탕으로 토론 참여자 발화 단위로 데이터 구조를 정리하였다. 형태소 분석으로 도출된 형태소들 중 주된 내용을 다루지 않는 조사나 기호와 같은 단어들은 불용어로 처리하여 제외하였다. 그 후 구문 분석과 감성 분석 및 LDA 토픽 모델링 과정을 통해 주요 토픽별 키워드 정보를 추출하였다.

전체적인 전처리과정은 자연어처리 API를 제공하는 인공지능 ETRI Open API와 Google Natural Language API 등을 사용하였다(Open AI API DATA Service, n.d. retrieved 2022; Google Natural Language, n.d. retrieved 2022). 발화 간 개념 유사도와 감성 분석의 정보는 논쟁이 나타나는 발화 구간을 찾는 데 활용하였다. 각 발화는 토론의 주 키워드에 대한 유사도를 나타내는 벡터로 표현되며, 해당 벡터들의 내적 연산을 통해 개념적 유사도가 계산된다. 여기서 개념 유사도는 두 발화의 유사성을 수치화한 지표로, 값이 클수록 두 발화의 유사성이 높다는 것을 표현하기 위해 사용되었다.

4. 2. 디자인 요구사항

본 연구에서는 앞서 조사한 토론 및 논쟁 데이터를 사용하는 시각화 분석을 진행하였다. 분석을 통해, 연구의 디자인 목표와 주요 시각화 요구사항을 정의하였다. 첫째, 각 시각화 요소는 논쟁 개요와 맥락을 명확하게 전달할 수 있어야 한다. 둘째, 시각화는 논쟁의 핵심 요소를 탐지하는 데 중점을 둬야 한다. 셋째, 시각화는 다양한 논쟁 요소 간의 의견 비교를 쉽게 해야 한다. 논쟁의 탐지와 논쟁의 비교를 위해 동시발생 행렬과 서클 패킹 시각화에서 사용되는 해석적인 요소들을 분석하여 요구사항을 정리하였고 그 결과는 각각 Table 3과 같다.

Table 3

Debate Visualization requirements and design goal

앞서 제시한 Table 1의 논쟁 발생 조건들은, 사용자가 토론에서 나타나는 논쟁 해석을 위해 어떤 시각적 정보가 필요한지를 추론하는 기반이 되었다. 본 연구에서는 논쟁의 구조, 발화 간의 주제 연결성, 참여자의 입장 및 영향력 등을 효과적으로 전달하기 위해 시각화 설계 요구사항(R1~R6)을 도출하였다. 각 요구사항은 Table 1의 요소들을 시각적 표현으로 전환하기 위한 구조적 기준이라 할 수 있다.

5. 인터페이스 디자인

이 장에서는 디자인 요구사항을 반영하여 제작된 시각화 인터페이스를 소개한다. 인터페이스의 전체모습은 Figure 2와 같다.

Figure 2

Interface of the argument analysis system

(A) 시각화 범주: 시각화에서 표현되는 정보를 소개한다. 인물 사진의 배경은 색상으로 구분되며, 해당 요소들을 선택하여 각 토론 참여자 간의 상호작용을 확인할 수 있도록 한다. 또한, 논쟁의 심화 정도를 조절하여 볼 수 있는 Frequency of debate 기능을 제공한다.

(B) 서클 패킹 시각화: 해당 시각화에서 논쟁에서 나타나는 의견을 비교할 수 있다. 찬성 의견은 오(O) 형태, 반대는 십자가(X) 형태를 가진 버블로 표현되며, 버블의 크기는 발화량을 나타낸다(R3, R4). 또한 이 구조는 화합물 기반의 ‘버블’에 비유가 되고, 각 논쟁 구간은 버블을 또 다른 큰 버블로 감싸는 형태로 표현하여 직관적 이해를 돕는다.

(C) 동시발생 행렬 시각화: 피라미드 건축물을 모티브로 제작한 동시발생 행렬 시각화를 나타내는 영역이다. 해당 시각화에서 사용자는 논쟁이 나타나는 구간을 탐지할 수 있다. 논쟁이 심화되는 구간은 짙은 갈색으로 표시되며, 논쟁 정도에 따라 명암이 조절된다(R5). 또한 각 주제 구간별로 가장 활발히 논쟁한 상대는 바 차트로 확인할 수 있다(R6). 주제 구간은 아래가 넓고 위로 갈수록 좁아지는 형태로, 붉은색 피라미드 모양의 도형으로 표현된다. 각 논쟁 구간은 짙은 갈색의 블록(피라미드 단위)으로 나타나며, 피라미드를 통해 논쟁의 계층성과 복잡성이 직관적 이해를 돕는다.

(D) 스크립트 뷰: 전체 스크립트 뷰로서 토론 참여자의 발화 시간, 순서 정보를 나타내어 특정 구간에서 발화한 참여자의 전체 의견이 확인 가능하다.

5. 1. 서클 패킹 시각화

해당 시각화는 토론 개요 정보를 통해 사용자가 논쟁을 쉽게 비교할 수 있도록 설계하였다. 최종으로 구현된 시각화는 Figure 3과 같으며 주요 시각화는 토픽 키워드와 논쟁 주제에 대한 입장을 표현하는 노드와 논쟁 구간에 대한 세부 정보를 나타내는 서클 패킹으로 표현된다.

Figure 3

Visualize circle packing based on the compound metaphor

시각화의 논쟁 구간은 왼쪽에서 오른쪽으로 타임라인이 진행되며 토론의 전반적인 흐름을 확인할 수 있다(R1). 총 7개의 주요 논쟁 구간이 나타난다. 사용자는 시각화를 이용하여 토론에서 논쟁이 이루어진 구간들을 파악할 수 있다.

왼쪽에서 오른쪽으로 전체 토론 타임라인이 진행된다. 서클 패킹을 둘러싸는 파이 차트(pie chart)는 주제 구간을 나타내며 테두리의 크기를 통해 주제별 시간 정보가 확인 가능하다(R1). 파이 차트 내부에 나타나는 외부 서클로 소주제를 파악할 수 있고, 소주제에 대해 토론 참여자가 사용한 핵심 용어를 확인할 수 있다(R2). 소주제는 각 주제 구간에서 사회자가 제시하는 주제의 개수에 따라 정해진다.

사용자는 특정 서클 패킹 구간을 관찰한 후, 이어지는 다음 구간에서도 일부 버블에 동일한 논쟁 키워드가 반복적으로 등장하는 것을 확인할 수 있다. 예를 들어, 세 번째 서클 패킹의 오른쪽 영역(‘모병제, 과연 현실적인가?’)에 위치한 빨간색 십자가 형태의 버블에는 ‘경제호황 모병 어려움’이라는 키워드가 표시되어 있으며, 이 키워드는 네 번째 서클 패킹의 왼쪽 영역(‘일자리 제공 가능한가?’)에서도 동일한 형태와 내용으로 다시 나타난다. 이처럼 동일한 색상과 키워드를 가진 버블이 반복 표시됨으로써, 사용자에게 발화 간 개념 유사성과 논점의 연속성을 직관적으로 인식할 수 있게 한다. 이러한 구조는 토론이 세부 주제를 중심으로 전개되는 과정에서 발생하는 개념 연계성과 의미적 흐름을 시각화를 통해 효과적으로 보여준다는 점에서 의미가 있다.

이상의 내용을 종합하면, 본 연구는 서클 패킹 시각화를 제작할 때 1) 키워드의 성향에 따라 버블의 모양을 달리하고, 각 참여자들에게 고유 색상을 부여함으로써 시각적인 구분을 주었다. 그리고 2) 논쟁에서 언급되는 키워드에 빈도에 따라 버블의 크기를 달리하고, 토론 참여자들의 발언을 시간에 따라 파이 차트로 표현하여 논쟁 데이터를 상대적 크기에 따라 관찰할 수 있도록 하였다. 또한, 3) 토론 주제를 묶거나 세분화하여 분류함으로써, 사용자가 각 주제들을 군집화하여 대조할 수 있도록 하였다. 이러한 점들은 ‘비교’를 위한 분석 목적을 용이하게 해주는 장점이 있다.

5. 2. 동시발생 행렬 시각화

해당 시각화는 토론 개요 정보를 통해 사용자가 논쟁을 쉽게 탐지할 수 있도록 설계되었다. 최종 구현된 시각화는 Figure 4와 같으며 주요 시각화는 토론 참여자의 발화를 표현하는 노드와 그들의 관계성을 보여주는 노드들로 구성되는 동시발생 행렬(co-occurrence matrix)로 표현된다.

Figure 4

Visualize co-occurrence matrix based on the pyramid metaphor

왼쪽에서 오른쪽으로 전체 토론 타임라인이 진행된다. 매트릭스를 둘러싸는 빨간색 테두리는 주제 구간을 나타내며 테두리의 크기를 통해 주제별 시간 정보와 토론의 전반적인 흐름을 확인할 수 있다(R1). 동시발생 행렬 아래 주요 키워드가 표현되는 플롯을 통해 특정 주제에서 나타나는 참여자별 토론의 핵심 용어를 확인할 수 있다(R2). 타임라인에 표현되는 노드의 색상은 참여자를 구분하며, 노드의 크기는 발화량에 비례하여 표현된다. 해당 노드들의 발화 관계를 매트릭스로 나타내며 텍스트 간의 개념적 유사도를 측정하여 표현된다. 텍스트 간의 개념적 유사도를 구하기 위해선 두 토론 참여자의 발화 간 유사도를 더한 값인 발화 개념 유사도를 전체 텍스트의 수로 나누어 평균을 나타낸 값으로 해석할 수 있다. 이때, 개념적 유사도는 Table 1에서 제시한 논쟁이 일어나는 조건(1. 상대 발화에 대해 반박, 2. 반박 발화에는 부정적 감성을 내포, 3. 서로 간의 충분한 발화량, 4. 서로의 발화 간 개념 유사도, 5. 발화 간 시간 거리, 6. 지시어 연결, 7. 토론 진행자의 역할)을 반영하여 표현된다.

이상의 내용을 종합하면, 동시발생 행렬 시각화를 제작할 때 1) 피라미드의 2차원적 외형 형태(삼각형)를 빨간색 테두리로 나타내면서 토론의 각 주제를 나타내고, 그 안에는 갈색 계열의 블록으로 논쟁이 일어나는 지점을 나타내어 계층적인 구조를 구현하고자 하였다. 그리고 2) 각 발화자들의 발언량에 따라 노드 크기를 달리하고, 논쟁이 자주 발생되는 구간에 대해서는 피라미드 내부를 구성하는 갈색 블록의 채도를 높여 밀도를 표현하였다. 또한, 3) 전체 발화를 왼쪽에서 오른쪽으로 정렬하여 발화 간 시간 거리를 고려한 논쟁 정보들을 피라미드 속 갈색 블록의 패턴으로 나타내었다. 이러한 점들은 토론 정보의 직관적 ‘탐지’를 위한 분석 목적을 용이하게 해주는 장점이 있다.

6. 사용자 시나리오

이 장에서는 본 연구에서 제안하는 두 가지 유형의 토론 시각화가 실제 토론에서 나타나는 사건들을 보여준다. 두 가지 토론 시각화에 사용한 데이터는 ‘MBC 100분 토론’이다. 토론의 주요 주제가 ‘모병제’이며, 토론의 참여자는 이준석, 박휘락, 장경태, 김종대, 진행자에 의해 이뤄졌음을 확인한다. 모병제에 대해 반대하는 입장은 이준석, 박휘락이며, 찬성하는 입장은 장경태, 김종대이다. 그리고 진행자는 중립을 지킨다.

본 시나리오에서 토론을 분석하는 사용자는 두 가지 시각화(동시발생 행렬 시각화, 서클 패킹 시각화)를 활용하여 토론의 전반적인 흐름과 논쟁 구조를 파악하고자 한다. 먼저, 동시발생 행렬 시각화를 통해 전체 토론의 주제를 개괄적으로 살펴보고, 주제별로 논쟁이 얼마나 발생하였는지, 어느 지점에서 논쟁이 심화되었는지를 탐지하며 주요 키워드를 확인한다(R1). 이어서 서클 패킹 시각화를 통해 각 주제별로 참여자들의 입장과 의견을 비교하고, 각 참여자가 언급한 키워드의 빈도를 분석함으로써 누가 가장 영향력 있는 발언을 하였는지를 파악한다.

사용자는 시각화를 통해 토론이 총 7개의 주제로 구성되었음을 확인하며, 시간 순으로 ‘토론 시작 및 모병제 도입’, ‘인구절벽, 징병제에 미치는 영향’, ‘모병제, 병력 충원에 문제 없나?’, ‘모병제, 일자리 문제 해결책?’, ‘모병제, 질적 향상 및 간부확보 문제는?’, ‘여성 징집과 봉급체계’, ‘국방 예산 이슈 및 토론 마무리’로 진행되었음을 상기한다(R1). 이러한 시각화를 통해 사용자는 논쟁의 흐름뿐 아니라 입장 비교와 발언의 영향력까지 통합적으로 분석할 수 있다. 사용자는 논쟁이 가장 활발하게 나타난 3번째 주제인 ‘모병제, 병력 충원에 문제 없나?’를 중점으로 보고자 한다.

먼저 Figure 5와 같이 서클 패킹 시각화를 확인하는 사용자는 해당 주제에서는 세부 주제로 ‘인력확충 문제, 해결법은?’과 ‘모병제, 과연 현실적인가?’ 2개가 나왔음을 확인할 수 있다(R1). 첫 번째 세부 주제에서는 찬성 의견 키워드 4개, 반대 의견 키워드 2개, 두 번째 세부 주제에서는 찬성 의견 키워드 4개, 반대 의견 키워드 4개가 나왔음을 확인할 수 있다. 또한, 각 주제에서 키워드 노드의 크기는 텍스트 전처리 과정에서 키워드 발언량에 비례하여 정해진다. 이를 통해 각 주제에서 영향력 있는 발언을 비교할 수 있다. 첫 번째 세부 주제에서는 박휘락의 ‘질적 향상과 현대화 후 모병제 도입’이, 두 번째 세부 주제에서는 이준석의 ‘경제 호황 모병 어려움’이 가장 영향력이 높았음을 확인할 수 있다. 서클 패킹 시각화 외부 파이 차트로 타임라인으로 표현되어 있어 발언의 시간 및 참여 정도를 파악할 수 있고, 세부 주제별로 어떠한 사람이 주요 키워드를 제시하였는지 입장 및 의견 파악이 가능하다(R2, R3).

Figure 5

Detailed information about circle packing visualization

그리고 동시발생 행렬 시각화(Figure 6)를 확인하는 사용자는 해당 주제에서 초반에 논쟁이 활발하게 일어났음을 확인할 수 있다. 이 중, 가장 논쟁이 심화된 구간은 박휘락과 김종대임을 볼 수 있다(R5). 플롯 차트로 핵심 용어를 파악 가능하고(R2), 아래 바 차트로 토론 참여자 간 논쟁 빈도 값을 탐지할 수 있다(R6).

Figure 6

Detailed information about co-occurrence matrix visualization

가장 활발하게 논쟁이 오고 간 사람은 이준석과 김종대로 총 8회 일어났음을 확인할 수 있다.

다음으로 첫 번째 세부 주제에서 모병제 반대와 관련하여 가장 영향력이 있었던 토론 참여자 박휘락과 찬성의견을 많이 낸 장경태와 김종대 간의 논쟁을 중심으로 확인하고자 한다. 관련 분석을 위해 확인하는 시스템의 모습은 Figure 7과 같다.

Figure 7

Interaction between first subtopic debaters

박휘락(노란색)과 관련된 논쟁 키워드 버블을 살펴보면, 노후화된 군 환경을 질적 향상을 토대로 현대화 군으로 변모하는 점을 강조한다. 장경태(파란색)는 박휘락에 비해 상대적으로 발언은 많았지만 모병제 찬성과 관련한 예시를 많이 들며 찬성하는 것을 확인할 수 있다(R3).

논쟁이 가장 많았던 사람인 김종대가 왜 큰 영향력이 없는지에 대해 의문을 가진 사용자는 상호작용(Figure 8)을 통해 이를 확인하고자 한다(R4). 김종대의 주요 키워드인 ‘사회주류로의 발판제공’을 클릭하여 해당 스크립트를 확인한다. 이를 통해 김종대는 계층 사다리가 끊어진 청년들, 대학을 졸업하지 못한 청년들에게 군대 경험이 디딤돌이 될 수 있다는 예상안을 제시하고 있다. 또한 모병제 찬성에 대한 직접적인 해결법을 제시하지 않고 해외 모병제 사례들을 통해 이를 직접적인 예를 논쟁의 심화 정도는 가장 강하였지만, 직접적인 병력 충원 문제 해결에 대해선 기여하지 못하고 있음을 확인할 수 있게 되었다. 논쟁의 심화정도 강한 것으로 나타나지만, 사례에 대한 지적으로 인하여 논쟁이 심화되었음을 사용자는 유추할 수 있다.

Figure 8

Detail information of the debater ‘Kim Jong Dae’

다음으로 두 번째 세부 주제에서 모병제 반대와 관련하여 가장 영향력이 있었던 토론 참여자 이준석과 찬성 의견을 많이 낸 장경태, 그리고 가장 논쟁이 활발하게 나타난 김종대를 중심으로 확인하고자 한다(Figure 9).

Figure 9

Interaction between second subtopic debaters

사용자는 시스템의 상호작용을 통해 이준석은 주제에 대해 발언 시간을 길게 가져 모병제 반대에 대한 자신의 의견을 피력한 것을 확인할 수 있다. 해당 세부주제에서 가장 영향력 있는 발언을 한 이준석은 특히 경제호황일 때는 모병제가 더욱 어렵다는 것과, 병력수요공급이 예측하기 어렵다는 의견을 내세우고 있다. 사용자는 이를 자세하게 확인하기 위해 상호작용으로 키워드 클릭 시 해당 스크립트를 확인한다. 수치와 구체적인 사례와 한국이 처한 상황을 기반으로 현실적으로 모병제가 어렵다는 의견을 내세우고 있는 것을 볼 수 있다(Figure 10).

Figure 10

Detail information of the debater ‘Lee Joon Seok’

7. 사용자 실험

이 장에서는 두 시각화 시스템을 사용하는 실험 참여자를 대상으로 각 사용성 검증 실험과 시각화 이해도 실험을 시행한 뒤 그 결과를 살펴본다. 검증 실험에서는 디자인 요구사항에서 정한 개요, 맥락, 탐지, 비교를 요인으로 설정하여 각 시각화에 대해 이해도 평가와 시각화의 장단점 및 보완점을 수집하여 정리한다. 그리고 각 시각화의 해석 능력을 측정하기 위한 실험에서도 디자인 요구사항을 요인으로 설정하여 이와 관련된 객관식 문항에 대한 정답률을 확인하여 결과를 정리한다.

7. 1. 실험 설계

본 실험은 동시발생 행렬 시각화와 서클 패킹 시각화의 이해도 및 해석 능력을 평가하기 위해 구성되었다.

이해도 설문은 각 시각화별 6개의 리커트 척도 문항(Table 5 및 6 참고)으로, 해석 능력 평가는 7개의 객관식 문항(Table 4 참고)으로 구성하였다.

Table 4

Seven multiple-choice questions designed to evaluate interpretation skills for each type of visualization

실험 참여자는 슈메토우(Schmettow, 2012)의 연구를 참고하여 본 연구 분야의 정량/정성적 사용연구에서 적절하게 권장하는 범위의 인원을 모집하고자 하였으며, 데이터 시각화 및 디자인 경험자 13명, 텍스트 마이닝 및 자연어처리 경험자 10명으로 총 23명을 대상으로 하였다. 데이터 시각화 및 디자인 경험자들은 관련 분야의 실무 경험이 있는 인물로, 시각화 기능과 디자인 요소에 대한 유용성과 이해도를 평가하는 데 적합하다. 텍스트 마이닝 및 자연어처리 경험자들은 컴퓨터공학 전공자이자 관련 실무 경험을 지닌 인물로, 비디자인 전공자의 관점에서 시스템의 기능성과 활용 가능성을 평가하기에 적합하다.

실험은 크게 세 단계로 구성되었다. 먼저, 실험 참여자에게 두 가지 시각화 시스템에 대한 이해를 돕기 위해 토론과 논쟁, 시각화를 설명하는 보조 수단인 건축물과 화합물에 대한 개념, 데이터 시각화 개념 및 시각화 해석 방법을 설명하였다. 이후 참여자들은 각 시각화를 조작하며 기능을 학습하고, 시각화 이해도를 평가하는 설문 문항에 리커트 척도 기반으로 응답하였다. 마지막으로 시각화 해석 능력을 평가하는 객관식 문항과 자유 서술형 문항을 통해 의견을 수집하였다. 실험 시간은 1시간 이내로 설정하였다.

설문 도구의 신뢰성은 크론바흐 알파(Cronbach’s α) 계수를 사용하여 분석하였다. 이는 문항 간 내적 일관성을 평가하는 지표로, 일반적으로 계수가 0.6 이상이면 신뢰할 수 있는 수준으로 간주된다.

7. 2. 신뢰도 분석 결과

실험 참여자들은 두 가지 시각화 시스템을 자유롭게 사용하였으며, 대부분은 제시한 시간 내에 체험을 완료하였다. 실험 중간 진행자가 사용상의 불편함을 확인한 결과, 대부분의 참여자가 시각화를 자유롭게 탐색하며 사용하는 데 큰 어려움이 없었다고 응답하였다.

7. 2. 1. 동시발생 행렬 시각화에 대한 이해도 측정

동시발생 행렬 시각화에 대한 신뢰도를 분석한 결과는 아래 Table 5를 통해 확인할 수 있다. 각 항목별로 측정된 크론바흐 알파 계수 값은 전체 크론바흐 알파 값 0.824, 최댓값 0.834 (5번), 최솟값 0.763(3번)이었다. 모든 문항이 0.7 이상의 크론바흐 알파 값을 보이므로, 모든 문항이 일관된 내적 일관성을 보인다.

Table 5

Cronbach’s α for each question of co-occurrence matrix visualization

다음으로 각 문항에 대해 실험 참여자들의 응답을 1점부터 5점까지 누적하여 시각화하였으며(Figure 11), 항목별 평가 경향을 분석하였다. 전반적으로 부정적인 응답은 적었으나, 5번 문항과 6번 문항에서 부정 응답이 상대적으로 많아, 동시발생 행렬 시각화가 토론 참여자의 입장 비교나 의견 구분에 어려움이 있음을 확인할 수 있었다. 일부 참여자들은 ‘찬반 구분이 어렵다’, ‘논쟁 의견 비교 방식이 불분명하다’는 의견을 제시하기도 하였지만 논쟁 탐지 및 토론 개요 파악에는 유용하다는 것을 확인하였다.

Figure 11

Cumulative bar graphs of score values for each question about co-occurrence matrix visualization

7. 2. 2. 서클 패킹 시각화에 대한 이해도 측정

서클 패킹 시각화에 대한 신뢰도를 분석한 결과는 아래 Table 6을 통해 확인할 수 있다. 각 항목별로 측정된 크론바흐 알파 계수 값은 전체 크론바흐 알파 값 0.827, 최댓값 0.833(4번), 최솟값 0.744(1번)이었다. 모든 문항이 0.7 이상의 크론바흐 알파 값을 보이므로, 모든 문항이 일관된 내적 일관성을 보인다.

Table 6

Cronbach’s α for each question of circle packing visualization

다음으로 각 문항에 대한 응답을 1점부터 5점까지 누적하여 시각화하였으며(Figure 12), 항목별 평가를 분석하였다. 전반적으로 부정적 응답은 적었으나, 3번과 4번 문항에서 부정적 평가가 다수 나타나 서클 패킹 시각화가 논쟁 심화 구간이나 빈도 파악에는 어려움이 있음을 알 수 있었다. 반면, 참여자들은 ‘주요 의견 파악과 비교는 용이하다’는 의견을 주었으며, 이를 통해 해당 시각화가 토론 개요 및 논쟁 의견 비교에 수월하다는 것을 확인하였다.

Figure 12

Cumulative bar graphs of score values for each question about circle packing visualization

7. 3. 동시발생 행렬 및 서클 패킹 시각화의 유용성 비교

본 연구에서 제안한 두 가지 토론 시각화의 유용성을 비교하기 위해, 같은 설문 항에 대해 paired t-test를 실시하였다. 설문 항은 개요, 맥락, 탐지, 비교에 대한 설문으로 1번 문항(본 시각화를 통해 토론의 전체 주제와 흐름을 빠르게 파악할 수 있다.), 2번 문항(본 시각화를 통해 토론의 핵심 용어와 관련된 정보를 명확하게 요약하여 제시한다고 느낄 수 있다.), 3번 문항(토론 중 논쟁의 심화 구간을 쉽게 식별할 수 있다.), 4번 문항(토론 참여자 간 논쟁 빈도의 정량적 분석을 쉽게 이해할 수 있다.), 5번 문항(토론 참여자들의 각 주제에 대한 입장과 의견을 명확하게 알 수 있다.), 6번 문항(토론 참여자들이 주제 관련 키워드를 언급한 빈도와 영향력을 비교하기 쉽다.)으로 구성하여 실시하였다.

Table 7의 paired t-test 분석 결과, 개요 관련 문항에서는 동시발생 행렬 시각화가 더 유용하다는 평가를 받았고, 맥락 문항에서는 서클 패킹 시각화가 더 효과적인 것으로 나타났다. 탐지 문항에서는 동시발생 행렬 시각화가 논쟁 심화 구간 및 빈도 분석에 유리함을 보였으며, 비교 문항에서는 서클 패킹 시각화가 참여자의 입장 파악과 키워드 언급 빈도 및 영향력 비교에 더 적합한 것으로 나타났다.

Table 7

Paired t-test results of the two visualizations

8. 결론 및 제언

본 연구는 논쟁의 구조를 효과적으로 탐지·비교하기 위한 시각화 시스템을 구현하고 사용성을 검증하는 것을 목표로 하였다. 연구를 위해 먼저 토론 및 논쟁 시각화 관련 선행 연구를 검토하였으며, 그 과정에서 논쟁 분석의 주요 목적이 ‘논쟁의 탐지’와 ‘논쟁의 비교’임을 확인하였다. 아울러 선행 연구에서는, 논쟁 탐지에는 ‘건축 구조물’이, 논쟁 비교에는 ‘화합물’이 보조 수단으로 사용된 시각화가 등장한다는 것을 파악하였다. 이러한 분석을 토대로 본 연구에서는 ‘동시발생 행렬 시각화’와 ‘서클 패킹 시각화’를 선정하였다. 동시발생 행렬에서는 피라미드형 구조를 사용하여 발화의 계층 구조, 논쟁의 발생 위치 및 밀도를 표현하였다. 서클 패킹에서는 주제별로 나타나는 참여자들의 핵심 키워드를 원형 군집 형태로 표현하였으며 색상, 모양, 크기 차이를 두어 비교를 용이하게 하였다. 이후 사용자의 요구사항을 반영한 시각화 시스템의 사용 방법을 소개하기 위한 시나리오를 제안하였고, 최종적으로는 디자인 요구사항과 분석 목적의 충실한 반영 여부를 평가하기 위해 사용자 실험을 하였다. 실험 결과 각 시각화 방식이 실제 논쟁 분석 상황에서 얼마나 유용하게 기능하는지를 실증적으로 검토하였다.

본 연구에서 제시한 시각화 결과물은 토론 참여자들의 입장과 논쟁을 쉽게 설명하기 위해 건축 구조물과 화합물의 시각적 은유를 보조 수단으로 활용함으로써, 사용자가 논쟁의 구조를 직관적으로 이해하고, 시각화의 설계 논리를 명확히 인식하도록 한 점에서 의의가 있다. 특히, 논쟁의 탐지 목적에 적합한 동시발생 행렬 시각화와 입장 비교 목적에 적합한 서클 패킹 시각화의 설계를 통해, 시각화 목적과 표현 방식 간의 구조적 연결성을 구체화하였다. 이는 시각화 연구에서 보다 쉬운 해석을 돕는 시각적 수단을 선정하기 위한 이론적 틀을 확장하고 향후 논쟁 시각화 설계 시 목적에 따라 연구자들이 시각화를 더욱 체계적으로 기획하는 데 있어 지표를 제시한다는 점에서 이론적 기여가 있다.

또한, 본 연구는 실제 논쟁 분석 업무에서 바로 활용이 가능한 시각화 도구를 제안하였다. 동시발생 행렬 시각화는 토론 흐름 속에서 논쟁의 심화 구간을 직관적으로 파악하는 데 적합하며, 서클 패킹 시각화는 주요 논쟁 주제 및 세부 주제에 대한 참여자들의 입장 분포와 영향력 비교에 효과적이다. 이러한 도구는 사회적 대화를 다루는 다양한 분야의 데이터들을 요약하여 분석하는 데 유용할 것으로 기대하며, 토론이 필요한 다양한 실무 분야에서 정보 해석의 부담을 줄이고 참여자의 상호작용 구조를 빠르게 파악하도록 지원하는 점에서 실용적 기여가 있다.

한편, 본 연구의 실험은 소규모의 참여자를 대상으로 진행되었기 때문에, 사용성 검증에 대한 결과를 일반화하는 데는 한계가 있다. 다만 이번 실험은 시각화 기법의 개념적 타당성을 검증하기 위한 탐색적 성격을 갖고 있으며, 후속 연구에서는 대규모 데이터셋과 다양한 사용자 집단을 대상으로 확장형 검증 실험을 수행할 필요가 있다.

이밖에도 검증 실험에서 사용자들이 지적한 시스템의 한계를 개선하는 구체적인 접근 방법을 연구할 예정이다. 우선, 동시발생 행렬 시각화에서 참여자들을 비교하는 데 있어서 어려움이 있던 부분을 해결하기 위해 참여자별로 데이터를 볼 수 있는 레이어링(layering) 및 필터링 기능을 도입할 계획이다. 사용자가 관찰하기 원하는 참여자들을 선택하면 관련된 동시발생 행렬의 하단에 위치한 사용자 노드들을 이동시켜 멀티 레이어화된 형태로 보여준다면, 사용자 관점에서 각 참여자들의 개인화된 패턴 탐색을 가능하게 할 수 있다. 다음으로 서클 패킹 시각화에서 토론 및 논쟁의 강도를 식별하기 어렵다는 한계를 보완하기 위해 버블의 시각 속성인 크기, 색상뿐만 아니라 명도의 조절, 윤곽선의 두께 조절 등을 추가하여 강도별 가중치(weighted intensity)를 반영할 수 있는 변수를 시스템에 추가할 계획이다. 이 변수는 발화의 빈도, 감정의 극성, 반응 정도 등을 추가로 반영하여 버블의 시각적 강도를 조절함으로써, 논쟁의 강도를 직관적으로 판단할 수 있도록 도와줄 것이라 기대한다.

향후 본 연구의 시각화 도구는 다양한 분야에서 다음과 같은 실현 가능한 방향으로 확장될 수 있다. 첫째, 공공 회의 기록 및 정책 결정 지원 시스템으로 본 연구의 시각화 방법론이 적용될 수 있다. 예를 들어, 지방자치단체의 회의록이나 국회 속기록 등에서 토론 구조를 자동으로 시각화함으로써, 정책 결정 과정에서의 주요 쟁점과 입장 차이를 신속하게 파악할 수 있도록 도울 수 있다. 특히 동시발생 행렬 기반 시각화는 쟁점 집중도와 갈등 밀도를 정량적으로 제시할 수 있어, 실무자 또는 시민들이 직관적으로 논쟁 구간을 이해하도록 돕는다.

둘째, 시민참여 온라인 플랫폼에서 공론 데이터에 대한 분석 도구로 확장할 수 있다. 예컨대, 토론이 가능한 온라인 플랫폼에서 나타나는 실시간 발언 구조를 시각화하여, 어떤 논의가 집중되고 있으며 의견이 어떤 방향으로 수렴 혹은 대립하고 있는지를 보여주는 실시간 피드백 도구로 활용될 수 있다.

셋째, 교육 현장에서의 토론 교육 및 피드백 도구로도 적용할 수 있다. 실제 교육 현장에서 토론 수업 후 발화 내용을 시각화하여, 학생별 주장 구조, 반박 패턴, 주제 집중도 등을 쉽게 피드백할 수 있다. 특히 서클 패킹 시각화는 학생 개개인의 발언 중심성과 논점 참여도를 시각적으로 비교하는 데 있어 효과적일 것으로 기대한다.

넷째, 자연어 기반 논쟁 분석 알고리즘의 후속 연구 측면에서 본 연구의 시각화 방법론이 학습 자료로서 활용될 수 있다. 예를 들어, 현재는 사용자 주도적 설계 및 실험을 중심으로 진행된 본 연구를, 향후 자동화된 논쟁 추출, 발화 간 관계성 인식, 키워드 영향력 모델링 등의 기술과 결합함으로써, AI 기반의 논쟁 구조 자동 시각화 도구로 고도화할 수 있는 방향이 마련될 수 있다.

Acknowledgments

이 논문은 2020년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(NRF-2020S1A5A2A01043532).

이 논문은 문광혁의 2024년도 라이프미디어협동과정 석사 학위논문을 재구성하여 작성되었음.

This work was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea(NRF-2020S1A5A2A01043532)

This work is based on a main portion of Kwanghyuk Moon’s master thesis research completed at Ajou University under the direction of Kyungwon Lee.

References

• Biran, O., & Rambow, O. (2011, September). Identifying justifications in written dialogs. In 2011 IEEE Fifth International Conference on Semantic Computing (pp. 162-168). IEEE. [https://doi.org/10.1109/ICSC.2011.41]
• Chen, S., Andrienko, N., Andrienko, G., Li, J., & Yuan, X. (2020). Co-bridges: Pairwise visual connection and comparison for multi-item data streams. IEEE Transactions on Visualization and Computer Graphics, 27(2), 1612-1622. [https://doi.org/10.1109/TVCG.2020.3030411]
• Choi, H. (2004). A study on the evaluation of the attributes of moderators in television debate programs and the relationship with audience satisfaction (Master's thesis, Keimyung University, Daegu, South Korea).
• Choi, Y. (2005). Content analysis of political discourse in the United States, France, and Korea: Focusing on presidential election TV debates. Media and Science Research, 5(3), 658-681.
• El-Assady, M., Gold, V., Acevedo, C., Collins, C., & Keim, D. (2016, June). ConToVi: Multi-party conversation exploration using topic-space views. In Computer Graphics Forum (Vol. 35, No. 3, pp. 431-440). [https://doi.org/10.1111/cgf.12919]
• Forceville, C. (2008). Metaphor in pictures and multimodal representations. The Cambridge handbook of metaphor and thought, 462-482. [https://doi.org/10.1017/CBO9780511816802.028]
• Google Natural Language. (n.d.). Google Cloud. Retrieved from https://cloud.google.com/natural-language.
• Gruber, M. (2024). Exploring Debate Dynamics: A Data Visualization Tool for Inference Anchoring Theory (Bachelor's thesis, Universität Passau, Passau, Germany).
• Ha, H., Joung, H., Moon, K., & Lee, K. (2022). Constructing a Taxonomy for Sentiment Visualization Analysis Using Visual Metaphors. Archives of Design Research, 35(2), 181-207. [https://doi.org/10.15187/adr.2022.05.35.2.181]
• Ha, H., Moon, K., Joung, H., Kim, H., & Lee, K. (2024). An exploration system to effectively analyze the visual metaphor used in sentiment visualization. Information Visualization, 23(2), 157-196. [https://doi.org/10.1177/14738716241228593]
• Ho, J., Ha, H., Lee, S. W., & Lee, K. (2022). Using Conceptual Recurrence and Consistency Metrics for Topic Segmentation in Debate. Applied Sciences, 12(6), 2952. [https://doi.org/10.3390/app12062952]
• Kim, J. (2009). Interaction patterns in TV debates. French Culture and Art Studies, 29, 31-65.
• Lee, E. (2010). Interaction patterns of moderators and debaters in TV current affairs debates. Text Linguistics, 29, 341-373.
• Lee, G. (2010). A study on dialogue strategies in TV debates (Master's thesis, Ewha Womans University Graduate School, Seoul, South Korea).
• Lee, J. (2014). A study on dialogue in Korean broadcast debate programs (Doctoral dissertation, Korea University Graduate School, Seoul, South Korea).
• Moon, K., Ha, H., & Lee, K. (2023, October). Towards Better Understanding: Proposing Effective Visualization Methods for Analyzing Argument in Debate. In 2023 IEEE Visualization Conference (VIS) (pp. 1-2). IEEE.
• One Hundred Minute Debate. (n.d.). MBC. Retrieved from https://m.imbc.com/vod/vodplay?progcode=1000842100000100000&broadcastid=1000842101183100000.
• Open AI API·DATA Service. (n.d.). ETRI. Retrieved from https://aiopen.etri.re.kr/.
• Park, Y. (1997). Analysis of discourse in television political debates: A case study of the Seoul mayoral candidates' debate. Text Linguistics, 4, 139-166.
• Pitt, B., & Casasanto, D. (2022). Spatial metaphors and the design of everyday things. Frontiers in Psychology, 13, 1019957. [https://doi.org/10.3389/fpsyg.2022.1019957]
• Rieke, R. D., & Sillars, M. O. (1984). Argumentation and the decision making process (Vol. 10). Addison-Wesley Longman.
• Sevastjanova, R., El-Assady, M., Bradley, A., Collins, C., Butt, M., &Keim, D. (2021). Visinreport: Complementing visual discourse analytics through personalized insight reports. IEEE Transactions on Visualization and Computer Graphics, 28(12), 4757-4769. [https://doi.org/10.1109/TVCG.2021.3104026]
• Schmettow, M. (2012). Sample size in usability studies. Communications of the ACM, 55(4), 64-70. [https://doi.org/10.1145/2133806.2133824]
• South, L., Schwab, M., Beauchamp, N., Wang, L., Wihbey, J., & Borkin, M. A. (2020, October). DebateVis: Visualizing political debates for non-expert users. In 2020 IEEE Visualization Conference (VIS) (pp. 241-245). IEEE. [https://doi.org/10.1109/VIS47514.2020.00055]
• Ullmann, T. D., De Liddo, A., & Bachler, M. (2019). A visualisation dashboard for contested collective intelligence. Learning analytics to improve sensemaking of group discussion. RIED: Revista Iboeroamericana de Educacin a Distancia (The Ibero-American Journal of Digital Education), 22(1), 41-80. [https://doi.org/10.5944/ried.22.1.22294]
• Van Dijk, T. A. (1997). What is political discourse analysis. Belgian Journal of Linguistics, 11(1), 11-52. [https://doi.org/10.1075/bjl.11.03dij]
• Walton, D. N. (1990). What is reasoning? What is an argument?. The journal of Philosophy, 87(8), 399-419. [https://doi.org/10.2307/2026735]
• Walton, D., & Krabbe, E. C. (1995). Commitment in dialogue: Basic concepts of interpersonal reasoning. SUNY press.
• Wu, R. M., Zhang, H., Liang, J., Shafiabady, N., Lu, H. Y., Gide, E., ... & Duan, S. (2025). Bubble-Wall Plot as a Dynamic Analytical Processing Visualization Tool for Developing Visual Warning Systems: a Case Study. PloS one, 20(7), e0321077. [https://doi.org/10.1371/journal.pone.0321077]