효과적인 회의 요약정보 제공을 위한 인터페이스 디자인 연구: 내러티브 차트와 토픽맵 시각화를 중심으로

1. 연구의 배경 및 목적

회의는 협업으로 운영되는 작업 환경에서 필수적인 요소이다. 따라서 다양한 직군으로 구성된 직장에서 회의는 매우 빈번하게 발생한다. 앨런, 레만, 그리고 로젤버그 (Allen, Lehmann-Willenbrock and Rogelberg, 2015)에 따르면 2015년 기준 미국에서 매일 약 2천 5백만 번의 회의가 발생한다. 또한, 게이어, 리쳐, 그리고 아보드(Geyer, Richter, and Abowd, 2005)에 따르면 회의를 통해 사람들은 중요한 의사 결정을 내리고 아이디어를 생성한다. 그러므로 효율적인 업무를 위해 지난 회의 내용을 검토하는 것은 직장인에게 매우 중요하다. 그러나 다수의 사람이 참여하는 회의에는 많은 정보가 포함되기 때문에 회의에서 논의된 중요한 정보를 잊어버리기 쉽다.

이런 문제를 해결하기 위해 일반적으로 사람들은 회의 중 메모를 한다. 그러나 메모는 종종 주관적이며 부정확하다는 한계를 지닌다. 회의 중 메모를 작성하느라 논의의 흐름을 따라가지 못하거나 다른 중요한 부분을 놓치게 되는 부작용을 야기하기도 한다. 제임스와 미야자키(Jaimes and Miyazaki, 2005)에 의하면 이러한 문제들로 인해 회의가 끝난 후 메모만으로 이전 회의를 회상하기는 쉽지 않다.

메모의 불편함을 보완하기 위해 디지털 미디어에 회의를 기록하는 자동 회의 기록 방법이 고안되어왔다. 디지털 미디어를 이용한 회의 기록 방법은 오디오나 비디오 녹화로, 누가 참석했으며 무엇을 논의했는지에 대한 포괄적인 회의 기록을 제공한다. 게다가 이러한 녹화 기술은 일단 녹화가 시작되면 회의 중에 추가 작업이 필요하지 않다. 하지만 오디오/비디오 녹화를 이용한 기록은 회의의 구조 정보를 제공하지 않아 구간을 탐색하는 데 시간이 걸린다. 울프, 린네, 그리고 브릭스(Wolf, Rhyne, and Briggs, 1992)에 따르면 사용자들은 전체 회의 중 그들이 관심 있는 부분을 빠르게 찾아보고 접근하기를 원한다. 이러한 점에서 단순한 녹음 및 녹화 기법은 탐색을 지원하지 않는다는 한계를 지니게 된다.

최근에는 이러한 사용자 요구에 따라 디지털미디어를 이용해 기록한 회의 데이터를 효율적으로 요약하여 보여주는 시각 기반 인터페이스 연구가 활발히 진행되고 있다. 그러나 직장 내 회의는 다양한 형식과 진행 방식으로 이뤄지기 때문에 하나의 시스템으로 모든 회의를 요약하는 것은 제약적이며 많은 한계가 있다. 그러므로 회의 분류에 따라 적합한 요약 인터페이스가 제공된다면, 실제 작업 환경의 사용자들에게 더욱 효율적으로 사용될 것이다.

본 연구에서는 직장 내에서 발생하는 다양한 회의를 주최 목적과 특성에 따라 분류하고, 분류 유형에 적합한 회의 요약 시각화 시스템을 제안한다. 이를 위해 먼저 직장 회의를 분석한 선행 연구 고찰을 통해 체계적으로 회의 유형을 분류하는 과정을 거쳤으며, 관련 시각화 연구 분석을 통해 각 연구에서 회의를 설명하거나 요약하는 데 사용한 시각화 방법을 검토하였다. 인터페이스 설계 과정에서는 세들마이어, 메어, 그리고 문즈너 (Sedlmair, Meyer, and Munzner, 2012)가 제안한 설계 연구 방법론 프레임워크를 적용하였다. 시각화 설계 연구 과정에서는 전문가와의 협업을 강조한 해당 방법론에 따라 전문가 그룹과 논의를 통해 사용자 요구사항을 반영하였다. 마지막으로 구현된 시스템 검증 과정에서는 사용자 시나리오와 설문을 통한 사용성 검증을 진행하였다. 이로써 설계 과정에서 정의한 사용자 요구사항이 인터페이스에 얼마나 효과적으로 반영되었는지를 판단할 수 있었다.

본 연구에서 제안하는 시각 분석 시스템의 목적은 다음과 같다. 첫째, 회의 유형에 적합한 요약 시각화를 통해 효과적으로 회의 개요 정보를 제공한다. 둘째, 회의 유형 중 하나인 논의 유형의 회의 시각화에서는 진행 시간에 따른 회의 맥락과 참여자 발화 정보를 제공한다. 셋째, 아이디어 공유 유형의 회의 시각화에서는 회의 아젠다 정보 및 아젠다 별 토픽과 같은 구조적 정보를 제공한다. 결과적으로 이를 통해 사용자가 회의 전체 내용에 대한 면밀한 검토 없이 용이하게 회의 내용을 탐색하여 지난 회의를 쉽게 회상할 수 있도록 하는 것이 연구의 목적이다.

본 연구의 설명 비디오와 구현 링크는 다음과 같다.

비디오(https://drive.google.com/file/d/12ivq5MbyBs_Z7FWIe2bF_fuPLMyE7jOy/view?usp=sharing)

구현링크(https://summarnote.web.app/narrative-s?data=meeting, https://summarnote.web.app/topicmap-s?data=app-brainstorming)

2. 직장 내 회의의 분류와 정의

연구 시작에 앞서 직장 내에서 회의가 가지는 의미와 그 목적은 무엇인지 살펴보고자 관련 연구를 검토하였다. 미네만, 해리슨, 얀슨, 모란, 쿠텐바흐, 그리고 스미스 (Minneman, Harrison, Janssen, Moran, Kurtenbach, Smith, 1995)에 따르면 구성원은 회의를 통해 검토, 평가, 토론, 문제 해결 및 결정을 위해 서로에게 정보를 제시하고 협력한다. 트레이시와 디목(Tracy and Dimock, 2003)의 연구에서는 회의를 직장 내 구성원들이 문제를 해결하거나 제기하고, 정보를 제공하며 정책을 개발하는 것과 같은 다양한 활동을 수행하는 일을 말한다고 정의하였다. 엘랜, 벡, 그리고 스콧(Allen, Beck, and Scott, 2014)은 회의를 주최 목적에 따라 정보공유, 문제 해결과 의사결정, 브레인스토밍, 교육, 사회화 목적으로 분류했다. 본 연구에서는 앞선 연구에서 주최 목적에 따라 5가지로 분류한 회의 종류를 다시 각 회의가 가지는 특성에 따라 크게 ‘논의 중심 회의’와 ‘토픽 중심 회의’로 그룹화하였다. 각 회의가 가지는 자세한 특성은 Table 1과 같다.

Table 1

Classification of workplace meetings according to purpose

두 가지 회의 분류 중 논의 중심 회의는 정보 공유와 문제 해결 및 의사결정을 목적으로 하는 회의이다. 즉, 참여자들 간의 논의로 이뤄지며 다수의 발화 참여로 진행된다는 특징을 가진다. 따라서 회의의 진행 구조와 내용을 파악하기 위해서는 시간의 흐름에 따라 각 참여자가 무엇을 말하고 있으며, 누구와 상호작용하고 있는지를 파악하는 것이 중요하다.

토픽 중심 회의는 아이디어 공유 또는 정보 전달을 목적으로 하는 브레인스토밍이나 교육 회의가 있다. 두고쉬, 카렌, 그리고 레겟의 연구(Dugosh, Karen, and Leggett, 2000)에 의하면 이러한 회의는 개인의 의견을 다수에게 공유하는 형식으로 진행되는 특징이 있다. 그 중 브레인스토밍은 옥슬리, 마리, 그리고 파울에 의해 수행된 연구(Oxley, Mary, and Paul, 1996)에 따라 다음과 같은 특징을 가진다. 1) 비판은 배제하되 2) 자유분방한 의견을 환영하고 3) 양적인 것을 원하며 4) 조합과 개선을 추구한다.

3. 회의 기록 및 시각화 연구

앞서 직장 내 회의의 정의와 분류에 대해 살펴봤다면 이번 장에서는 회의를 기록하고 시각화하는 방법에 대한 선행 연구를 살펴보도록 한다. 일반적으로 회의 참여자들은 회의 중 발생한 주요 논의 사항이나 의사 결정과 같은 중요한 정보를 기록한다. 기록 방법 중 메모 작성법은 하틀리와 제임스의 연구(Hartley and James, 1983)에 따르면 사람들의 기억 회상을 향상하는 데 긍정적인 영향을 준다고 한다. 그러나 메모 작성법의 어려움에 대해 칸이 실시한 인터뷰 실험(Khan, 1993) 결과를 살펴보면 메모가 가지는 한계는 다음과 같다. 첫째, 작성한 글을 읽기 쉽지 않다. 둘째, 무언가 작성한 글의 문맥을 잊어버리기 쉽다. 셋째, 충분히 정보를 작성하지 않았기 때문에 몇 가지 중요한 사항을 적어 두지 않았다.

이러한 문제를 해결하기 위해 많은 연구자가 오디오나 비디오 기술을 사용한 기록 방법인 회의 브라우저를 고안했다. 이는 회의 전체 내용을 기록하기 때문에 수기 기록의 문제를 해결할 수 있다. 아론(Arons, 1997)이 제안한 SpeechSkimmer는 토론 내용을 녹음하여 그대로 저장한다. 이는 회의 전체 내용을 기록하는 장점이 있지만 정보 탐색 시 회의 진행 구조를 알 수 없어 여전히 어려움이 있다. 기게솜, 보레즈키, 그리고 윌콕(Girgesohm, Boreczky, and Wilcox, 2001)이 제안한 회의 브라우저는 녹화된 회의의 각 구간에 키 프레임 제공하여 탐색이 보다 용이하도록 하였지만 회의 맥락을 파악하기 위해서는 일일이 키 프레임의 구조를 확인해야 한다.

이에 따라 많은 후속 연구에서는 회의 기록 브라우저의 정보 탐색 한계를 극복하기 위해 시각화 방법을 활용하였다. 시각화는 많은 양의 데이터 특성을 사람들이 인지적으로 쉽게 이해할 수 있도록 도움을 주는 도구이며 데이터만으로는 확인하기 어려웠던 숨겨진 이벤트나 패턴을 알 수 있다. 쉬, 브리얀, 바미이파티, 자오, 쟝, 그리고 마가 제안한 회의 요약 시각화 인터페이스인 MeetingVis(Shi, Bryan, Bhamidipati, Zhao, Zhang, and Ma, 2018)는 회의의 맥락을 서사 구조에 대입한 스토리라인 시각화를 제안하였다. 그들은 튤빙의 연구(Tulving, 1972)에 따른 서술 구조를 활용하여 사건에 대한 회상을 돕기 위해 정보를 인간의 기억 체계에 따라 토폴로지로 구성했다. 이를 통해 사용자는 시간에 따른 참여자 논의 패턴을 구조화한 맥락 정보를 사용하여 효과적으로 정보를 회상할 수 있다. 하지만 다양한 토픽 정보를 제공하지는 못한다는 한계가 있다.

다음으로 응구엔, 후, 그라바, 레즈닉이 제안한 Argviz (Nguyen, Hu, Graber, and Resnik, 2013)는 회의 참여자들의 대화록과 회의 개요 및 주요 토픽을 시각화하였다. 이는 회의의 전체 토픽을 파악하고 회의 진행 구조를 쉽게 알 수 있도록 시각적으로 도움을 준다. 그러나 제공되는 토픽의 개수가 한정적이며, 회의 참여자들의 상호작용을 통한 대화 맥락을 파악하기 어렵다.

마지막으로, 아세디, 스바스자노바, 깁, 케임, 그리고 콜린스(El-Assady, Sevastjanova, Gipp, Keim, and Collins, 2017)가 제안한 NEREx는 다자간의 대화 탐색 및 분석을 돕기 위한 시각화이다. 토픽을 중점으로 나타내는 시각화로써 회의 진행의 전체적인 구조를 파악할 수 있다는 장점이 있으나 주요 토픽만으로는 구체적인 이야기 맥락을 알 수 없다는 아쉬움이 있다.

선행 시각화 연구를 살펴본 결과 앞서 2장에서 분류한 것과 같이 논의 중심 회의와 토픽 중심 회의로 시각화 연구가 진행되온 것을 확인하였다. 논의 중심 회의에는 MeetingVis, 토픽 중심 회의에는 Argviz, NEREx가 해당된다.

4. 내러티브 차트와 토픽맵

본 연구에서는 앞서 살펴본 직장 내 회의 분류 유형과 시각화 사례 연구 결과를 기반으로 두 가지 접근 방식으로 회의 요약 시각화를 제공하고자 한다. 참여자 간의 논의를 중심으로 이뤄지는 회의 유형을 시각화 하기 위해서는 맥락 중심의 시각화를, 개인의 아이디어 공유를 중심으로 이뤄지는 회의 유형을 시각화하기 위해서는 토픽 중심의 시각화를 선정하였다. 스토리텔링 시각화 기법 중 하나인 Figure 1의 내러티브 차트는 시간의 흐름에 따른 이야기 전개를 요약해주는 시각화이다. 주로 영화나 소설과 같이 서사 구조를 가진 정보를 시각화하기 위해 사용되며, 인물 사이에 일어나는 사건과 인물 관계를 중심으로 이야기 전개를 시각화한다는 특징이 있다.

Figure 1

Movie narrative chart visualization

다수의 사람이 모여 특정 주제에 대해 논의하는 논의 중심 회의의 구성 요소를 살펴보면 서사 구조와 유사한 특징을 갖는다. 예를 들어, 서사 구성 요소의 주인공은 회의 참여자들에게 빗댈 수 있으며, 주인공 간의 갈등은 회의 참여자들 간의 상호작용으로 표현할 수 있다. 이에 본 연구에서는 논의 중심의 회의를 이 같은 서사 구조에 빗대어 표현하기에 적합하다고 판단하였다.

다음으로 토픽맵(Topic Maps)은 라스와 페퍼(Rath, Hans, and Pepper, 1999)에 따르면 수많은 정보의 의미 있는 네트워크 형태로 만들어지며, 사용자가 정보를 보다 쉽게 검색할 수 있게 한다. 토픽맵을 이루는 기본개념은 토픽(Topic), 발생(Occurrence), 관련(Association) 3가지로 구성되며 Figure 2와 같이 관련 있는 주제 토픽들이 연결된 형태를 갖는다. 그리고 발생은 관련에 대한 더 구체적이거나 자세한 정보를 가리킨다. 이지수, 이경원(Lee, Lee, 2008)에 의하면 토픽맵의 목적은 관련된 정보를 빠르게 찾아 구조를 쉽게 탐구할 수 있도록 도와주는 것에 있다.

Figure 2

Topic map visualization

본 연구에서는 아이디어 공유 중심의 회의 요소를 토픽맵 구조에 대입하고자 했다. 토픽은 회의에서 가장 많이 언급된 주요 토픽에 빗댈 수 있다. 토픽 간의 관련은 참여자 발화 문장 내 토픽 관계를 나타낼 수 있다. 발생은 해당 토픽과 함께, 그리고 자주 사용된 키워드 관계를 표현할 수 있다. 이로써 사용자에게 회의의 전반적인 토픽 정보와 그들의 관계를 제공할 수 있으며, 구조를 탐구하는데 유용할 것이라 판단하였다.

5. 인터페이스 디자인

인터페이스 디자인 설계 단계에서는 사용자 요구사항을 효과적으로 반영하기 위해 Sedlmair 외 2명이 제안한 설계 연구 방법론 프레임워크를 참고하였다. 해당 연구에서는 시각화 설계 연구 수행 시 도메인 전문가와 함께하는 협업의 중요성을 강조하고 있다. 이러한 협업은 문제 설정에 있어 시각화 연구자와 도메인 전문가 사이의 공통된 이해를 얻기 위한 중요한 단계이기 때문이다. 이를 참고하여 본 연구는 시스템의 타깃 사용자인 국내 기업의 도메인 전문가와 협업을 통해 진행되었다. 도메인 전문가의 요구사항을 기반으로 디자인 태스크를 설정하고, 인터페이스를 설계하였다. 또한 네 명의 도메인 전문가 및 한 명의 시각화 전문가와 정기적인 회의를 통해 디자인 개발 과정을 거치며 최대한 효과적으로 요구사항을 반영하고자 하였다. 시각화 구현에 사용된 데이터는 한 기업의 실제 프로젝트 이슈에 대한 논의 회의 및 아이디어 회의 녹음 데이터로 참여자 음성을 텍스트로 변환한 형태로 제공받아 사용하였다. 인터뷰는 2주에 1회, 약 6개월의 기간에 걸쳐 대면으로 진행되었으며 데이터 전문가 1명, 타겟 사용자 군이자 국내 기업 직장인 3명, 시각화 전문가 1명이 참여하였다. 인터뷰에 따라 설계된 디자인 요구사항은 Table 2와 같다.

Table 2

Narrative chart-based summary visualization requirements and design objectives

디자인 요구사항을 반영한 내러티브 차트 인터페이스 구성요소는 Figure 3의 (a)-(d)와 같다.

Figure 3

Narrative chart-based meeting summary interface

(a) 발화 라인 그래프: 각 라인의 색상은 참여자를, 두께는 발화 양을 나타낸다. 그래프를 감싸는 색상영역은 참여자들의 발화 문장들을 기반으로 분석한 텍스트 유사도에 따라 논의 구간 정보를 제공한다.

(b) 구간 토픽: 구간은 괄호 형태로 구분하였으며, 괄호 안에는 논의 구간에서 사용된 문장에서 추출한 주요 토픽을 제공한다. 사용자는 발화 라인 그래프와 구간 토픽 정보를 통해 누가, 언제, 어떠한 토픽에 대해 논의하고 있는지와 같은 회의 개요와 맥락 정보를 알 수 있다(R1, R4). 화자에 따른 시간별 발화 변화량과 토픽 그룹 및 해당 토픽 그룹에서 발언한 참여자도 파악할 수 있다.

(c) 참여자 발화 구간 그래프: 각 참여자가 논의 주제 구간별 발화한 부분을 상세하게 나타낸다. 특정 구간에서 특정 참여자가 발화한 문장을 확인하고 싶다면, 사용자는 해당 구간을 클릭하여 오른쪽 상세 화면에서 발화 문장을 확인할 수 있다. 그래프 왼쪽에 위치한 참여자 이름을 마우스오버하면 실제 발화 시간을 알 수 있다. 그래프의 세로 라인은 발생 업무를 나타낸다. 이는 각 참여자의 논의 기여와 상호작용을 확인할 수 있도록 디자인하였다(R5).

(d) 상세 화면: 상세 화면은 크게 세 가지 기능으로 구성된다[Figure4]. 첫 번째 탭은 주요 인터페이스와의 상호 작용 화면으로 구성된다. 앞서 소개한 참여자 발화 구간 그래프를 클릭하면 선택한 참여자가 특정 구간에서 언급한 문장을 확인할 수 있다. 토픽 태그를 클릭하면, 해당 토픽과 함께 사용된 키워드와 토픽이 언급된 전체 문장들을 확인할 수 있다. 이러한 인터랙션을 통해 사용자는 보고자 하는 구간의 대화 내용을 확인할 수 있다(R2). 두 번째 탭은 회의 중 촬영한 사진 정보를 제공하며, 세 번째 탭은 발생 업무 정보 및 부가적 정보를 나타낸다(R3). 이를 통해 사용자는 회의의 맥락과 개요뿐 아니라 참여자 대화 패턴이나 지난 회의에 대한 다양한 측면의 정보를 얻을 수 있다.

Figure 4

Detailed view of the right side (associated keyword and conversation information, and image information)

토픽 맵 기반 회의 요약 인터페이스는 토픽 중심 회의를 효과적으로 요약하도록 설계되었다. 타겟 사용자의 인터뷰에 따라 설계된 디자인 요구사항은 Table 3과 같다.

Table 3

Requirements and design objectives of topic map visualization

토픽맵 기반 회의 요약 인터페이스 구성요소는 Figure 5 (a)-(d)와 같다.

Figure 5

Topic map-based meeting summary interface

(c) 토픽맵: 키워드 토픽 노드(Node)와 그들의 관계를 이어주는 링크(Link)를 중심으로 구성된다. 사용자는 회의에서 언급된 다양한 키워드를 알 수 있으며, 이를 통해 회의의 대략적인 주제를 파악할 수 있다(R1). 다양한 토픽 노드의 크기는 사람들의 대화에서 언급된 빈도에 따라 결정된다. 노드를 연결해주는 링크의 두께는 대화 문장에서 두 키워드가 함께 언급된 빈도에 따라 결정된다. 즉, 가장 많이 언급된 키워드는 큰 노드 크기를 가지며 회의의 주요 토픽이라 판단할 수 있다.

서로 연관성이 많은 노드일수록 둘을 연결하는 링크는 두꺼운 두께를 가지게 된다. 사용자는 이 같은 토픽 노드와 링크 관계를 통해 회의의 전반적인 개요뿐 아니라 키워드 간의 관계를 파악할 수 있다(R5).

(a) 아젠다 그래프: 아젠다는 회의에서 참여자들이 함께 논할 의제 또는 안건을 말한다. 아젠다의 개수는 회의에 따라 다르다. 아젠다 그래프는 실제 구간의 발화 기간이 길이에 반영된 형태로 나타난다. 각 아젠다는 서로 다른 색상을 가지며, 해당 아젠다 구간에 언급된 토픽 노드의 색상은 동일한 색상을 갖는다. 이러한 색상 분류는 수많은 노드에 대한 의미 분류 정보를 제공하여 사용자가 키워드를 통해 회의 개요를 파악하는 데 도움을 준다(R4).

(b) 참여자 발화 구간 그래프: 시간에 따라 발화 참여자 정보를 알 수 있다. 아젠다 그래프와 함께 참고하면 각 아젠다에 대한 참여자 발화 패턴과 시간에 따른 이야기 흐름을 파악할 수 있다(R6). 참여자 이름을 마우스오버하면 실제 발화 시간을 알 수 있다. 그래프의 세로 라인은 발생 업무를 나타낸다.

(d) 상세 화면: 내러티브 차트 기반 회의 요약 인터페이스의 상세화면과 같다. Figure 5 (c)의 토픽맵 노드를 클릭하면 상세화면에서 해당 토픽와 함께 사용된 키워드와 대화 문장들을 확인할 수 있다. 복수의 노드를 선택하면 해당 키워드들이 모두 함께 사용된 연관 키워드와 대화 문장들을 찾을 수 있다. 상세화면의 다른 탭에서는 세부 내용 회상(R2)과 발생 업무 확인(R3) 기능을 제공한다.

6. 사용자 시나리오

이 장에서는 본 연구에서 제안하는 두 가지 유형의 회의 요약 시각화 시스템이 사용자의 요구사항을 반영하여 실제 회의 요약 기능으로써 활용되는지 알아보기 위해 유저 스토리(User story)을 참고하여 시나리오를 제시한다. 콘(Cohn)에 따르면 유저 스토리 기법은 최종 사용자 관점에서 시스템의 맥락과 기능을 정의하고 설정하는 기법으로, 복잡한 구조화 없이 사용자의 요구사항을 정리할 수 있다는 장점을 지닌다.

6. 1. 프로젝트 개발 이슈 논의

본 시나리오에서는 실제 프로젝트 개발 이슈에 대한 구성원들의 논의 데이터를 사용하였다. 회의는 약 40분이 소요되었으며, 구성원은 기획자 1명, 디자이너 1명, 개발자 3명의 총 다섯 명의 인원으로 진행되었다. 시나리오에서 선정한 가상의 사용자 요구사항은 다음과 같다.

시나리오 1 사용자 요구사항. 다음은 큐알 코드 기술을 사용한 음식점 이용 데이터 기획에 대한 논의이다. 음식점 이용 군을 분류하기 위한 대용량 네트워크 구축 관련 업무가 주요 이슈였다. 개발 이슈 회의에 참여했던 사용자는 회의에서 어떤 프로젝트에 대한 논의가 오갔으며, 자신이 참여하고 있는 프로젝트 개발 이슈가 무엇이었는지 상기하기를 원한다. 사용자는 참여자 내러티브 차트를 통해 지난 회의의 진행 맥락을 파악한다. 사용자는 첫 번째 프로젝트의 서비스 ‘디자인'에 대한 논의가 홍**, 허**, 한** 참여자에 의해 이뤄졌으며, 두 번째 프로젝트 ‘인수인계'에 대한 논의가 허**, 한**, 이** 참여자에 의해 이뤄졌음을 확인했다. 그리고 세 번째 논의 구간에서 ‘큐알’, ‘서비스’와 같은 토픽에 대한 논의가 오간 것으로 보아 최근 새로 시작한 큐알 코드를 이용한 프로젝트에 대해 이야기했음을 상기한다[Figure 6].

Figure 6

Narrative chart using the scenario data

그리고 마지막 논의 구간이자 자신이 참여하고 있는 ‘네트워크’ 관련 프로젝트의 상세 내용을 토픽 태그를 통해 확인한다[Figure 7].

Figure 7

Detail information of the topic ‘network’

해당 토픽과 함께 사용된 키워드들을 미루어 보아 대용량 네트워크 구축 시스템과 관련한 이야기가 오갔음을 떠올리며 그 아래 위치한 실제 대화 내용을 확인한다. 사용자는 세부 대화 내용을 통해 참여 프로젝트의 첫 번째 과제가 대용량 네트워크 시스템 구축이라는 것을 상기하였다. 조금 더 구체적인 이슈 내용을 확인하고 싶은 사용자는 프로젝트 리더가 해당 논의 구간에서 발화한 부분을 선택하여 확인한다. 마지막으로 오른쪽 상세 뷰의 회의 발생 업무 목록을 통해 자신에게 두 가지 업무가 할당되었으며, 함께하는 동료는 누구인지 확인한다[Figure 8].

Figure 8

Meeting created task list

6. 2. 서비스 기획 아이디어 회의

본 시나리오에서는 서비스 기획을 위해 구성원들이 각자의 아이디어를 공유하는 브레인스토밍 실제 회의 데이터를 사용하였다. 회의는 약 70분이 소요되었으며, 구성원은 개발자 5명의 인원으로 진행되었다. 시나리오에서 선정한 가상의 사용자 요구사항은 다음과 같다.

시나리오 2 사용자 요구사항. 다음은 새로운 서비스 기획에 대한 논의이다. 20대 여성을 타깃으로 한 악세서리 중고거래 앱이 회의의 주요 결정 사항이었다. 서비스 기획 아이디어 회의에 참여했던 사용자는 해당 회의에서 발생한 수많은 아이디어 공유로 회의의 주요 이슈가 생각나지 않을 수 있다. 따라서 회의 아젠다별 주요 이슈를 확인하고, 다음 회의를 준비하길 원한다.

사용자는 시각화 상단의 아젠다 바 그래프를 통해 회의에 4개의 아젠다가 있으며, 각각의 주요 토픽이 ‘어플’, ‘아이디어’, ‘사용자’, ‘느낌’이라는 것을 확인하였다[Figure 9].

Figure 9

Topic map visualization using the scenario data

이를 통해 지난 회의가 서비스를 웹/앱 기반으로 할 것인지에 대한 이야기와 아이디어 공유, 타깃 사용자 선정, 결정된 서비스 느낌에 맞는 이름 선정 순으로 진행되었음을 상기한다. 다음으로 토픽맵 시각화를 통해 아젠다별 발생 키워드를 확인하며 중고 거래 앱, 액세서리 판매 앱과 같은 아이디어가 나왔음을 떠올린다. 타깃 사용자가 누구였는지 기억이 잘 나지 않는 사용자는 ‘타깃 사용자’ 키워드 노드를 클릭하여 상세 대화 내용을 확인한다[Figure 10].

Figure 10

Clicking on “target audience” keyword node

사람들의 대화 내용 확인을 통해 브레인스토밍을 통해 선정된 최종 기획 아이디어는 액세서리 중고거래 앱이며, 타깃 사용자는 젊은 여성들로 선정했음을 상기한다. 다음으로 발화 구간 그래프의 세로 라인을 통해 회의 종료 시점에 업무가 발생하였음을 확인하고 상세 뷰로 자세한 업무 내용을 찾아본다[Figure 11]. 사용자는 다음 회의까지 자신에게 할당된 업무 수행을 위하여 회의 중 촬영한 사진 자료를 참고한다.

Figure 11

Meeting created task list and image information

7. 사용자 실험

앞서 설정한 디자인 태스크에 따라 두 가지 회의 요약 시각화에 대한 시스템 평가를 진행하였다. 내러티브 차트 기반의 시각화 실험에는 프로젝트 개발 이슈 논의 회의 데이터를 사용하였으며, 토픽맵 기반의 시각화 실험에는 서비스 기획 아이디어 회의 데이터를 사용하였다.

실험은 내러티브 차트 기반의 요약 시각화와 토픽맵 기반의 요약 시각화 기능에 대한 문항으로 구성된 설문조사로, 각각 8문항으로 구성된다. 설문 문항은 도메인 전문가 및 시각화 전문가와의 논의를 반영한 시각화 요구사항 및 디자인 목적에 부합하는 문항으로 설정하였다. 자료의 수집 기간은 2019년 6월 15일부터 6월16일까지 2일간이었다. 실험 대상은 회의에 참여한 경험이 있는 집단을 표본으로 설정하여 직장인 및 대학원생 20대 남성 7명, 20대 여성 9명, 30대 남성 3명, 30대 여성 2명으로 구성된 총 21명을 대상으로 조사하였다. 설문에서 사용된 문항별 리커트 척도는 (1: 매우 그렇지 않다), (2: 그렇지 않다), (3: 보통이다), (4: 그렇다), (5: 매우 그렇다)로 구성되어 있다. 측정 도구를 통해 얻은 데이터를 분석하기에 앞서 측정 도구의 신뢰성(Reliability) 검증을 위한 신뢰도 분석(Reliability Analysis)을 하였다. 이는 문항 간 내적인 일관성(Internal Consistency)을 측정하는 방법으로써 크론바흐 알파(Cronbach’s α) 계수를 이용하여 분석한다. 크론바흐 알파 계수의 범위는 0부터 1까지의 범위를 가지고 있으며, 값이 1에 가까울수록 해당 문항은 높은 신뢰도를 가지고 있다고 할 수 있다. 일반적으로 크론바흐 알파 계수 값이 0.6 이상이면, 해당 문항은 신뢰성이 있는 문항이라고 여겨진다.

내터리브 차트 기반 회의 요약 시각화의 신뢰도 분석 결과, 각 항목의 크론바흐 알파 계수 값은 전체 크론바흐 알파 값 0.837, 최솟값 0.795 (4번), 최댓값 0.847 (6번)이었다. 또한 4번 항목을 제외한 전체 항목에 대해 크론바흐 알파 계수가 0.8 이상으로 높은 신뢰도를 보였다. 이는 모든 문항 중 신뢰성에 음의 영향을 끼치는 항목은 없고 모든 항목에 대해서 높은 내적 일관성을 가지기 때문에 모든 항목은 높은 신뢰도를 가진다고 할 수 있다.

Table 4

Cronbach’s α for each question of the narrative chart-based meeting summary visualization

다음으로 각각의 문항별로 전체 실험자들에게 얻은 의견을 누적하여 1점에서 5점까지 항목별로 시각화한 그림을 통해 문항별로 실험자들이 어떠한 의견을 가지고 있었는지 Figure 12처럼 분석하였다. 실험 결과, 부정적인 의견이 없는 문항(응답 범위 : 3점에서 5점)은 1, 2, 3, 5, 6, 8번 문항이었다. 부정적인 의견을 포함하고 있는 문항(응답 범위 : 1점에서 2점)은 4, 7번 이었다. 이를 통해 해당 시각화가 회의의 전체적인 개요나 서사 구조 파악에는 유용하나, 세부적인 탐색과 시간에 따른 맥락 정보 제공에 있어 개선점이 필요하다는 것을 확인할 수 있었다.

Figure 12

Cumulative bar graphs of score values for each question about narrative chart-based meeting summary visualization

토픽맵 기반의 회의 요약 시각화의 신뢰도 분석 결과, 각 항목의 크론바흐 알파 계수 값은 전체 크론바흐 알파 값 0.825, 최소값 0.783 (2번), 최댓값 0.847 (8번) 이었다. 또한 전체 항목에 대해 크론바흐 알파 계수가 0.7 이상으로 어느 정도 높은 신뢰도를 보였다. 평균값이 가장 높은 문항은 2번이었으며 평균값은 4.428571이었다. 이와 반대로 평균값이 가장 낮은 문항은 8번이었으며, 평균값은 4.094238이었다. 이를 통해 시각적 토픽맵 기반의 회의 요약 시각화가 회의에서 사용된 다양한 키워드 정보를 파악하기에 용이하지만, 회의 관련 정보 제공에 대한 개선의 필요성이 도출되었다.

Table 5

Cronbach’s α for each question of topic map-based meeting summary visualization

다음으로 각각의 문항별로 전체 실험자들에게 얻은 의견을 누적하여 1점에서 5점까지 항목별로 시각화하여 문항별로 실험자들이 어떠한 의견을 가지고 있었는지 Figure 13처럼 분석하였다.

Figure 13

Cumulative bar graphs of score values for each question about topic map-based meeting summary visualization

실험 결과, 전체 문항에서 부정적인 의견이 없는 것으로 평가되었으며, 특히 2, 5, 7번 문항에 대해 긍정적인 결과를 보였다. 이를 통해 해당 시각화가 회의에서 언급된 다양한 키워드 정보뿐 아니라 키워드 간의 관계를 파악하는 데 용이하다는 것을 확인하였다.

마지막으로 연구에서 제안한 두 가지 회의 요약 시각화의 유용성을 비교하기 위해 동일한 설문 항에 대하여 paired t-test를 실시했다. 설문 항은 뷰, 탐색, 시스템에 관한 설문으로 1, 4, 8번 문항에 대하여 실시하였다.

Table 6은 t-test 결과로서 뷰와 관련된 문항에서는 토픽맵 기반의 요약 시각화가 더 높은 점수를 받아 회의의 전체적인 개요 정보를 파악하기에 더 유용함을 알 수 있었다. 그리고 뷰 관련 항목을 제외한 탐색과 시스템 관련 항목에서는 내러티브 차트 기반의 요약 시각화가 토픽맵 기반의 시각화보다 더 유용함을 나타낸다. 특히 시스템 관련 문항으로 회의 관련 정보를 보다 쉽게 얻을 수 있는지에 대한 설문에 있어 내러티브 차트 기반의 시각화가 회의 맥락과 참여자 기여 정보를 제공하기 때문에 높은 점수를 받은 것으로 볼 수 있다.

Table 6

Paired t-test results of the two visualizations

8. 결론 및 제언

본 연구는 회의 기록의 필요성과 직장 내 회의 유형에 따른 분류를 기반으로 각 유형에 적합한 두 가지 회의 요약 시각화를 제시한다. 이를 위해 회의 분석 연구 및 회의 요약 시각화에 관한 선행 연구를 검토하였고, 회의 유형이 가지는 특성을 고려하지 않은 채 하나의 시스템으로 모든 회의 요약정보를 제공하는 기존 시스템의 한계를 보완하고자 두 가지 시각화를 개발하였다.

디자인 설계 과정에서는 실제 시스템의 사용자가 될 도메인 전문가와의 협업을 통해 사용자 요구사항을 수립하였다. 요구사항에 따라 2차에 걸친 디자인 개발 과정을 통해 사용자 요구를 충분히 반영할 수 있었다. 다음으로 최종 디자인에 따라 구현된 시스템에 대해 사용자 시나리오 과정을 진행하였다. 본 연구에서 분류한 회의 유형에 적합한 데이터를 각 시각화에 적용하고, 구체적인 시나리오 목적을 설정함으로써 사용자의 상황을 이해하고자 하였다. 마지막으로 사용성 검증 단계에서는 앞서 수립한 디자인 태스크를 시각화에서 효과적으로 표현하였는지 그 효용성을 실험 및 평가하였다.

본 연구에서 제안하는 내러티브 차트 기반의 회의 요약 시각화가 가지는 의의는 다음과 같다. 첫째, 참여자 발화 라인을 통해 누가 어느 시점에 얼마나 발화했으며 누구와 상호작용 했는지와 같은 서사 정보를 제공한다. 이를 통해 사용자는 지난 회의를 상기하는 데 도움을 받을 수 있다. 둘째, 회의 참여자들의 발화 문장을 분석하여 유사한 논의 주제에 따른 회의의 구조 정보와 회의 주제의 변화 흐름을 쉽게 알 수 있도록 한다. 이를 통해 사용자는 회의 전체 대화를 살피지 않고도 회의 내용의 전체적인 개요를 파악할 수 있다.

토픽맵 기반의 회의 요약 시각화가 가지는 의의는 다음과 같다. 첫째, 각 아젠다는 회의를 진행하는 동안 언급된 다양한 키워드 정보를 제공한다. 이를 통해 사용자는 각 참여자가 공유한 수많은 의견을 회상하는 데 도움을 받을 수 있다. 노드 크기에 따라 주요 토픽이 무엇이었는지 파악할 수 있으며 해당 노드 키워드가 포함된 실제 대화 문장을 확인할 수 있다. 둘째, 링크의 두께를 통해 두 키워드 간의 관계를 파악할 수 있어 대화 내용에 대한 유추가 가능하다. 이는 역시 회의 전체 대화록에 대한 면밀한 검토 없이 논의 키워드에 대해 각 참여자가 발화한 문장을 쉽게 파악할 수 있다는 점에서 탐색에 장점이 있다고 말할 수 있다.

본 연구에서 제안하는 회의 요약 시각화는 사용성 검증을 통해 이러한 유용함을 증명할 수 있었다. 그러나 사용자 검증 설문항 분석 결과에 따르면 내러티브 차트 기반의 요약 시각화에서는 부족한 논의 토픽 제공에 대해 아쉬움이 있었으며, 토픽맵 기반의 시각화에서는 키워드 정보를 제외한 회의 부가 정보에 대해 아쉬움이 있었다. 또한 두 시각화의 유용성 비교 검증에서는 회의 개요 제공에 관한 문항은 토픽맵 기반의 요약 시각화가 높은 평가를 받았지만 구간 탐색 및 회의 관련 정보에 관한 문항에서는 내러티브 차트 기반의 요약 시각화가 더 높은 평가를 받았다. 이를 통해 내러티브 차트 기반의 요약 시각화에서는 좀 더 다양한 토픽 정보의 제공과 회의의 개요를 효과적으로 전달할 필요성을 확인하였고, 토픽맵 기반의 요약 시각화에서는 토픽 정보뿐 아니라 참여자 정보와 같은 회의 관련 정보 추가의 필요성을 확인할 수 있었다. 향후 참여자 정보와 시간의 흐름에 따른 토픽 구조 정보를 보완한다면 토픽맵 시각화의 문제점인 탐색의 불편함을 함께 개선할 수 있을 것으로 생각한다.

Acknowledgments

본 논문은 임수현의 2019년도 라이프미디어협동과정 석사 학위논문을 재구성하여 작성되었음.

본 논문은 삼성전자 C-Lab의 지원을 받아 수행된 연구임 (Project No. IO190306-06030-01)

This work was written by reconstructing Soohyun Lim's 2019 master's thesis in Lifemedia Interdisciplinary Program.

This work was supported by C-Lab, Samsung Electronics CO. (Project No. IO190306-06030-01)

References

• Allen, J. A., Beck, T., Scott, C. W., & Rogelberg, S. G. (2014). Understanding workplace meetings. Management Research Review. [https://doi.org/10.1093/obo/9780199846740-0017]
• Allen, J. A., Lehmann-Willenbrock, N., & Rogelberg, S. G. (Eds.). (2015). The Cambridge handbook of meeting science. Cambridge: Cambridge University Press. [https://doi.org/10.1017/CBO9781107589735]
• Arons, B. (1997). SpeechSkimmer: a system for interactively skimming recorded speech. ACM Transactions on Computer-Human Interaction (TOCHI), 4(1), 3-38. [https://doi.org/10.1145/244754.244758]
• Cohn, M. (2004). User stories applied: For agile software development. Hoboken: Addison-Wesley Professional.
• Dugosh, K. L., Paulus, P. B., Roland, E. J., & Yang, H. C. (2000). Cognitive stimulation in brainstorming. Journal of personality and social psychology, 79(5), 722. [https://doi.org/10.1037/0022-3514.79.5.722]
• El‐Assady, M., Sevastjanova, R., Gipp, B., Keim, D., & Collins, C. (2017, June). NEREx: Named-Entity Relationship Exploration in Multi-Party Conversations. In Computer Graphics Forum (Vol. 36, No. 3, pp. 213-225). [https://doi.org/10.1111/cgf.13181]
• Geyer, W., Richter, H., & Abowd, G. D. (2005). Towards a smarter meeting record-capture and access of meetings revisited. Multimedia Tools and Applications, 27(3), 393-410. [https://doi.org/10.1007/s11042-005-3815-0]
• Girgensohn, A., Boreczky, J., & Wilcox, L. (2001). Keyframe-based user interfaces for digital video. Computer, 34(9), 61-67. [https://doi.org/10.1109/2.947093]
• Hartley, J. (1983). Note-taking research: Resetting the scoreboard. Bulletin of the British Psychological Society.
• Jaimes, A., & Miyazaki, J. (2005, April). Building a smart meeting room: from infrastructure to the video gap (research and open issues). In 21st International Conference on Data Engineering Workshops (ICDEW'05) (pp. 1173-1173). IEEE. [https://doi.org/10.1109/ICDE.2005.202]
• Khan, F. (1993). A survey of note-taking practices. Palo Alto: Hewlett-Packard Laboratories.
• Lee, J., & Lee, K. (2008). 개념적 맵들의 특성분석을 통한 스토리텔링의 시각화에 관한 연구 [A Study on the Visualization of Storytelling through the Analysis of Conceptual maps]. Journal of Basic Design & Art, 9(5), 487-493.
• Lim, S. (2019). Study on Meeting Summary Visualization Using Narrative Charts and Topic Maps (Master's thesis). Available from Ajou Central Library Repository.
• Lim, S., Park, C., Han, H., Ho, J., Hong, J., Lee, S., & Lee, K. (2019). A Narrative Topic Map Visualization to Summarize and Recall a Meeting. In 2019 IEEE Visualization Conference (VIS). IEEE.
• Minneman, S., Harrison, S., Janssen, B., Kurtenbach, G., Moran, T., Smith, I., & van Melle, B. (1995, January). A confederation of tools for capturing and accessing collaborative activity. In Proceedings of the third ACM international conference on Multimedia (pp. 523-534). [https://doi.org/10.1145/217279.215316]
• Nguyen, V. A., Hu, Y., Boyd-Graber, J., & Resnik, P. (2013, June). Argviz: Interactive visualization of topic dynamics in multi-party conversations. In Proceedings of the 2013 NAACL HLT Demonstration Session (pp. 36-39).
• Oxley, N. L., Dzindolet, M. T., & Paulus, P. B. (1996). The effects of facilitators on the performance of brainstorming groups. Journal of social behavior and personality, 11(4), 633-646.
• Rath, H. H., & Pepper, S. (1999, December). Topic maps: introduction and allegro. In Proceedings of the Markup Technologies (Vol. 99, pp. 7-9).
• Sedlmair, M., Meyer, M., & Munzner, T. (2012). Design study methodology: Reflections from the trenches and the stacks. IEEE transactions on visualization and computer graphics, 18(12), 2431-2440. [https://doi.org/10.1109/TVCG.2012.213]
• Shi, Y., Bryan, C., Bhamidipati, S., Zhao, Y., Zhang, Y., & Ma, K. L. (2018). MeetingVis: Visual narratives to assist in recalling meeting context and content. IEEE Transactions on Visualization and Computer Graphics, 24(6), 1918-1929. [https://doi.org/10.1109/TVCG.2018.2816203]
• Tracy, K., & Dimock, A. (2004). Meetings: Discursive sites for building and fragmenting community. Annals of the International Communication Association, 28(1), 127-165. [https://doi.org/10.1080/23808985.2004.11679034]
• Tulving, E. (1972). Episodic and semantic memory. Organization of memory, 1, 381-403.