Home > Vol. 33, No. 2

인공지능 스피커의 시각 피드백 유형에 따른 사용자 경험 연구: 인지욕구와 멀티태스킹 조절 효과를 중심으로
User Experience of Smart Speaker Visual Feedback Type: The Moderating Effect of Need for Cognition and Multitasking
  • Sojin Park : Department of Visual Communication Design, Student, Hongik University, Seoul, Korea
  • 박 소진 : 홍익대학교 일반대학원, 디자인학부 시각디자인, 학생, 서울, 대한민국
  • Younjoon Lee : Department of Visual Communication Design, Professor, Hongik University, Seoul, Korea
  • 이 연준 : 홍익대학교 시각디자인과, 교수, 서울, 대한민국

연구배경 본 연구는 인공지능 스피커의 새롭게 출시되는 시각 피드백이 사용자 특성과 상황적 특성에 따라 기존 인공지능 스피커의 한계를 보완하고 사용성 증진에 영향을 미치는지에 대해 실증적으로 검증하는 것을 목적으로 한다.

연구방법 문헌 연구 통해 시각 피드백 유형의 정보 제공 방식에 관해 정리하였으며, 정보처리 효과에 영향을 미치는 사용자 특성 인지욕구와 상황적 특성 멀티태스킹 및 사용자 경험 요인을 도출하였다. 다음으로, 각 요인의 조작을 통한 실험 연구 및 심층 인터뷰를 통해 실증적으로 분석하였다.

연구결과 새롭게 출시되는 화면 피드백은 인지욕구가 높은 사용자와 비 멀티태스킹 상황에서는 효과적이었지만, 기존의 빛 피드백은 멀티태스킹 상황과 인지욕구가 낮은 사용자에게 더 효과적이었다. 또한, 인지욕구가 낮은 사용자는 시각 피드백 유형과 상황적 특성에 더 많은 영향을 받았으며, 화면 피드백의 멀티태스킹 상황에서 부정적인 경험을 하는 것으로 나타났다. 이에 사용자 특성과 상황적 특성 모두를 고려할 경우 빛 피드백이 적합한 것으로 나타났다.

결론 기존의 인공지능 스피커 보완을 위해 새로운 인공지능 스피커 시각 피드백이 출시되었지만, 이는 사용자 특성과 상황적 특성을 고려하지 않는 것으로 나타났다. 이에 본 연구의 결과는 기업이 인공지능 스피커의 사용자 경험을 증진시키는 전략을 세우는 데 도움을 줄 것으로 사료된다. 또한, 최근 음성인식 인공지능 기기가 꾸준히 출시되고 있지만, 아직 이와 관련된 실증적 연구는 부족한 것으로 나타났다. 본 연구는 인공지능 스피커를 통해 사용자와의 상호작용 효과를 높이기 위한 방안으로 시각 피드백이 효과를 가지고 있다는 점을 확인할 수 있었다.

Abstract, Translated

Background Recently, with the growth in the smart speaker market, a new type of visual feedback is being released to complement existing limitations and improve usability. This study aims to empirically suggest whether a new type of visual feedback complements the limitations of existing smart speaker according to user characteristics and contextual characteristics that affects their usability.

Methods First, we conducted a literature review on type of visual feedback and the effect of information processing. Second, the factors affecting the information processing effect and user experience factors were derived. Third, empirical analysis was conducted through experimental studies and in-depth interviews with the manipulation of each factor.

Results The newly released display feedback was effective for High Need for Cognition and Non-Multitasking. However, light feedback was effective for users with Low Need for Cognition and Multitasking. In addition, users with Low Need for Cognition were more affected by visual feedback type and contextual characteristics, and were found to have negative experiences in multitasking of display feedback. Considering both user and contextual characteristics, light feedback was found to be appropriate.

Conclusions A new type of visual feedback has been released to complement existing smart speaker. However, it has been shown that the new type of visual feedback does not take into account user characteristics and contextual characteristics. Thus, the results of the study will be used as companies develop strategies to enhance the user experience of smart speaker. In addition, recent voice-recognition devices have been steadily released, however there is still a lack of empirical research related to this. This study confirmed that visual feedback has an effect as a way to enhance the interaction effect with users through smart speaker.

Keywords:
Smart Speaker, Visual Feedback, User Experience, HCI, Cognition, 인공지능 스피커, 시각 피드백, 음성 기반 시각 피드백, 사용자 경험, HCI.
pISSN: 1226-8046
eISSN: 2288-2987
Publisher: 한국디자인학회Publisher: Korean Society of Design Science
Received: 20 Mar, 2020
Revised: 04 May, 2020
Accepted: 12 May, 2020
Printed: 31, May, 2020
Volume: 33 Issue: 2
Page: 181 ~ 199
DOI: https://doi.org/10.15187/adr.2020.05.33.2.181
Corresponding Author: Younjoon Lee (younjoonlee@gmail.com)
PDF Download:

Citation: Park, S., & Lee, Y. (2020). User Experience of Smart Speaker Visual Feedback Type: The Moderating Effect of Need for Cognition and Multitasking. Archives of Design Research, 33(2), 181-199.

Copyright : This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted educational and non-commercial use, provided the original work is properly cited.

1. 서론
1. 1. 연구의 배경 및 목적

빠르게 발전되는 인공지능을 일상에서 가깝게 접할 수 있는 플랫폼은 인공지능 스피커(Artificial Intelligence Speaker, AI Speaker)이다. 이는 일방향적으로 사용되었던 스피커에 인공지능, 음성기능 기술이 복합적으로 탑재되어 쌍방향 대화가 가능한 음성 기반 플랫폼이다(Park & Choi, 2018). 박지혜(Park, 2018)는 인공지능 스피커가 기존의 물리적 텍스트 입력, 터치와 같은 인터페이스에 비해 빠르고, 조작이 쉬우며, 간편하다는 장점이 있어 빠른 속도로 시장에 보급된다고 하였다. 글로벌 IT 시장조사기관 카날리스의 인공지능 스피커의 설치 개수 조사에 따르면 2017년에는 50만대 이하였지만 2022년에는 350만대로 증가할 것으로 예상된다. 기업들은 이러한 시장 성장에 맞춰 인공지능 스피커의 성능 향상을 위한 기술 개발과 서비스 확대를 진행하고 있으며, 사용자의 요청은 물론 자연어와 대화의 맥락을 수집하고 이해하여 사용자가 필요로 하는 서비스를 제공하기 위해 끊임없이 진화하고 있다(Lee, 2017).

하지만 시장조사업체 스태티스타(Statista)가 발표한 ‘인공지능 스피커 사용 용도’ 조사 결과에 따르면 일상적인 질문, 일기 예보 확인, 음악 재생과 같은 간단한 질문만으로 이루어진 음성 기능일 경우 사용도가 높게 나타났지만, 물건 구입, 음식 배달 등 문장형 질문이나 대화가 2~3번 연속해서 진행되어야 하는 기능은 사용률이 떨어지는 것으로 나타났다. 이는 음성 인식 오류, 자연스러운 대화 곤란 등의 이유로 사용자와 기기 간의 소통이 원활하게 이뤄지지 않기 때문인 것으로 판단된다. 즉, 인공지능 스피커와의 대화가 길어질수록 사용자가 기능을 활용하는 데에 한계가 발생하는 것으로 보여진다.

이러한 제약을 극복하기 위해, 아마존과 구글은 2017년, 2018년에 화면이 장착된 인공지능 스피커 ‘에코쇼’와 ‘구글 홈 허브’를 각각 출시하였다. 국내에서도 2019년 KT의 ‘기가지니 테이블 TV’를 시작으로 SK의 ‘누구 네모’ LG유플러스의 ‘U+AI 어벤져스’가 출시되었다. 이에 대해 김채희(Kim, 2019)는 화면을 통해 글이나 이미지 등을 사용자에게 제공하여 기존 인공지능 스피커의 단점을 보완할 것이라고 주장하였다. 기존의 인공지능 스피커는 빛을 활용한 시각 피드백을 제공하여 즉각적인 정보 전달에는 유리했지만, 표현할 수 있는 정보의 양과 형태에 한계가 있었기 때문이다. 즉, 인공지능 스피커의 시각 피드백 유형은 기존에 빛을 활용한 방식에서 화면을 통해 정보를 전달하는 방식으로 변화하였으며, 이는 사용자의 정보처리에 영향을 미칠 것으로 판단되었다. 또한, 권상희와 김위근(Kweon, Kim, 2004)에 의하면 사용자의 정보처리는 인간의 내적 인지 과정과 외적 커뮤니케이션 환경을 함께 고려해야 한다.

따라서 본 연구는 인공지능 스피커의 시각 피드백을 통한 정보처리 효과가 사용자의 인지욕구와 멀티태스킹 환경에 따라 차이가 있을 것으로 예상하여 새롭게 출시된 화면이 장착된 인공지능 스피커가 사용자 경험 증진에 효과적인지 알아보고자 한다. 또한, 본 연구의 결과를 통해 인공지능 스피커의 지속 사용을 위한 방향을 제시하며, 향후 인공지능 스피커뿐만 아니라 상호작용이 이루어지는 기기들의 시각 피드백 개발에 방향성을 제시하는 것을 목적으로 한다.

1. 2. 연구 방법

본 연구에서는 시각 피드백 유형에 대한 문헌 연구를 통해 인공지능 스피커의 시각 피드백 유형의 변화와 전달 방식 효과에 대해 조사하였다. 이에 정보처리 효과에 영향을 미치는 내적 인지 과정은 사용자 특성인 인지욕구로, 외적 커뮤니케이션 환경 요소는 상황적 특성인 멀티태스킹으로 선정하였다. 또한, 사용자 경험으로는 인지정교화, 만족도, 지속사용의도를 살펴보았다. 문헌연구를 바탕으로 독립 변인과 조절 변인을 조작하여 그것이 종속 변인에 미치는 영향을 측정, 관찰, 분석하는 실험연구(experimental research) 및 심층 인터뷰를 통해 실증분석을 실시하였다.

실험은 국내외 인공지능 스피커의 특징과 형태적 유사성을 가진 기기를 실험자극물로 제작하여 실제 환경과 같은 조건에서 진행하였으며, 음성 오류가 사용자 경험에 미치는 영향을 최소화하기 위하여 Wizard-of-Oz(WoZ) 방법으로 진행하였다. 이를 통해 인공지능 스피커의 시각 피드백 유형을 사용자 특성으로 접근하여 효과적인 활용방안에 관해 검토해 보고자 한다.

2. 인공지능 스피커의 사용자 경험
2. 1. 인공지능 스피커의 시각 피드백 유형

김성곤(Kim, 2004)은 정보의 시각화를 방대하고 무질서한 데이터를 일정한 형식으로 가공하여 의미 있는 정보의 형태로 시각화하여 전달하는 것으로, 사용자가 정보를 직관적이고 효율적으로 습득할 수 있도록 도움을 준다고 주장하였다. 또한, 오병근과 강성중(Oh & Kang, 2008)은 데이터가 정보로서의 의미가 생성되도록 형상화한다고 하였으며, 웨어(Ware, 2004)는 효율적으로 시각화된 정보는 사용자가 정보를 더욱더 쉽게 습득하고 이해할 수 있도록 도움을 준다고 하였다. 즉, 정보의 시각화는 사용자가 데이터를 쉽게 이해하는 방법으로 표현하여 효과적으로 전달할 수 있는 강력한 수단이다.

시각 피드백 유형에 관한 선행연구를 살펴보면, 햄 등(Ham et al., 2009)의 빛으로 정보를 표현하는 방식과 맥 캘리와 미든(Mccally & Midden, 2002)의 화면을 통해 글과 이미지로 피드백을 제공하는 방식으로 나눌 수 있다. 이들의 연구는 에너지 절약을 시각 피드백 유형의 대조적인 효과를 통해 증명하였는데 화면 피드백은 사용자에 의해 처리되고 평가되어야 하기 때문에 간단한 정보처리는 빛 피드백이 화면 피드백보다 효과적으로 나타났다. 예를 들어, 사용자는 빛 피드백의 빨간색 빛은 ‘높은 에너지 소비’를 의미하는 것으로 판단할 수 있지만, 화면 피드백의 숫자는 숫자가 의미한 것을 파악하기 위한 더 많은 정보가 필요했다. 또한, 빛 피드백은 화면 피드백과 달리 빛의 속성으로 인해 피드백 매개체에 초점을 맞추지 않고도 쉽게 인식할 수 있지만, 화면 피드백은 정보를 얻기 위해 화면에 초점을 맞춰야 했다. 즉, 빛 피드백은 사용자가 정보를 처리하는 데 간단하게 인식되는 반면에 화면 피드백은 정보를 처리하기에 복잡한 형태로 해석되어 사용자 경험이 다르게 나타났다.

이에 본 연구에서는 빛 피드백과 화면 피드백의 정리를 인공지능 스피커 시장 점유율 상위 1위인 아마존 기기를 참고하여, <Figure 1>과 같이 화면이 장착되지 않아 정보를 빛으로만 표현하는 빛 피드백과 화면이 장착되어 정보를 글과 이미지로 표현하는 화면 피드백으로 나눠 사용자 경험 차이를 보고자 한다.


Figure 1 Smart Speaker Visual Feedback Type
(1) 빛 피드백

인공지능 스피커의 시각 피드백 유형의 변화를 살펴보면 초기 인공지능 스피커는 사용자의 음성에 대한 처리 상태 및 결과를 LED 빛을 활용한 시각 피드백을 제공하였다. 장미화(Chang, 2010)는 제품에서 빛은 빛의 개수, 크기, 세기, 색상, 변화를 이용하여 제품의 상태, 사용자의 행동 유도, 작동에 따른 정보 피드백을 보여주는 정보 전달 도구로 정의하였다. 이혜지(Lee, 2019)는 빛은 사용자에게 시각적 힌트를 제공하여 기기의 상태 및 작업 진행 여부에 대해 인지시켜주는 역할을 한다고 하였다. 이는 특정 상황에서 사용자에게 적절히 선택될 수 있도록 알림을 표시하기도 하며 즉각적이고 명확한 피드백을 통해 빠른 판단을 끌어낸다. 이에 장미화(Chang, 2010)는 빛은 그 자체로서 정보를 지닐 수 있고, 사용자에게 작업 시 선택 가능한 것에 대한 알림을 제공할 수 있으며 기능을 구분하게 해주는 피드백이라고 하였다. <Table 1>은 장미화(Chang, 2010)가 제시한 빛 피드백의 기능적 역할을 재구성한 것이다.

Table 1
Functional Role of Light Feedback

피드백 유형 기능적 역할
기기에서 제공하는 빛 피드백 행동 유도
작업 진행 표시
현재 상태 표시
알림 표시

아마존 인공지능 스피커의 빛 피드백 경우, 빛의 회전과 함께 푸른 빛으로 명령을 들을 준비를 하고 있다. 사용자가 명령을 시작하면 청록빛이 말하는 사람의 방향을 가리키며, 명령을 처리할 때 청록빛이 회전하며 명령 처리 중을 보여준다. 또한, 와이파이나 인터넷 연결에 문제가 있는 경우 빨간빛이 깜빡이게 된다. 이외에도 메시지, 전화가 오면 깜빡이는 초록빛으로 나타나며, 상황에 따라 색상과 움직임의 변화를 주는 간단한 시각적 피드백을 제공한다. 즉, 인공지능 스피커의 빛 피드백은 기기의 실시간 상황을 인지시키며, 수행 여부에 관한 정보를 제공함으로써 사용자가 기기와 커뮤니케이션할 수 있게 돕는 역할을 한다.

(2) 화면 피드백

새롭게 출시되고 있는 인공지능 스피커는 디스플레이를 장착하여 글이나 이미지로 보여주는 피드백으로 사용자가 정보를 효율적으로 얻을 수 있게 도움을 준다. 좌의선과 김희현(Zuo & Kim, 2014)은 정보를 글과 아이콘, 이미지 등 적당한 그래픽 요소를 활용하여 표현하면 사용자는 정보를 더욱더 쉽게 습득하고 직관적으로 이해할 수 있으며, 효과적인 정보 전달 뿐만 아니라 인지 능력을 증폭시킬 수 있어 흥미를 유발한다고 주장하였다. 즉, 방대하고 다양한 정보를 사용자의 사용 목적에 맞게 그래픽 요소를 활용하여 적절히 시각화 표현하면 정보를 쉽게 이해하고 정보 인지를 향상시킬 수 있다.

아마존 인공지능 스피커의 화면 피드백은 화면에 글과 이미지, 아이콘 등을 사용하여 정보를 보여준다. 사용자가 명령을 내리기 전에는 글을 활용하여 기능 사용을 추천해주며, 명령을 처리할 때 시간이 지연될 경우 아이콘의 회전으로 기기가 명령을 처리하고 있다는 것을 보여준다. 또한, 명령의 결과가 복잡한 경우 이미지와 아이콘, 글을 활용하여 정보를 준다. 즉, 인공지능 스피커의 화면 피드백은 그래픽을 사용해 기기가 제공하는 정보를 세분화하고 시각화하여 사용자가 정보를 처리할 수 있게 도움을 주는 역할을 한다.

2. 2. 인공지능 스피커의 사용자 맥락

정보처리 효과는 인간의 내적 인지 과정과 외적 커뮤니케이션 환경을 함께 고려해야 하기에 사용자 맥락으로서 인지욕구와 멀티태스킹에 주목하고자 한다.

(1) 인지욕구

피터, 카시오포와 카오(Petty, Cacioppo, & Kao, 1984)는 인지욕구를 인지적 노력에 개입하고 생각하는 것을 즐기거나 원하는 개개인의 내재적인 성향으로 정의하였다. 즉, 인지욕구는 인지적 노력을 해야 하는 상황에서 이를 얼마나 받아들이는지를 보여주는 개인적 특성으로 사용자가 정보처리를 어떻게 하는지에 영향을 미치는 사용자 특성이다. 마이어스와 페리키오(Meyers & Peracchio, 1995)는 자원부합이론(resource-matching theory)을 토대로 정보처리 효과는 기기에서 제공하는 자원과 사용자가 정보를 처리할 수 있는 인지적 자원이 일치할 경우 효과가 극대화된다고 설명하였다. 즉, 정보처리 효과는 모든 사용자에게 동일하게 나타나기보다는 사용자의 정보처리 능력에 따라 다르게 나타날 것으로 예상할 수 있다.

(2) 멀티태스킹

랭과 크잔(Lang & Chrzan, 2015)은 미디어 멀티태스킹을 두 가지 이상의 업무를 수행할 때 그중 하나가 미디어인 경우로 정의하였다. 강미선(Kang, 2011)에 따르면 멀티태스킹 상황은 미디어 사용자들의 보편적 사용 방식으로 자리 잡혀있다. 이러한 멀티태스킹 상황은 복수의 과업을 진행하므로 정보처리에 방해 또는 저해 영향을 줄 수 있다. 이무신과 정세훈(Lee & Jeong, 2013)은 사용자가 멀티태스킹을 하게 되면 한 가지 매체를 사용하다가 다른 매체 또는 과업을 전환하는 과정에서 많은 양의 인지적 부담을 경험한다고 하였다. 또한, 랭(Lang, 2000)은 멀티태스킹 상황이 정보처리에 미치는 영향을 제한된 용량 가설(limited capacity hypothesis)로 설명하였다. 이 가설은 인간의 인지적 자원은 한정적이고, 제한된 인지적 자원으로 정보를 처리하며 가용할 수 있는 인지적 자원을 초과할 경우 정보처리가 제대로 이루어지지 않고 정보 손실이 일어난다고 설명한다. 즉, 멀티태스킹 상황은 복수의 과업을 진행하기 때문에 인지적 자원이 많이 요구되어 정보처리에 방해 또는 저해 영향을 줄 수 있으며 정보처리 효과를 저해시킬 것으로 예상할 수 있다.

2. 3. 인공지능 스피커의 사용자 경험

사용자 경험은 제품 또는 서비스와 사용자 간의 다양한 상호작용을 통해 사용자가 체험할 수 있는 직간접적인 경험이며, 사용자의 성격적, 인지적, 상황적, 심리적 특성에 따라 달라지는 주관적 특성이다. 본 연구에서는 인지적, 심리적 특성인 인지정교화와 만족도, 지속사용의도를 보고자 한다.

(1) 인지정교화

페티와 카시오프(Petty & Cacioppo, 1986)는 정교화 가능성 모델을 통해 인지정교화는 어떤 개인이 메시지에 대한 정보에 대해 얼마나 주의 깊게 생각하느냐의 정도라고 정의하였다. 정교화 가능성 모델에서는 설득의 경로로 중심 경로(Central Route)와 주변 경로(Peripheral Route)를 제시하고 있는데, 수용자들이 둘 중 어떤 경로를 거치는가에 따라 태도 변화 과정이 달라진다고 주장하였다. 신하얀 등(Shin et al., 2014)은 중심 경로를 통한 정보처리는 내용에 집중하여 전달하려는 내용의 핵심이 되는 정보를 적극적으로 이해하고 평가하는 과정을 의미하며, 이러한 경우 이명천(Lee, 1999)은 정보에 대한 사고 또는 정교화 확률이 높아진다고 하였다. 반면 페티와 카시오프(Petty & Cacioppo, 1981)는 생각을 많이 하지 않고 수동적으로 태도를 형상화는 과정을 주변 경로를 통한 태도 형성이라고 하였으며 논증과 직접적인 관련 없는 요인들에 영향을 받는다고 주장하였다. 이러한 경우 이명천(Lee, 1999)은 정보에 대한 정교화는 매우 적거나 없게 된다고 하였다.

(2) 만족도

쉬에르츠, 쉴케와 워츠 (Schierz, Schilke & Wirtz, 2010)는 만족도를 소비자가 특정 상품이나 서비스를 구매한 후 해당 경험에 대해 느끼는 주관적, 인지적 반응으로 정서적인 반응에 대한 포괄적인 개념으로 정의했다. 정보시스템 분야에서 사용자 만족도는 효과성과 성공을 측정하는 데 있어서 중요한 변수이며, 국제 표준 기구(ISO)는 사용성 평가의 지표 중 만족을 포함 시켜 핵심 요인 중 하나라고 기술했다. 또한 라파엘리(Rafaeli, 1988)는 만족도가 상호작용성에 잠재적으로 관련되어 있음을 시사했다.

(3) 지속사용의도

바타체르지(Bhattacherjee, 2001)에 따르면 지속사용의도는 사용자가 시스템을 사용한 후 지속적으로 해당 시스템을 사용할 의도를 의미한다. 이는 사용자의 만족도와 관련이 있으며, 제품 또는 서비스의 성공과 시장에서의 경쟁 우위를 확보하는 것과 연관이 있다. 특히, 인공지능 스피커가 빅데이터 기반 서비스이기 때문에 사용자가 기기와 지속적으로 커뮤니케이션하는 것이 중요하다(Park & Joo, 2018).

3. 연구방법
3. 1. 연구모형 및 가설

본 연구는 인공지능 스피커의 시각 피드백 유형이 사용자 경험에 미치는 영향과 사용자 특성과 상황적 특성의 조절 효과를 검증하기 위한 연구이다. 독립변수는 인공지능 스피커의 시각 피드백 유형이며, 종속변수는 사용자 경험 요인으로 인지정교화, 만족도, 지속사용의도로 선정하였다. 또한, 사용자 경험에 영향을 주는 사용자 특성은 인지욕구로, 상황적 특성은 멀티태스킹으로 조절 변수를 설정하였다. 이에 연구모형은 <Figure 2>와 같으며, 연구가설은 <Table 2>와 같다.


Figure 2 Research Model
Table 2
Study Hypothesis

구분 가설
H1 1-1 시각 피드백 유형에 따라 인지정교화는 차이가 있을 것이다.
1-2 시각 피드백 유형에 따라 만족도는 차이가 있을 것이다.
1-3 시각 피드백 유형에 따라 지속사용의도는 차이가 있을 것이다.
H2 2-1 시각 피드백 유형은 인지욕구에 따라 인지정교화에 차이가 있을 것이다.
2-2 시각 피드백 유형은 인지욕구에 따라 만족도에 차이가 있을 것이다.
2-3 시각 피드백 유형은 인지욕구에 따라 지속사용의도에 차이가 있을 것이다.
H3 3-1 시각 피드백 유형은 멀티태스킹 상황에 따라 인지정교화에 차이가 있을 것이다.
3-2 시각 피드백 유형은 멀티태스킹 상황에 따라 만족도에 차이가 있을 것이다.
3-3 시각 피드백 유형은 멀티태스킹 상황에 따라 지속사용의도에 차이가 있을 것이다.
H4 4-1 시각 피드백 유형은 인지욕구와 멀티태스킹 상황에 따라 인지정교화에 차이가 있을 것이다.
4-2 시각 피드백 유형은 인지욕구와 멀티태스킹 상황에 따라 만족도에 차이가 있을 것이다.
4-3 시각 피드백 유형은 인지욕구와 멀티태스킹 상황에 따라 지속사용의도에 차이가 있을 것이다.

4. 실험 설계
4. 1. 연구 대상 및 실험 절차

본 연구의 실험 참여자는 20-30대를 대상으로 총 55명이 참여하였다. 밀레니얼 세대에 해당하는 20-30대는 최신 디지털 기기를 가장 먼저 접하고 써보는 것에 관심이 높으며, 빠르게 학습하고 사용한다(Kim, 2019). 또한, 연령층이 낮을수록 미디어 멀티태스킹이 증가한다(Jung et al., 2017). 이에 본 연구의 실험 상황을 고려하여 디지털 기기와 멀티태스킹 상황에 익숙한 연령층을 대상으로 선정하였다. 실험 절차는 화면이 있는 스피커에 대해 모르는 실험자를 위해 인공지능 스피커의 시각 피드백 유형과 작동 단계를 4단계로 세분화하여 각 상황에 관해 설명하였다. 그 후 현재 실험 상황과 실험 과제에 관해 설명하였다. 모든 실험이 끝난 후 1:1 심층 인터뷰를 진행하였다.

4. 2. 실험 설계

본 연구의 실험은 인공지능 스피커의 음성 오류가 사용자 경험에 미치는 영향을 제한하기 위하여 미리 준비된 답변을 재생하는 WoZ(Wizard of OZ)방식으로 진행하였다. 실험은 인공지능 스피커의 시각 피드백 유형(빛 피드백 / 화면 피드백) x 멀티태스킹 상황(멀티태스킹 / 비 멀티태스킹)의 2x2 혼합 요인 설계로 구성하였으며, 사용자의 인지욕구는 개인의 내재적 특성에 해당하므로 실험 진행 후 설문을 통해 측정하였다. 참여자는 4번의 실험 모두에 참여하였으며, 연습 효과를 제거하기 위해 처치 순서는 상대 균형화 하였다. 이에 실험 참가자는 <Table 3>의 4가지 상황에 무작위 배치되었다.

Table 3
Experimental Method

첫번째 두번째 세번째 네번째
A형(14명) 빛 / 멀티 화면 / 멀티 빛 / 비 멀티 화면 / 비 멀티
B형(14명) 화면 / 멀티 빛 / 멀티 화면 / 비 멀티 빛 / 비 멀티
C형(14명) 빛 / 비 멀티 화면/ 비 멀티 빛 / 멀티 화면 / 멀티
D형(13명) 화면 / 비 멀티 빛 / 비 멀티 화면 / 멀티 빛 / 멀티

4. 3. 실험물 제작

실험을 위해 기존 인공지능 스피커와 형태적 유사성을 가진 프로토타입을 제작하였다. 실험물은 <Figure 3>이며, 기존 인공지능 스피커의 시각 피드백은 브랜드 별로 다르게 제공되고 있어 피드백 구성은 선행 연구를 토대로 <Table 4>과 같이 본 실험에 맞게 4단계로 제작하였다.


Figure 3 Experimental Stimulus Image (L : Display Feedback, R : Light Feedback)
Table 4
Situation Feedback

빛 피드백 화면 피드백
대기상태 흰색 / 정지된 텍스트 / 음성바
음성인식 초록 / 깜빡임 텍스트 / 음성바
명령처리 노랑 / 점점 크게 텍스트 / 음성바
결과전달 파랑 / 점점 크게 텍스트 / 아이콘

이은경(Lee, 2017)은 인공지능 스피커의 빛 요소가 사용자에게 미치는 선호도를 분석한 결과 빛의 색상은 대기 상태를 제외한 모든 단계에서 속성이 명확한 원색을 선호한다고 주장했다. 또한, 이혜지(Lee, 2019)는 빨간색의 경우 빛으로 인터랙션이 이루어질 때 부정적인 면이 더 강조된다고 하였다. 이에 본 연구에서는 원색을 사용하되 빨강을 제외한 중립 색상 흰색과 노랑, 긍정의 색상 초록과 파랑을 선정하여 <Figure 4>와 같이 제작하였다. 이은경(Lee, 2017)에 따르면 사용자는 명확한 의미를 가진 빛의 움직임을 선호하며 정지와 깜빡임에서 명확한 움직임을 느낀다고 하였다. 또한, 이혜지(Lee, 2019)의 빛이 점점 커지면 주목성이 발휘된다는 연구를 바탕으로 본 연구에서는 조명으로 표현할 수 없는 회전을 제외하고 정지된, 깜빡임, 점점 크게 움직임을 사용하였다.


Figure 4 Light Feedback Experimental Stimulus Image

천홍재(Cheon, 2019)의 연구에 따르면 인공지능 스피커의 시각 정보를 이미지, 아이콘, 컬러로만 제공할 경우 사용자의 인지가 늦어지며, 음성정보를 시각화하여 글로 제공했을 때 만족도가 높아지는 것으로 나타났다. 또한, 글과 이미지, 아이콘, 컬러 등 시각 정보가 많은 경우 높은 만족도를 보이는 것으로 나타났다. 이에 본 연구에서는 사용자가 음성을 말하면 음성정보를 텍스트로 받아쓰는 인터랙션 요소를 제공하며, 정보를 글과 이미지, 아이콘으로 구성하였다. 구체적으로 텍스트의 크기와 글꼴, 아이콘의 크기 및 음성 바의 위치는 프로토타입의 크기에 맞는 11인치 아이패드 시리를 참고하여 제작하였다. 또한, 과도한 컬러 사용이 많을 경우 색채 커뮤니케이션의 기능을 현저히 감소시킬 수 있으므로(Jung, 2019) 기본 컬러와 포인트 컬러, 최소한의 컬러만을 사용하였으며, 음성 인식 상황을 표현하기 위해 그라데이션 효과를 사용하였다. 텍스트의 경우는 배경 컬러와 대비를 이루는 화이트로 사용하여 가독성을 높였으며 아이콘에만 포인트 컬러를 사용하여 사용자의 시선이 분산되지 않도록 하였다. 이를 토대로 <Figure 5>와 같이 제작하였다.


Figure 5 Display Feedback Experimental Stimulus Image

실험 과제는 2017년 한국소비자원의 인공지능 스피커 항목별 만족도가 가장 높은 날씨를 물어보는 상황으로 기기와 사용자의 대화가 4번 연속으로 진행되게 하였다. 사용자는 먼저 대기 상태인 인공지능 스피커를 ‘hello’로 음성 인식이 가능한 상태로 만들었으며 ‘이번 주 날씨 알려줘’, ‘더 자세히 알려줘’, ‘비는 언제 와’ 순으로 묻고 듣는 대화를 이어갔다. 또한, 미디어 멀티태스킹 상황을 조작하기 위해서 실험 과제를 수행하면서 자막 뉴스를 보도록 하였다. 이는 염정윤 등(Yum et al., 2019)이 미디어 멀티태스킹 상황에서 시청각+시각 이용 빈도가 가장 높다고 하였기에 인공지능 스피커를 시각+청각, 자막 뉴스를 시각 상황으로 간주하였다. 구체적으로 자막 뉴스는 실험과정 시간과 일치하는 짧은 뉴스로 생활 교복 도입과 어묵 영문 명칭에 관한 내용이며, 뉴스 내용을 돕기 위한 그래픽과 자막 등이 시각적으로 한 번에 나오기 때문에 실험자가 인지 부하를 경험하기 적절하다고 판단되었다.

4. 4. 주요 변수 조사 항목

본 연구에서 측정되는 질문들은 선행연구에서 신뢰성, 타당성이 입증된 내용을 바탕으로 본 연구에 맞게 수정하여 사용하였다. 설문의 모든 항목은 ‘전혀 그렇지 않다’ 에서 ‘매우 그렇다’의 Likert 7점 척도로 측정 되었다.

(1) 인지욕구

개인의 인지욕구를 측정하기 위해 김완석(Kim, 2007)의 요약형 인지욕구 항목을 사용하였으며 <Table 5>와 같다. 평균값을 최종 인지욕구 점수로 사용하여 평균점수보다 높은 경우 인지욕구가 높은 집단, 평균점수보다 낮은 경우 인지욕구가 낮은 집단으로 구별하였다.

Table 5
Questions of Need for Cognition

질문 내용
1 나는 토론하기를 좋아한다
2 나는 보통 다른 사람들이 까다롭다고 생각하는 문제에 대해 생각하지 않는다 (-)
3 나는 복잡한 문제를 잘 해결한다
4 나는 생소한 과제를 접하면 해결해야겠다는 생각보다 귀찮다는 생각이 먼저 든다 (-)
5 나는 어떤 문제에 대해 새로운 해결방법을 배울 때 즐겁다
6 나는 복잡한 문제를 보면 왠지 그것을 분석해 보고 싶은 생각이 든다
7 나는 잘 모르는 것에 대해서 더 알고 싶어 한다
8 나는 어렵고 시간이 많이 드는 문제도 가능한 한, 끝까지 풀기 위해 노력한다
9 나는 많은 생각을 필요로 하는 일에 더욱 적극적이다
10 나는 어떤 결과에 대해 왜 그렇게 됐는지 이해하려고 노력하기보다는 그냥 있는 대로 받아들이는 편이다 (-)
11 나는 깊이 생각해야 하는 상황은 가급적 피하려고 한다 (-)
12 나는 내 사고능력에 도전하는 일이 좋다
13 나는 다른 사람들로부터 논리적이라는 이야기를 듣는다
14 나는 어려운 문제를 푸는 동안이 더 즐겁다
15 나는 단순한 문제보다는 복잡한 문제를 더 좋아한다

(2) 인지정교화

인지정교화를 검증하기 위해 회상(recall) 측면에서 기억의 정도를 측정하였다. 회상 검사법은 주로 실험이 끝난 후 진행되며 참여자에게 가능한 많은 정보를 회상하도록 하여 회상 점수로 정보에 대한 인지 정도를 알아보는 것이다. 노다임(Nordhielm, 2002)의 생각 이끌어내기(Thought Elicitation) 방식을 사용하였으며 이 방식은 길이나 형식의 제한 없이 사용자의 생각을 자유롭게 기술하도록 하여 주관식 문항을 통하여 정보처리 총량을 측정하는 방법이다. 본 연구는 김시연(Kim, 2003)의 측정 문항을 수정하여 사용했다.

Table 6
Questions of Cognitive Elaboration

질문 내용
1 인공지능 스피커에서 얻은 대화 정보, 시각 정보의 기억나는 부분을 생각나는 대로 작성해주십시오

(3) 만족도

본 연구에서는 사용자 만족도를 인공지능 스피커를 사용하면서 사용자가 해당 제품에서 느끼는 전반적인 만족 정도로 정의하였다. 측정 항목은 올리버와 스완(Oliver & Swan, 1989), 톰슨 등(Thomson et al., 2006)의 연구에서 사용한 문항 중에서 본 연구에 적합한 문항으로 수정하여 측정하였다.

Table 7
Questions of Satisfaction

질문 내용
1 모든 것을 고려했을 때 이 피드백 유형에 만족한다
2 이 피드백 유형을 더 많이 사용하기를 원한다
3 이 피드백 유형을 사용하는 것이 현명한 선택이었다고 생각한다
4 인공지능 스피커 구매 시 이 피드백 유형을 우선시 고려할 계획이다

(4) 지속사용의도

지속사용의도는 인공지능 스피커를 사용한 후 긍정적으로 말하며, 타인에게 추천하고 앞으로도 인공지능 스피커를 지속적으로 사용하려는 의지로 정의하였다. 측정 항목은 바타체르지(Bhattacherjee, 2001)와 앤더슨과 미탈(Anderson & Mittal, 2000)의 선행 연구를 바탕으로 구성하였다. 특히, 3번 문항의 경우 피드백을 사용하는 데에 더 도움이 될 것이라 생각하는지를 파악하고자 질문하였다.

Table 8
Questions of Continuous Usage Intention

질문 내용
1 이 피드백 유형을 지속적으로 사용할 것이다
2 이 피드백 유형을 다시 이용할 것이다
3 이 피드백 유형의 사용 횟수를 늘릴 것이다
4 이 피드백 유형에 대해 긍정적으로 말할 것이다
5 이 피드백 유형을 다른 사람에게 추천할 것이다

5. 연구 결과
5. 1. 인구 통계학적 특성

본 연구에 참여한 대상은 총 55명으로 남성이 27명(49.1%), 여성이 28명(50.9%)으로 남성과 여성의 비율 차이가 거의 없는 것으로 나타났다. 연령의 경우 20대가 36명(65.5%), 30대 19명(34.5%)으로 20대가 더 많았다. 인공지능 스피커 사용 경험은 있다 28명(50.9%), 없다 27명(49.1%)으로 나타났다. 사용 경험이 있는 사용자 중 1명(3.6%)은 화면이 있는 SK의 ‘누구 네모’를 사용했으며, 27명(96.4%)은 화면이 없는 KT의 ‘기가지니2’, SK의 ‘누구’, 카카오의 ‘카카오 미니’, 네이버의 ‘프랜즈2’, 구글 ‘구글 홈’을 사용한 것으로 나타났다.

5. 2. 가설 1 검증

인공지능 스피커의 시각 피드백 유형에 따른 인지정교화, 만족도, 지속사용의도의 차이점을 비교하기 위해 독립표본 t-Test를 실시하였다. 분석 결과는 <Table 9>와 같으며 시각 피드백은 인지정교화, 만족도, 지속사용의도 모두 유의한 차이를 보였다(인지정교화:t=2.453, p<.05, 만족도:t=4.238, p<.001, 지속사용의도:t=4.240, p<.001). 따라서 가설 1-1. 1-2, 1-3 모두 채택되었다.

Table 9
Result of Visual Feedback Type

종속변수 피드백유형 평균 표준편차 t p
인지정교화 빛 피드백 3.44 1.89 2.453 .015*
화면 피드백 4.13 2.26
만족도 빛 피드백 3.75 1.84 4.238 .000***
화면 피드백 4.84 1.97
지속사용의도 빛 피드백 3.80 1.92 4.240 .000***
화면 피드백 4.91 1.95
*p<.05, ***p<.001

구체적으로 인지정교화, 만족도, 지속사용의도 모두 화면 피드백이 빛 피드백 보다 긍정적인 효과를 보였다. 즉, 인공지능 스피커의 정보를 화면을 통해 시각적으로 글이나 이미지로 제공할 경우 사용자 경험이 더욱 풍부해지는 것을 알 수 있었다. 이러한 결과는 글과 이미지를 통한 시각 정보 전달은 효과적이며 새로운 시각 피드백 유형인 화면 피드백의 시각 정보를 통해 사용성을 높일 수 있는 가능성을 보았다.

5. 3. 가설 2 검증

인공지능 스피커의 시각 피드백 유형이 인지욕구에 따라 인지정교화, 만족도, 지속사용의도에 미치는 상호작용 효과를 검증하기 위해 이원 분산분석(two-way ANOVA)을 실시하였으며(Table 10 참조), 상호작용 효과를 본페로니의 다중비교를 통해 확인해 보았다(Table 11참조). 인지정교화, 만족도, 지속사용의도 모두 시각 피드백 유형과 인지욕구의 상호작용 효과가 유의한 것으로 나타났다(인지정교화:F=6.536, p<.05, 만족도:F=5.520, p<.001, 지속사용의도:F=4.695, p<.05). 따라서 가설 2-1, 2-2, 2-3은 채택되었다.

Table 10
Result of Visual Feedback Type and Need for Cognition two-way ANOVA

종속변수 변수 제곱합 자유도 평균제곱 F p
인지정교화 시각 피드백(A) 23.640 1 23.630 22.061 .000***
인지욕구 (B) 712.812 1 712.812 665.211 .000***
A x B 7.004 1 7.004 6.536 .011*
만족도 시각 피드백(A) 58.478 1 58.478 16.326 .000***
인지욕구 (B) 0.013 1 0.013 0.004 .952
A x B 19.773 1 19.773 5.520 .020*
지속사용의도 시각 피드백(A) 61.018 1 61.018 16.415 .000***
인지욕구 (B) 0.165 1 0.615 0.044 .833
A x B 17.453 1 17.453 4.695 .031*
*p<.05, ***p<.001

Table 11
Effect of Visual Feedback Type and Need for Cognition

종속변수 피드백 유형 인지욕구 평균 표준오차
인지정교화 빛 피드백 높음 4.92 0.134
낮음 1.66 0.146
화면 피드백 높음 5.93 0.134
낮음 1.96 0.146
만족도 빛 피드백 높음 3.48 0.244
낮음 4.07 0.268
화면 피드백 높음 5.12 0.244
낮음 4.50 0.268
지속사용의도 빛 피드백 높음 3.57 0.249
낮음 4.08 0.273
화면 피드백 높음 5.20 0.249
낮음 4.58 0.273

구체적으로, 인지정교화는 빛 피드백과 화면 피드백 모두 인지욕구가 높은 사용자에서 높게 나타났다. 만족도와 지속사용의도는 빛 피드백에서 인지욕구 낮은 사용자가, 화면 피드백에서 인지욕구가 높은 사용자가 높은 것으로 나타났다. 이러한 결과는 사용자가 가진 인지적 자원과 기기에서 제공하는 자원이 일치할 경우 긍정적인 경험을 얻는다는 자원부합이론의 결과와 일치하였다. 즉, 빛 피드백은 빛이 가지고 있는 정보를 인지하고 처리할 때 인지적 자원이 많이 필요하지 않은 피드백으로 인지욕구가 낮은 사용자에게 적합하였다. 반면, 화면 피드백의 글과 이미지는 정보를 처리할 때 인지적 자원을 많이 필요로 하는 피드백으로 인지욕구가 높은 사용자는 화면 피드백의 정보를 처리할 수 있는 인지적 자원을 충분히 가지고 있기에 긍정적인 경험을 하는 것으로 나타났다. 즉, 인지욕구라는 개인의 내재적 성향이 인공지능 스피커의 시각 피드백을 통해 얻는 경험에 영향을 미치는 것을 알 수 있었다.

5. 4. 가설 3검증

인공지능 스피커의 시각 피드백 유형이 멀티태스킹 상황에 따라 인지정교화, 만족도, 지속사용의도에 미치는 상호작용 효과를 검증하기 위해 이원 분산분석(two-way ANOVA)을 실시하였으며(Table 12 참조), 상호작용 효과를 본페로니의 다중비교를 통해 확인해 보았다(Table 13 참조). 인지정교화는 시각 피드백 유형과 멀티태스킹 상황의 상호작용 효과가 유의하지 않는 것으로 나타났으며, 만족도와 지속사용의도는 시각 피드백 유형과 멀티태스킹 상황의 상호작용 효과가 유의한 것으로 나타났다(인지정교화:F=0.018, p>.05, 만족도:F=22.770, p<.001, 지속사용의도:F=17.018, p<.001). 따라서 가설 3-1은 기각 되었으며, 3-2, 3-3은 채택되었다.

Table 12
Result of Visual Feedback Type and Multitasking two-way ANOVA

종속변수 변수 제곱합 자유도 평균제곱 F p
인지정교화 시각 피드백(A) 26.255 1 26.255 6.342 .013*
멀티태스킹 (B) 57.018 1 57.018 13.773 .000***
A x B 0.073 1 0.073 0.018 .895
만족도 시각 피드백(A) 65.364 1 65.364 19.856 .000***
멀티태스킹 (B) 7.425 1 7.425 2.256 .135
A x B 74.958 1 74.958 22.770 .000***
지속사용의도 시각 피드백(A) 67.655 1 67.655 19.354 .000***
멀티태스킹 (B) 6.023 1 6.023 1.723 191
A x B 59.488 1 59.488 17.018 .000***
*p<.05, ***p<.001

Table 13
Effect of Visual Feedback Type and Multitasking

종속변수 피드백 유형 멀티태스킹 평균 표준오차
인지정교화 빛 피드백 멀티태스킹 2.91 0.274
비 멀티태스킹 3.96 0.274
화면 피드백 멀티태스킹 3.64 0.274
비 멀티태스킹 4.62 0.274
만족도 빛 피드백 멀티태스킹 4.15 0.245
비 멀티태스킹 3.35 0.245
화면 피드백 멀티태스킹 4.07 0.245
비 멀티태스킹 5.61 0.245
지속사용의도 빛 피드백 멀티태스킹 4.16 0.252
비 멀티태스킹 3.45 0.252
화면 피드백 멀티태스킹 4.23 0.252
비 멀티태스킹 5.60 0.252

구체적으로, 빛 피드백은 멀티태스킹 상황에서, 화면 피드백은 비 멀티태스킹 상황에서 만족도와 지속사용의도가 더 높은 것으로 나타났다. 이는 제한된 용량 가설과 같은 결과이다. 이러한 결과는 사용자의 감각기관 간섭으로 인한 인지적 부하 경험의 차이이며 멀티태스킹 상황에서 화면 피드백은 화면과 다른 작업 두 가지 모두에 시선을 집중해야 했기에 부정적인 경험을 하는 것으로 나타났다. 반면에 빛 피드백은 초점을 맞추지 않아도 정보를 얻을 수 있기에 인지적 부담을 덜 겪어 정보처리가 상대적으로 수월하여 긍정적인 경험을 하는 것으로 나타났다. 즉, 외적 커뮤니케이션 환경인 멀티태스킹 상황이 인공지능 스피커의 시각 피드백을 통해 얻는 사용자 경험에 차이를 주는 것을 알 수 있었다.

5. 5. 가설 4 검증

인공지능 스피커의 시각 피드백 유형이 인지욕구와 멀티태스킹 상황에 따라 인지정교화, 만족도, 지속사용의도에 미치는 상호작용 효과를 검증하기 위해 이원 분산분석(two-way ANOVA)을 실시하였으며(Table 14 참조), 상호작용 효과를 본페로니의 다중비교를 통해 확인해 보았다(Table 15 참조). 시각 피드백 유형과 인지욕구와 멀티태스킹의 상호작용 효과는 인지정교화에서는 유의하지 않은 것으로 나타났지만 만족도와 지속사용의도는 상호작용 효과가 유의한 것으로 나타났다(인지정교화:F=0.033, p>.05, 만족도:F=6.429, p<.001, 지속사용의도:F=6.988, p<.01). 따라서 가설 4-1은 기각되었으며, 4-2, 4-3은 채택되었다.

Table 14
Result of Visual Feedback Type and Need for Cognition and Multitasking two-way ANOVA

종속변수 변수 제곱합 자유도 평균제곱 F p
인지정교화 시각 피드백(A) 23.640 1 23.640 30.585 .000***
인지욕구 (B) 712.812 1 712.812 922.228 .000***
멀티태스킹 (C) 52.207 1 52.207 67.545 .000***
A x B x C 0.026 1 0.026 0.033 .856
만족도 시각 피드백(A) 58.478 1 58.478 18.497 .000***
인지욕구 (B) 0.013 1 0.013 0.004 .949
멀티태스킹 (C) 7.790 1 7.790 2.464 .118
A x B x C 20.324 1 20.324 6.429 .012*
지속사용의도 시각 피드백(A) 61.018 1 61.018 18.146 .000***
인지욕구 (B) 0.165 1 0.165 0.049 .825
멀티태스킹 (C) 6.442 1 6.442 1.916 .168
A x B x C 23.497 1 23.497 6.988 .009**
*p<.05, **p<.01, ***p<.001

Table 15
Effect of Visual Feedback Type and Need for Cognition and Multitasking

종속변수 피드백 유형 멀티태스킹 인지욕구 평균 표준오차
인지정교화 빛 피드백 멀티태스킹 높음 4.20 0.161
낮음 1.36 0.176
비 멀티태스킹 높음 5.63 0.161
낮음 1.96 0.176
화면 피드백 멀티태스킹 높음 5.23 0.161
낮음 1.72 0.176
비 멀티태스킹 높음 6.63 0.161
낮음 2.20 0.176
만족도 빛 피드백 멀티태스킹 높음 3.66 0.325
낮음 4.74 0.356
비 멀티태스킹 높음 3.31 0.325
낮음 3.40 0.356
화면 피드백 멀티태스킹 높음 4.68 0.325
낮음 3.34 0.356
비 멀티태스킹 높음 5.56 0.325
낮음 5.67 0.356
지속사용의도 빛 피드백 멀티태스킹 높음 3.69 0.335
낮음 4.72 0.367
비 멀티태스킹 높음 3.45 0.335
낮음 3.50 0.367
화면 피드백 멀티태스킹 높음 4.87 0.335
낮음 3.46 0.367
비 멀티태스킹 높음 5.52 0.335
낮음 5.70 0.367

구체적으로, 만족도와 지속사용의도는 빛 피드백의 멀티태스킹 상황에서, 화면 피드백의 비 멀티태스킹 상황에서 인지욕구가 낮은 경우에 가장 높게 나타났다. 특히, 상황적 특성에 따라 인지욕구가 높은 사용자보다 인지욕구가 낮은 사용자의 평균 차이가 더 크게 나타났으며, 화면 피드백의 멀티태스킹 상황을 제외한 모든 상황에서 인지욕구가 낮은 사용자의 만족도와 지속사용의도가 인지욕구가 높은 사용자보다 높게 나타났다. 이러한 결과는 인지욕구가 낮은 사용자는 상황적 특성에 영향을 많이 받는다는 것을 알 수 있었다.

5. 6. 1:1 심층 인터뷰

본 연구는 상호작용적 매체의 사용자 경험을 시각 피드백 유형과 사용자 특성, 상황적 특성의 상호작용 효과를 알아보기 위해 진행하였지만 이와 관련한 선행연구의 부재로 해석의 어려움이 있었다. 이에 본 실험 후 참가자들에게 실험에 관한 심층 인터뷰를 진행하였고, 인터뷰 내용은 전체 55명 중에서 30번 이상의 답변이 나온 내용을 분석하였다. 이를 통해 빛의 정보처리 효과를 위한 방안과 화면 피드백이 멀티태스킹 상황에서 부정적인 경험을 하게 된 이유를 도출하였다. 인터뷰 내용은 <Table 16>과 같다.

Table 16
User Interview

피드백 유형 인터뷰 내용 (답변 수/참여자 수)
빛 피드백 기기를 사용할 때 빛 덕분에 주목하지 않아서 편리했다. (45/55)
빛의 색상이 여러 번 바뀌었는데 무엇을 의미하는지 뜻을 알 수 없었다. (42/55)
빛의 색상과 움직임의 의미를 알고 싶다. (48/55)
빛의 움직임은 기억나지 않았으며 구분이 잘 되지 않았다. (32/55)
화면 피드백 화면에 아이콘이 나와서 인지하기 쉬었고, 기억이 잘 났다. (44/55)
음성을 놓쳐도 다음 화면에 넘어가기 전에 결과를 볼 수 있어서 편리했다. (37/55)
멀티태스킹 상황에서 글을 읽기에는 시선 이동이 부자연스러웠다. (34/55)
글을 읽기 위해 화면을 봐야해서 인공지능 스피커의 장점이 사라졌다. (37/55)

6. 연구 결론 및 제언
6. 1. 연구 결론

본 연구는 최근 화면이 장착된 인공지능 스피커의 출시로 사용자가 인공지능 스피커의 정보를 처리하는 방식에 변화가 생겼으며, 문헌 연구를 통해 정보처리 효과는 사용자 내적 인지 과정과 외적 커뮤니케이션 환경을 함께 고려해야 하는 것으로 판단하였다. 따라서, 인공지능 스피커의 시각 피드백 유형이 사용자 및 상황적 특성에 따라 사용자 경험에 미치는 영향을 살펴보고, 어떤 시각 피드백 유형이 사용성 증진에 효과적인지 실증적으로 분석하였다. 본 연구의 결과 및 함의는 다음과 같다.

첫째, 화면 피드백은 인지욕구가 높은 사용자와 비 멀티태스킹 상황에서, 빛 피드백은 인지욕구가 낮은 사용자와 멀티태스킹 상황에서 적합함을 알 수 있었다. 즉, 화면 피드백의 정보 처리는 인지적 자원을 많이 필요로 하였고 이에 인지욕구가 높은 사용자에게 긍정적인 경험을 제공했다. 하지만 멀티태스킹 상황에서는 정보를 처리하기 위한 시선의 이동이 부자연스러워지고, 시각 기관을 나누어 사용하는 감각기관의 간섭으로 인해 인지적 부하를 겪는 것으로 나타났다. 반면, 빛 피드백은 정보 처리 시 인지적 자원을 많이 필요로 하지 않았고, 빛의 속성으로 인해 사용자가 기기에 초점을 맞추지 않고도 정보를 얻을 수 있었다. 또한, 심층 인터뷰를 통해 빛을 정보 전달 목적으로 사용할 경우 색상이 가진 일반적인 특징을 미리 설명서에 포함한다면 사용자의 정보처리 효과를 높일 수 있다는 것을 알게 되었다.

둘째, 인공지능 스피커의 시각 피드백 유형과 사용자 특성, 상황적 특성의 상호작용 효과는 만족도와 지속사용의도에서 유의미하게 나타났다. 특히, 인지욕구가 낮은 사용자는 인지욕구가 높은 사용자보다 상황적 특성에 따른 만족도와 지속사용의도 평균 차이가 더 크게 나타났다. 이러한 결과는 인지욕구가 낮은 사용자가 인지욕구가 높은 사용자보다 상황적 특성에 더 많은 영향을 받았다는 것으로 해석할 수 있으며, 인지욕구가 낮은 사용자는 화면 피드백의 멀티태스킹 상황에서 부정적인 경험을 했다는 것을 알 수 있었다. 따라서 상황적 특성에 영향을 많이 받은 사용자들 모두가 멀티태스킹 상황에서 긍정적인 경험을 하기 위해서는 기존의 빛 피드백이 적합한 것으로 해석할 수 있다.

이러한 결과는 최근 출시되는 화면이 장착된 인공지능 스피커가 사용자 특성과 상황적 특성을 모두 고려할 경우 사용자 경험에 효과적이지 않다는 것을 시사한다.

6. 2. 시사점 및 한계점

본 연구는 최근 인공지능 스피커의 급격한 성장에 맞춰 사용성 증진을 위해 새로운 시각 피드백 유형이 출시하였으며 이와 관련된 연구가 미비하며 새롭게 출시하는 인공지능 스피커의 효과성을 기존 스피커와 비교하여 알아본 것에 의의가 있다. 또한, 인공지능 산업이 발전하면서 새로운 기기들이 출시되고 사용자와 기기와의 상호작용이 더 중요해질 것에 대비해 본 연구는 기기와의 상호작용을 높이기 위한 요인으로 시각 피드백에 주목하였다. 시각 피드백은 사용자가 기기에 대한 정보를 직관적으로 인지하게 하는 동시에 효과적인 피드백으로 기기별로 세분화 되면 높은 상호작용 효과를 얻을 수 있다. 이에 본 연구는 시각 피드백 유형에 따른 정보처리 효과를 보았다는 것에 연구적 의의가 있다. 마지막으로, 상호작용 매체의 시각 피드백이 정보처리에 미치는 영향을 사용자 특성과 상황적 특성에 따라 보았다는 연구의 시사점이 있다. 또한, 본 연구에서 고려한 사용자 특성과 상황적 특성이 조절변인 효과가 증명되었기에 학문적 의의가 있다.

본 연구의 결과는 기업이 인공지능 스피커의 기술 발전과 함께 다양한 기능 사용을 유도하기 위해 새로운 피드백 유형을 출시하는데 이러한 피드백 유형이 사용자 특성과 환경에 따라 도움을 주고 있는지 알아볼 수 있었으며, 향후 인공지능 스피커 시각 피드백 구성하는 것에 도움이 될 것이다. 또한, 최근 미디어 사용자들은 끊임없이 멀티태스킹을 하고 인공지능 스피커는 새로운 매체를 사용한 멀티태스킹 상황이다. 따라서 기업들은 이와 같은 상황을 인지하고 시각 피드백 제작에 상황적 요인을 고려한 전략이 필요하다는 것을 제시하였다.

본 연구는 연구 대상이 된 사용자의 규모와 연령대가 다소 부족하였고 멀티태스킹 상황을 한가지 상황으로 제한했기에 일반화하기에는 보완이 필요하다는 한계점을 가지고 있다. 또한, 현재 인공지능 스피커 시각 피드백이 브랜드별로 이미지, 글, 색상 등 디자인 요소가 다양하기에 인공지능 스피커의 일반적인 특성과 선행연구를 토대로 제작하였기에 향후 연구에서는 인공지능 스피커 시각 피드백의 다양한 디자인 요소를 사용하여 연구가 이뤄진다면 높은 객관성을 확보할 수 있을 것으로 예상된다.

Acknowledgments

본 연구는 2020년 석사학위논문을 바탕으로 작성되었습니다.

This paper was written based on the Master Dissertation Thesis in 2020.

References
  1. 1 . Bhattacherjee, A. (2001). Understanding information systems continuance: an expectation-confirmation model. MIS quarterly, 351-370. [https://doi.org/10.2307/3250921]
  2. 2 . Chang, M. (2010). Role and usage of light in product interface design (Master's thesis). Kookmin University, Seoul.
  3. 3 . Cheon, H. (2019). Usability evaluation of audio and visual resource allocation for Artificial Intelligent Smart Speaker (Master's thesis). Hongik University, Seoul.
  4. 4 . Gim, W. (2007). The efficient assessment of need for cognition: K-NfC-S. Korean Journal of Consumer and Advertising Psychology, 8(1), 127-133. [https://doi.org/10.21074/kjlcap.2007.8.1.127]
  5. 5 . Ham, J. R. C., Midden, C. J. H., Maan, S. J., & Merkus, B. (2009). Persuasive lighting: The influence of feedback through lighting on energy conservation behavior. In conference; Experiencing Light 2009, International Conference on the effects of light on well-being, Eindhoven, 122-128.
  6. 6 . Jeong, S., Yum, J., Choi, I., Choi, S., & Chung, M. (2017). Media multitasking research in Korea: Uses and effects research. The Korean Journal of Advertising and Public Relations, 19(1), 102-135.
  7. 7 . Kang, M. (2011). Simultaneous media consumption behavior of Seoul citizens: Focused on main media and supportive media. Korean Society for Journalism and Communication Studies, 55(2), 333-355. [https://doi.org/10.16914/kjapr.2017.19.1.102]
  8. 8 . Kim, M. (2019). A study on the relationship between intelligent personal secretary purchasing factors and design evaluation focused on the millennial generation (Master's thesis). Chung-ang University, Seoul.
  9. 9 . Kim, S. (2003). A study on the effects of TV entertainment program 's subtitles on audience's cognitive response and attitude: Centering around Elaboration Likelihood Model(ELM) (Master's thesis). Yonsei University, Seoul.
  10. 10 . Kim, S. (2004). The study on information visualization methods using 3D interactive animation. Archives of Design Research,17(1), 299-308.
  11. 11 . Kweon, S., & Kim, W. (2004). Differences between on-line and off-line media audience's news message processing. Korean Journal of Journalism and Communication Studies, 48(3), 168-194.
  12. 12 . Lang, A., & Chrzan, J. (2015). 4 Media multitasking. In Elisia L. Cohen (Eds), Communication Yearbook 39 (pp. 99∼128). New York, NY: Routledge.
  13. 13 . Lee, E. (2017). Visual feedback preference of AI speaker using lighting elements (Master's thesis). Hongik University, Seoul.
  14. 14 . Lee, H. (2019). A study on the light interaction of the AI device for improving emotional transmission and increasing the use sustainability (Master's thesis). Ewha University, Seoul.
  15. 15 . Lee, M. (1999). An analytical review on ELM studies in Korea. The Korean Journal of Advertising, 10(4), 151-178.
  16. 16 . Lee, M., & Jeong, S. (2013). Mobile Ad Interactivity, User Need for Cognition, and Multitasking Effects. Korean Journal of Advertising, 15(1), 86-115.
  17. 17 . McCalley, L. T., & Midden, C. J. (2002). Energy conservation through product-integrated feedback: The roles of goal-setting and social orientation. Journal of economic psychology, 23(5), 589-603. [https://doi.org/10.1016/S0167-4870(02)00119-8]
  18. 18 . Meyers-Levy, J., & Peracchio, L. A. (1995). Understanding the effects of color: How the correspondence between available and required resources affects attitudes. Journal of consumer research, 22(2), 121-138. [https://doi.org/10.1086/209440]
  19. 19 . Nordhielm, C. L. (2002). The influence of level of processing on advertising repetition effects. Journal of consumer research, 29(3), 371-382. [https://doi.org/10.1086/344428]
  20. 20 . Oh, B., & Kang, S. (2008). 정보 디자인 교과서[Textbook of Information Design]. Seoul: Ahngraphics.
  21. 21 . Oliver, R. L., & Swan, J. E. (1989). Equity and disconfirmation perceptions as influences on merchant and product satisfaction. Journal of consumer research, 16(3), 372-383. [https://doi.org/10.1086/209223]
  22. 22 . Park, J., & Joo, J. (2018). A behavioral economic approach to increase users' intention to continue to use the voice recognition speakers: Anthropomorphism. Design convergence study, 17(3), 42-53. [https://doi.org/10.31678/SDC.70.3]
  23. 23 . Park, S., & Choi, S. (2018). An understanding the factors influencing satisfaction and continued use intention of AI speakers: Focusing on the utilitarian and hedonic values. Inf. Soc. Med, 19, 159-182.
  24. 24 . Petty, R., Cacioppo, J., & Kao, C. (1984). Short communication: integrating personality and intelligence: Typical intellectual engagement and need for cognition. Personality and Individual Differences, 43(6), 1635-1639. [https://doi.org/10.1016/j.paid.2007.04.022]
  25. 25 . Rafaeli, S. (1988). Interactivity: From New Media to Communication. Beverly Hill in Hawkins, Pingree, Wieman Edition.
  26. 26 . Schierz, P. G., Schilke, O., & Wirtz, B. W. (2010). Understanding consumer acceptance of mobile payment services: An empirical analysis. Electronic commerce research and applications, 9(3), 209-216. [https://doi.org/10.1016/j.elerap.2009.07.005]
  27. 27 . Shin, H., Yum, J., & Jeong, S. (2014). Effects of speech rate and multitasking on Ad recall: Application of Elaboration Likelihood Model and Optimal Arousal Theory. The Korean Journal of Advertising and Public Relations, 16(3), 95-120.
  28. 28 . Thomson, M., MacInnis, D. J., & Whan Park, C. (2005). The ties that bind: Measuring the strength of consumers’ emotional attachments to brands. Journal of consumer psychology, 15(1), 77-91. [https://doi.org/10.1207/s15327663jcp1501_10]
  29. 29 . Ware. (2004). Information Visualization: Perception for Design. Morgan Kaufmann.
  30. 30 . Yum, J., Choi, I., & Jeong, S. (2019). Which combination of media multitasking is used frequently by whom?: The effects of sensory interference and the moderating role of gender and age. The Korean Journal of Advertising, 30(2), 7 – 28. [https://doi.org/10.14377/KJA.2019.2.28.7]
  31. 31 . Zuo, Y., & Kim, H. (2014). A study on the effective communication of information visualization: Focusing on the first page of weather forecasting application. Journal of Digital Design, 14(3), 83-94.