Designing Facial Expressions of an Educational Assistant Robot by Contextual Methods
Background Many robots are now on the road to being able to assist human lives, and interest in human-robot interaction has been growing over the last several years. However, few studies have been carried out in relation to how the behavior, motion, appearance, and facial expressions of robots affects human recognition, while much attention has been devoted to identifying and classifying humans' motions and intentions by engineers in the fields of robotics and computer science. Hence, we explored how the facial expressions of educational assistant robots should be developed such that they enhance human-robot interactions. Although facial expressions are an effective means of expressing a robot’s intentions, there are few studies regarding the design of facial expressions for robots or evaluations of related processes and results.
Methods In this study, we focused on an educational assistant robot and designed facial expressions using a case study design that included interviews, video analyses and a contextual approach in which children envisioned possible interactions.
Results and Conclusion The result showed that educational assistant robots should dominantly express emotions related to ‘happiness’ and ‘sadness’ among the six basic human emotions. We suggested that each emotion should be segmented into three intensity groups and designed matching facial expressions after verifying the levels of intensity with participants.
초록
배경 최근 다양한 로봇들이 인간의 생활을 보조하기 위해 개발되면서, 인간-로봇 인터랙션이 중요한 연구문제가 되고 있다. 그런데 인간의 행동, 음성 등을 로봇이 센서를 이용해 파악하고 분석하는 분야는 비교적 많은 연구가 있어 왔으나, 인간이 로봇의 의도와 상태를 파악하고 인간-로봇 인터랙션을 향상시킬 수 있는 방법에 대한 연구는 비교적 적은 편이다.
방법 이에 본 연구에서는 아동을 위한 교육 보조 로봇에서 아동들의 사용상황을 파악하고 이를 로봇의 감정 표현에 적용할 수 있는 방법을 탐색하였다. 표정은 감정을 표현하는 가장 직접적이고 효과적인 도구임에도 불구하고, 로봇 표정의 디자인에 대한 방법론과 디자인프로세스 평가에 대한 사례는 많지 않다. 따라서 본 연구에서는 아동용 교육 보조 로봇에서 가장 필요한 로봇의 감정을 로봇의 사용 상황에 맞추어 정의하고 그 결과에 의해 로봇의 표정을 디자인하고 디자인된 표정의 강도를 검증하는 과정을 탐색 하였다.
결과 아동용 교육 보조로봇의 경우, 인간의 6가지 기본 표정 중 Happiness와 Sadness가 가장 빈번하게 표현되어야 하는 것으로 나타났으며, 각각 3단계의 표정강도로 구분될 수 있었다. 3단계로 디자인된 표정은 피실험자를 통해 적절한 강도의 차이가 나는지 검증되고 수정된 후 최종적으로 디자인되어졌다.
결론 이 원칙에 따라, 본 연구에서는 디자인연구 분류체계의 기본구조를 분류이론의 다차원 구조화와 작성표시에 분석합성식의 패싯분류를 도입하여 모형화하였다
Keywords:
Human-Robot Interaction, Facial expression, contextual method, scenario, social robot, 인간-로봇인터랙션, 표정, 맥락적 기법, 시나리오, 사회적 로봇1. 서론
최근 엔터테인먼트, 서비스, 의료, 보안, 애완동물 등 다양한 분야에서 인간과 로봇의 인터랙션에 대한 연구가 진행되고 있다(Davids, 2004; Kanda, et al., 2004; Pransky, 2001; Ramey, 2006). Norman(2007)은 이러한 로봇이 현실적으로 가전, 오락, 교육 분야에서 가장 가능성 있게 활용될 수 있다고 예상한바 있다. 실제로 로봇들은 과거 어느 때 보다 우리 생활의 가까이에서 사용될 수 있는 가능성이 높아졌다. 그러나 로봇이 인간의 생활 속으로 들어오게 됨으로써 기술적인 문제들의 발생과 함께, ‘사회적 로봇’[1]으로서 인간과의 감성적 교류의 문제가 대두되었다(Fong, 2004). 이것은 Ekman(2004)이 말한 바와 같이, 인간은 상대방이 드러내는 감정 신호에 의해 상대방의 의도를 해석하며 그에 따라 자신의 감정이 유발되고, 그 감정이 다시 상대방의 반응에 대한 자신의 생각에 영향을 끼치는 것처럼 로봇을 더 이상 단순한 기계 혹은 자동화된 기계로 보지 않고 의인화된 속성을 지닌 대상으로 여겨 로봇에 대한 자신의 태도와 심성모델을 바꾸기 때문이다(Lee, Kiesler, 2005). Breazeal(2003)은 인간과 로봇의 인터랙션이 효율적으로 발생하게 되면 인간은 보다 즐겁고 쾌적하게 로봇을 이용할 수 있게 됨으로써 보다 친근한 대상으로 로봇이 받아들여진다고 하였다. 아동을 대상으로 하는 로봇은 성인을 대상으로 하는 로봇보다는 보다 직관적이고 즐거운 인터랙션이 필요할 것이다.
그렇다면 어떤 방법을 통해 인간과 로봇의 인터랙션이 향상될 수 있는 것인가? 현재까지는 많은 연구들이 로봇이 인간의 의도와 행동을 파악하는데 초점을 맞추어 왔다(Lyons, M. J. et al., 2006). Preece et al.(2001)에 의하면 인터랙션은 반응의 탐색과 피드백의 양방향 속성을 가지고 있는데 인간과 로봇이 효율적으로 인터랙션하기 위해서는 로봇이 인간의 행동과 의도를 파악하는 것이 중요한 만큼, 인간도 로봇의 상태 또는 의도를 쉽고 빠르게 파악하여 양방향 인터랙션이 발생하는 것이 보다 중요하다고 할 수 있다. 로봇이 자신의 상태를 표현하는 방법은 소리, 몸짓, 음성, 표정이 있다. Mehrabian(1967)이 인간의 의사소통에서 얼굴에 나타나는 표정이 가장 대표적인 의사전달의 도구라고 말하였듯이 로봇의 표정은 인간에게 로봇의 감정 상태를 전달하는 가장 강력한 수단이 될 수 있다(Blow et al., 2006). 로봇은 음성 또는 화면으로 모든 정보를 표현할 수 있지만 음성과는 다른 표정을 통한 감정 상태의 전달은 음성이 전달할 수 없는 정보를 전달하고 음성정보를 보충하기도 하고 사람들의 반응을 즉각적으로 유도할 수 있을 것이다. 따라서 잘 디자인된 로봇의 표정은 인간과 로봇의 인터랙션을 향상시키는데 기여할 수 있고 그러한 표정의 디자인은 사회적 로봇의 기능적 특성에 따라 상황에 맞게 표출될 때 보다 효과적인 인간-로봇 인터랙션이 발생하게 될 것이다.
교육보조로봇은 현재 유치원, 초등학교 등 실제 교육 현장에서 도입되고 있는데((주)KT의 Kibot 시리즈 등), 아동은 로봇을 이용한 교육, 게임, 유틸리티의 활용에서 로봇과 의사소통을 적극적으로 하고 있는 것을 보아, 로봇과의 인터랙션이 정서적으로 영향을 준다고 할 수 있다. 다양한 상황에서 로봇의 적절한 반응과 감정 표현은 아동과 로봇 사이의 감성적 커뮤니케이션을 향상시킬 것이며 결과적으로, 교육보조라는 본래의 효과도 증가하고 아동들이 즐겁게 로봇을 이용할 수 있는 환경을 제공할 것으로 예상할 수 있다. Disalvo et al.(2002)이 주장한 대로, 로봇의 얼굴이 인간과 비슷하게 보임에 따라 사람들의 로봇에 대한 인식이 바뀌는 것과 Dautenhahn(2002)이 주장처럼, 사람들은 로봇의 외형을 먼저 인지하게 되고 그 외형에 근거하여 그 로봇의 능력을 최초로 판단하고 예측하는 경향을 보이는 것처럼 아동들은 적절한 로봇의 표정에 의해 로봇을 보다 친근하고 신뢰할 수 있는 대상으로 여기게 될 것이다. 만약 로봇이 아동의 행동에 대해 적절한 반응을 보이지 않거나 그 반응이 상황에 맞지 않거나 아동의 예상과 다를 때, 아동들은 의인화된 속성인 로봇에 대해 실망하게 되고 효과적인 인터랙션은 발생하지 않게 되며 교육보조의 기능도 떨어질 것이다.
본 연구에서는 표정과 같은 시각적 정보가 인간과 인간의 커뮤니케이션 뿐만 아니라 인간과 로봇의 인터랙션에 있어서 즉각적이고 효율적인 도구로 이용될 수 있으며, 아동을 대상으로 하는 교육보조로봇의 기본적인 기능인 교육의 효과를 극대화할 수 있음을 가정하고 로봇의 감정을 상황에 따라 적절하게 보여줄 수 있는 표정을 디자인하는 방법을 탐색하고자 하였다.
2. 인간과 로봇의 감정 및 표정
2.1. 감정모델에 대한 두 가지 견해
인간 감정의 내부 구조에 대해서는 오랫동안 크게 두 가지 관점이 존재했다. 두 관점의 주요 논점은 불연속적인 기저 감정이 유한하게 존재하는가 아니면 두 개혹은 세 개의 정서축이 존재하여 연속적인 공간으로 감정을 정의할 수 있는가의 문제였다(Katikitis, 1995). 불연속적인 몇 개의 기저 감정이 문화를 초월하여 존재한다고 주장하는 기본감정모델(Basic Emotion Model)에 대한 최초의 과학적 연구는 다윈의 진화론 속에 포함되어 있다. 다윈은 인간의 감정 표현은 물려받는 것이라고 하였으며 처음으로 감정의 인식에 관한 과학적 실험을 실시하였다(Darwin, 1872). 다윈은 표정에 나타난 어떠한 감정들이 지속해서 똑같이 인식되는지 표정을 나타내는 사진을 이용하여 연구하였으며, 다른 나라에 사는 동료 연구자들과의 교류를 통하여 표정에 범문화적인 공통점이 존재함을 주장하였다.
다윈 이후에 몇 몇 학자들이 기본 감정에 대해 연구했다. Ortony(1990)에 의하면 최소 2개에서 8개까지의 기본 감정들이 학자들 마다 서로 다르게 관찰되었다고 한다. 이러한 기본감정 이론들은 주로 표정의 인식을 통하여 연구되어 왔는데 이것은 개별 감정 하나하나에 상응하는 특별한 표정이 문화를 초월하여 독립적으로 존재한다는 사실에 기초하고 있다. 지난 수십 년 동안 Ekman에 의해 주도된 기본감정 모델을 지지하는 학자들은 대체로 최소 6개의 기본감정이 범문화적으로 존재한다는 사실에 동의하고 있다.(Ekman, 1993; Izard, 1992) Happiness, Sadness, Surprise, Fear, Disgust, Anger(기쁨, 슬픔, 놀람, 공포, 혐오, 화남)이 그것인데 이것들은 문화를 초월하여 동일하게 사람들의 표정에서 구별되어 인식된다는 것이다. 그러나 Ekman에 의해 주도된 기본감정모델은 몇 가지 관점에서 비판을 받았다. 특히 기본감정모델의 주된 연구 방법인 표정의 범문화적 공통성에 관한 연구에서 실험 방법상의 문제점들이 종종 제기되었으며 기본감정의 개수도 6개가 아닌 8개라고 주장되기도 하였다(Ortony, 1990; Russel, 1994). 다만 현재까지는 Ekman이 주장한 6개의 기본감정모델이 더 설득력을 얻고 있다.
기본감정모델과 구별되는 차원모델(Dimensional Emotion Model)은 감정을 Happiness, Anger, Fear 등과 같은 몇 개의 정해진 범주로 구분되는 불연속적인 것이 아니라, 예를 들면 각성-쾌/불쾌의 서로 다른 기저에 의해 만들어지는 확장된 관계에 의한 연속적인 차원 공간으로 정의하였다[Figure 1]. 차원모델은 위에서 언급한 기본감정모델의 불완전한 점을 상당부분 보완하고 있다. 기본감정과 혼합감정, 감정의 강도 등이 하나의 감정 공간상에 존재함으로써 감정에 대한 정의가 명확하고 체계적이다. 모든 감정이 하나의 공간상에 존재하고 서로간의 관계가 분명하게 드러난다. 그러나 차원모델은 학자들마다 감정 공간을 구성하는 기저 정서, 즉 축에 대해서 각자 주장이 다르며 공통된 기저 축이 몇 개인지 그것이 무엇인지 명확하게 밝혀 내지 못하고 있다
초기에 차원모델을 주장했던 Russell(1978)이 쾌/불쾌-이완(pleasantness - arousal)이라는 두 개의 축을 제안한 이후에 PAD(Pleasure, Arousal, Dominance)(Russell, 1994), AVS(Arousal, Valence, Stance)(Breazeal, 2003) 등이 제안되었으나, 기저 축의 정의에 대해 아직 더 많은 연구가 이루어져야 한다.
2.2. 로봇의 감정 정의
기존 문헌을 종합해 볼 때, 감정은 불연속적인 범주로 표현된다는 기본 감정모델과 2차원 또는 3차원 공간속에서 연속적으로 표현된다는 차원모델로 구분되지만, 사람의 표정에서 나타나는 감정은 6개의 범주로 나뉜다는 것에는 이의가 없는 듯하다. 따라서 로봇의 표정도 6가지 정도의 표정이 필요할 것으로 예상할 수 있다. 그런데, 키즈멧(Breazeal, 1999), WE-4 (Miwa et al., 2003), I-CAT(Ortony et al., 1998), 돌도리(Doldori; Kim et al., 2005)등 표정을 구현한 많은 실험적 로봇들은 로봇의 감정 상태를 Ekman이 도입했던 기본감정모델을 사용하지 않고, 차원모델을 도입했다[Table 1].
이것은 아마도, 감정을 수학적으로 정의하기 쉽고 감정의 종류와 감정의 강도를 한 번에 모델링하기 쉽기 때문이었을 것으로 추측한다. 따라서 여전히 로봇의 감정을 몇 개의 불연속적인 범주로 표현할 것인가 연속적인 차원으로 표현할 것인가는 더 연구되어야 될 대상이라고 생각한다.
이상과 같이 기존 문헌의 연구를 종합한 결과, 본 연구에서는 표현해야 될 감정, 즉 표정을 기본감정모델에 근거하여 불연속 범주로 간주하였다. 그 이유는 다음과 같다. 첫째, 감정을 연속적인 차원으로 정의한다면, 표현해야 되는 표정의 수는 무수히 많게 되고, 현실적으로 현재 보급되고 있는 교육보조로봇에서 구현하는 것이 불가능할 것이라고 판단했다. 둘째, 감정을 연속적으로 표현하기 위해서는 각각의 상황에 맞는 표정을 찾기 위한 감정공간을 모델링 하여야 하는데, 감정공간에서 위치를 결정하는 것은, 현재의 기술적 수준에서 로봇이 인간의 의도를 파악하고, 주변 환경과 현재의 사용상황을 인지하여 판단을 내릴 수 있는 인공지능에 대한 논란이 대두된다. 셋째, 인간은 감정을 표정에 드러내기도 하고 감추기도 하면서 타인이 자신의 감정을 알아차리지 못하게 하는 경우도 있다. 그러나 로봇의 표정은 감추어지거나 인간이 쉽게 알아차리지 못하면 안 된다. 쉽게 알아차릴 수 없는 모호한 표정은 인간-로봇 인터랙션을 감소시킬 수 밖에 없다. 따라서 로봇의 표정은 읽기 쉽고 분명하게 디자인되어야 한다. 이러한 관점에서 수많은 표정이 존재하게 되는 차원모델보다는 기본감정모델이 로봇의 표정구현에 더 적합하다는 판단이다.
2.3. 로봇의 표정
로봇의 감정을 기본감정모델에 근거하여 범주형으로 정의한 다음에도 로봇의 표정이 인간의 표정과 동일해야 하는지에 대한 의문점이 발생한다. 인간은 감정 상태에 따라 거짓 표정을 만들어 내기도 하고 표정에 의해 감정이 발생하기도한다(Ekman, 1993). 인간의 표정에 대한 인식 능력은 오랜 기간 진화를 통해 개발되어져 왔으며 이러한 능력은 미묘한 표정의 변화를 감지할 만큼 우수하다(Ekman, Friesen, 2004). 이 능력이 로봇의 표정을 읽는데 그대로 이용될 것이다. 그렇다면 로봇의 표정은 인간과 동일해야 할까? 즉, 인간이 6가지 기본 표정의 조합을 통해 생성해 내는 많은 표정을 로봇들도 그대로 따라서 표현해야 하는가 라는 의문이 생길 수 있다. Ekman(1993, 2004)이 고안해낸 ‘얼굴표정해독시스템(FACS:Facial Action Coding System)에 의하면 얼굴에는 표정을 만들어내는 46개의 액션유닛(AU)이 있으며 이들의 조합에 의해 6가지 기본표정들과 그 조합된 표정이 생성한다고 하였다. 예를 들면, ’Happiness‘이라는 표정은 AU 12번, 13번, 6번+11번+12번 의 조합에서 만들어진다는 식이다. 이렇듯 인간의 표정과 같이 복잡하고 정교하게 로봇의 표정을 구현하는 것이 필요한가 하는 의문이 새롭게 발생하며, 또한 인간의 모든 표정을 로봇에게 구현시켜야 되는가 하는 의문도 같이 발생하게 된다.
현재 우리의 일상에서 볼 수 있는 로봇은 SF소설가 아시모프가 제시했거나 영화에서 보아왔던 완벽한 인공지능이 구현된 로봇이 아니다. 로드니 브룩스(박우석역, 2005)는 향후 50년 이내에는 우리가 꿈꾸는 로봇이 등장하는 것이 쉽지 않을 것이라고 한다. 따라서 로봇의 표정을 인간과 똑 같이, 눈, 코, 입, 눈썹 등 근육의 움직임의 조합으로 연속적으로 만들기 보다는, 로봇의 사용 환경에서 그 상황에 맞는 적절한 표정으로 디자인하는 것이 더 중요하다고 생각한다. 앞서 언급한 표정을 구현한 로봇들은 3차원 감정모델을 기저로 모든 표정을 구현하려고 한 결과, 표정의 느낌이 어색하고 현실적인 로봇의 사용상황이 고려 안 된 것이라고 판단할 수 있다. 모든 표정을 구현하기 보다는, 로봇의 사용상황을 정의하고, 그에 맞는 간결하고 명확한 표정을 디자인하는 것이 필요할 것으로 보인다. 특히 아동을 대상으로 하는 교육보조 로봇의 경우, 다양한 사용 환경과 아동의 행동에 로봇이 처하게 되는데, 이에 맞는 적절한 맥락의 표정이 더 필요할 것이다. 다만 표정을 결정하기 위한 로봇의 상황인식, 감정 결정의 프로세스, 그와 관련된 기술적인 문제 등에 관하여는 본 연구의 범위를 넘어서는 별도의 연구가 필요하다고 판단되므로 여기서는 다루지 않기로 한다.
3. 로봇의 필요 감정 분석
3.1. 연구대상
본 연구에서는 통신사업자인 ㈜KT와 ㈜iRiver 사가 공동으로 개발하여 보급하고 있는 가정용 교육로봇 ‘키봇II’(Kibot II, 이하 키봇)[Figure 2]을 대상으로 키봇을 사용하는 사람들의 인터뷰, 아동의 사용 비디오 분석, 시나리오 작성 및 분석의 방법을 이용하여 키봇의 감정을 상황에 따라 세분화하고 그에 맞는 표정을 새롭게 디자인하였다. 키봇은 높이 32센티미터, 무게 3kg, 7인치 컬러디스플레이를 갖춘 휴머노이드형 외형을 지닌 소형 로봇으로써, 만 3세에서 13세의 아동들이 온라인에 연결된 다양한 콘텐츠를 통해 놀이와 학습이 가능하고, 부가기능으로써 화상통화, 원격모니터링, 자율주행, 음성과 표정인터랙션 등이 가능한 교육보조 로봇이다. 2011년 약 1만대의 키봇I이 판매되었으며 키봇II도 키봇I 이상의 보급을 목표로 한다고 한다(서울경제, 2011.12.22.).
키봇을 연구대상으로 선정한 첫째 이유는, 현재 가장 널리 보급된 교육보조로봇으로써, 사용자들의 실제 의견과 사용 환경, 사용상의 문제점을 분석하기 용이하기 때문이다. 둘째 이유는 키봇과 더불어 다른 교육보조로봇들도 보급 계획을 가지고 있는 것으로 보아 이러한 교육보조로봇이 점점 더 확산될 것이며, 키봇은 그 원형으로써 크기, 기능 등에 있어서 다른 모델의 사례가 될 수 있는 가능성이 충분하기 때문이다. 셋째 이유는, 키봇의 7인치 디스플레이는 표정을 자유롭게 디자인하여 표현하기 용이한 구조이기 때문이다.
선행연구(정성원, 이건표, 2008)에 의하면 로봇의 얼굴은 얼굴외형에 따라
크게 4가지 타입으로 구분할 수 있다[Figure 3]. 인간과 거의 흡사하여 사람과 같이 눈, 코, 입, 눈썹, 입술, 머리카락 등을 모두 가지고 있는 안드로이드형, 눈썹, 눈, 코, 입 등의 얼굴 요소를 가지고 있으나 얼굴의 느낌이 사람보다는 기계에 가까운 인간-기계형, 얼굴의 요소들이 단순화 되어 아이코닉한 느낌을 주고 큰 눈이 전체 얼굴에서 강조되어 있는 형태인 휴머노이드형, 눈, 코, 입과 같은 얼굴 요소가 없으며, 일반적으로 어두운 패널로 얼굴이 덮여 있는 추상화된 휴머노이드형이 있다. 사람들이 사회적 로봇에 대하여 외형적 거부감 없이 가장 쉽게 받아들이고 선호하는 형태가 사람의 눈, 코, 입 등이 사실적이지 않고 생략되거나 간략하게 표현된 휴머노이드형임을 알 수 있었다. 따라서 키봇은 사회적 로봇으로써 선호되는 외형과 얼굴형을 지니고 있어서, 표정디자인의 대상으로 적합하다고 판단되었다.
3.2. 연구방법
본 연구에서는 로봇의 사용 상황에 맞는 적절한 표정을 구현하기 위하여 먼저 사용 상황을 분석하고, 그 상황에 어울리는 로봇의 감정 상태를 정의하는 것이 필요했다. 이를 위하여, 현재 키봇을 사용하고 있는 아동의 보호자와 실제 교육현장의 교사들을 대상으로 인터뷰를 하였다. 다음은, 그 환경에서 키봇을 직접 사용하는 아동들의 직접적인 행동을 관찰하고 비디오 녹화 후 발견점을 분석하였다. 마지막으로, 인터뷰와 관찰, 비디오분석에서 나타나지 않은 미래의 사용 상황을 파악하고자 시나리오를 작성하고 시나리오에서 도출되는 감정의 종류들을 범주화하였다. 시나리오 기법은 미래의 발생 가능한 다양한 종류의 상황을 예측하고자 할 때 종종 사용하는 기법이다.
이상과 같은 세 가지 방법을 이용하여 키봇의 사용 상황을 정의하고 각각의 상황에서 키봇이 표현해야 할 표정을 정의하였다.
(1) 전문가그룹 인터뷰
키봇을 직접 사용하는 아동의 학부모 및 교사를 대상으로 사용자의 실제적인 요구를 알아보았다. 서울시 소재 구립 중앙 어린이집 1곳과 디보 빌리지 청계천 점 키즈 카페 1곳을 방문하여, 만4세~만9세 아동을 가진 학부모 7명(20대3명, 30대4명), 교사 3명(30대2명, 40대1명)에게 인터뷰를 실시하였다. 인터뷰의 주요 질문 내용은 [Table 2]과 같다.
인터뷰결과 가장 선호하는 기능은 교육 콘텐츠(한글/영어), 놀이 콘텐츠(동요/애니), 그리고 스스로 소리 내며 움직이는 자율동작모드라는 것을 알 수 있었다. 키봇이 자율동작모드일 경우와 콘텐츠를 이용하는 경우, 현재는 대부분 한 가지의 웃는 표정이 나오기 때문에 그 상황에 부자연스럽다는 응답이 많았으며, 표정이 다양하지 못하고, 상황에 맞는 반응이 부족하다는 응답이 있었다.
교육 콘텐츠를 이용하는 경우, 잘했을 경우에는 칭찬을 해주고, 심심할 때에는 같이 놀아줄 수 있는, 아동의 친구이면서 선생님이 역할을 기대하고 있었다. 문헌 리뷰에서 살펴 본 바와 같이 로봇의 외형이 친근한 형태이므로, 키봇을 단순한 기계로 여기지 않고 의인화된 하나의 인터랙션 대상으로 생각하는 것을 알 수 있었다. 따라서 주로 칭찬이나 재미를 느낄 수 있는 감정을 표현해 주기를 원하고, 이러한 감정을 표정으로 나타내는 것이 필요하다는 것을 알게 되었다. 이러한 인터뷰는 질문과 답변이 자유롭게 오가는 대화를 통해 이루어졌으며, 조사원 3명이 응답자에게서 얻은 자료를 인터뷰 이후 다시 분석하면서 총 27개의 감정 관련 어휘를 추출하였다. 27개의 중복이 포함된 어휘들은 다음과 같다. 놀라다(3종), 쑥스럽다(4종), 외롭다(1종), 신나다(8종), 슬프다(6종), 화나다(4종), 설레다(1종).
(2) 비디오 분석(Video Analysis)
전문가그룹 인터뷰를 실시한 후, 연구자의 주관적, 감정적 편견이 작용할 가능성을 배제하기 위해서 비참여적관찰법(관찰자가 제품사용에 직접적으로 참여하지 않고 관찰만 하는 것)과 객관적 관찰법(제3자의 입장에서 사용자들의 행동패턴을 분석하는 것)을 이용해 키봇을 사용하는 아동의 실제 상황을 관찰하였다. [Table 3] 와 같은 관찰조건을 설정하고 연속 촬영한 비디오 영상녹화 및 관찰필기를 이용해서 사용자의 행동을 관찰하였다 [Figure 4].
비디오를 분석한 결과 키봇을 사용할 때의 아동의 행동은 교육, 게임과 같은 콘텐츠를 직접 이용하는 경우와, 단순하게 키봇과 인터랙션을 하는 경우의 두 가지로 나눌 수 있었다[Table 4]. 단순한 인터랙션이란 키봇을 만진다거나 껴안거나 툭툭 치거나 쓰다듬거나 자율동작 중인 상태가 그 예이다. 이러한 구분에 의해 분석한 결과, ‘만진다’ 라는 아동의 행동에 대해 키봇이 행복한 감정을 나타내는 것이 필요하다는 식으로 분석하였다. 마찬가지 방법으로 ‘때린다’ 라는 폭력적인 행동 시에는 아프다 혹은 슬프다 라는 감정을 표현하는 것이 필요하다. 비디오 분석과 관찰시의 자료를 종합 분석하여 키봇에게 필요할
수 있는 총 14가지(중복포함)의 감정을 예측하였고 감정어휘를 추출하였다. 추출된 어휘는 즐겁다(3종), 쑥스럽다(2종), 행복하다(3종), 부끄럽다(2종), 아프다(3종), 무섭다(1종) 이다.
(3) 시나리오 분석
전문가그룹 인터뷰와 비디오 분석법은 현재의 사용상황을 분석하기에는 적합하나 미래에 발생할 수 있는 관찰되지 않은 사용상황을 예측하는 것에는 한계가 있다. 이를 보완하기 위한 시나리오는 미래 상황을 짧은 시간 안에 예측하고 설명할 수 있는 좋은 도구라 할 수 있다(Carroll, 1995). 시나리오는 제품 자체의 디테일한 정보를 예측하기 보단 요소간의 인터랙션을 묘사하게 된다. 로봇의 사용 상황에 대한 시나리오는 로봇, 사용자, 사용 환경의 세 가지 요소 사이에서 발생하게 되는 인터랙션을 중점적으로 묘사할 수 있게 된다. 따라서 전문가그룹 인터뷰와 직접관찰, 비디오분석에서 발견되지 않은 새로운 사용 상황을 예측하고자 시나리오를 작성하였다.
비디오 분석에 참여하지 않은 3명의 대학생이 일주일간 직접 키봇을 사용하고 난 후, 아동이 이용하는 상황을 가정해서 시나리오를 작성하였다. 먼저, 키봇의 각 기능과 특징에 대해 조사하였다. 인터뷰와 비디오 분석에서 키봇의 기능은 크게 2가지로 구분할 수 있었는데, 학습/놀이 콘텐츠(한글, 영어, 동요, 애니, 놀이)와 기타 서비스기능(통화, 인터넷, 문자, 원격모니터링 등)이다. 그리고 모니터 및 몸체를 터치해서 사용(터치식), 음성인식기능의 특징도 가지고 있었다. 각 특징과 기능을 토대로 시나리오를 설정하였다.
직접 키봇을 사용해 본 결과, 비디오 분석 결과와 다르지 않았다. 각 상황은 아동의 행동과 기타 환경적 요인 두 가지로 나누어짐을 알게 되었고 이를토대로 시나리오를 작성하였다. 시나리오는 총 30개가 작성되었으며, 아동의 행동 10개, 기타 환경적 요인 20개이다[Table 5].
각 시나리오 상황 속에서 키봇이 표현해야 할 감정이 무엇인지 알아보기 위해서, 남녀대학생 40명을 피실험자로 하여 조사를 하였다. 앞서 도출된 시나리오가 3개씩 인쇄된 용지를 피실험자 1인당 1장씩 배포하고 본 연구의 목적을 간단히 설명한 뒤 시나리오를 각자 검토하게 하고, 각 상황에서 키봇이 나타내어야 할 감정을 추정하고 해당되는 감정어휘를 기입하도록 하였다. 피실험자 10명에게 각각 3개씩 30개의 시나리오가 주어졌으며, 10명씩 4그룹으로 동일한 30개의 시나리오가 주어졌다. 이때 피실험자의 감정어휘에 대한 이해를 돕기 위해 이영희(2004)의 ‘한국인의 감정분류표에 나타난 어휘를 리스트로 제시하고 참고하도록 하였다.
4. 로봇 표정 정의
4.1. 필요 감정 도출
몇 가지 통계적 기법 중에서, 짧은 시간 내에 복잡한 정보를 구조화할 수 있으며, 이미지 맵을 통한 시각적 요소들의 구조화에 유용한 KJ법을 이용하여 인터뷰, 비디오분석, 시나리오를 통해 도출된 감정 어휘들을 분류하였다. 시나리오(120개), 인터뷰(27개), 비디오분석(14개)에서 나온 감정 어휘들을 유사한 것은 통합하고 중복되는 것을 제외하여 총91가지 감정 어휘로 정리하였다. 이 어휘들을 Ekman의 기본감정모델 6가지(Happiness, Anger, Fear, Disgust, Sadness, Surprise)를 바탕으로 6가지 그룹으로 재분류하였다. 이것은 본 연구가 로봇의 표정을 정의하기 위한 감정모델로 기본감정모델을 선택하였기 때문이다[Table6].
다음은 KJ법을 통해 그룹핑된 각 감정들을 빈도 분석하였다. 총 91개의 어휘들을 6가지 감정에 대입시키는 방식으로 분류한 후, 빈도분석을 실시하였다. 그 결과, Happiness 34개(37.4%), Sadness 26개(28.6%)로 나타났다[Figure 6].
이상과 같이 추출된 감정 어휘를 분류하는 방식으로 키봇에게 필요한 표정을 도출한 결과 Happiness와 Sadness의 두 가지 감정이 가장 높은 빈도를 보였으며 나머지 4가지 감정은 상대적으로 현저히 빈도수가 떨어짐을 알 수 있었다. 로봇이 표현해야 할 표정의 종류를 정의할 때 Happiness와 Sadness가 우선시 되어야 함을 알 수 있었다.
4.2. 주요 표정의 분류를 위한 요인분석
6개의 그룹으로 구분된 91개의 감정어휘들 중 우선시 되어야 할 것으로 판단된 Happiness와 Sadness에 대하여 그 세부 감정을 분류하였다. 20대의 성인 남·여 30명을 대상으로 각 그룹(Happiness, Sadness)에 속해있는 감정 어휘가 그룹의 성격과 어느 정도 관련이 있는지를 설문을 통하여 물어본 후 SPSS(ver.18)을 이용하여 분석하였다.
(1) Happiness의 세부 분류
KJ매핑 의해 Happiness에 포함되어 있던 34개의 감정어휘에 대하여 Happiness와 어느 정도 관련이 있는지를 1. 전혀 관련이 없다 에서부터 7. 매우 관련이 있다 의 7점 리커트 척도로 구분하여 제시하였다. 요인분석을 실시하기 전 기술통계량을 구하였다. 기술통계량에서 평균값이 3.0이하면서 가장 낮은 쑥스럽다(2.76), 부끄럽다(2.70), 민망하다(1.93), 창피하다(1.76)의 4가지 어휘를 제외하기로 하였다. 이 어휘들은 KJ매핑 당시 연구자에 의해 부정적인 의미보다는 긍정적인 의미에서 낮은 단계의 의미로 Happiness에 가장 가깝다고 판단하여 포함된 어휘들이었으나, 피설문자 들에게는 부정적 의미로 해석되었던 것으로 보인다. 따라서 이를 제외하고 요인분석을 실시하였다.
요인분석(factor analysis)은 다변량분석 방법의 하나로써 다수의 변수들 간의 관계성이나 패턴을 파악하고 잠재되어 있는 공통적인 차원을 파악하고 설명할 수 있는 기법이다(이학식, 임지훈, 2011). 일반적으로 요인분석의 순서는 공통성분석 결과 공통성 값을 파악하여 변수를 조정하고 요인의 수를 결정한 후 요인을 회전시켜 공통차원을 알아낸다. 4가지 어휘를 제외한 30개의 어휘를 이용하여 공통성 값을 추출한 결과 고유값(eigenvalue) 1을 기준으로 모두 0.8이상으로 나왔으며 총 분산의 설명력이 90.765%로 설명력이 높다고 해석되었다.
다음은 요인의 수를 결정하는 단계인데, 요인의 수는 고유값 1 이상인 요인의 수에 의한 방법, 연구자에 의해 사전에 결정하는 방법, 전체 요인들의 설명력을 기준으로 결정하는 방법, 스크리 도표에서 고유값의 기울기가 갑자기 변하는 부분의 값에 의해 결정된다. 본 연구에서는 일반적으로 사용되는 방법중 하나인 스크리 도표를 이용하였다. [Figure 7]의 스크리 도표를 보면 요인의 수가 6에서 고유값의 기울기가 이전 기울기와 급격하게 달라짐을 알 수 있다.
요인의 수를 6으로 결정하고 난 뒤, 다시 요인분석을 한 결과 공통성 값이 0.5이하인 달아오르다(0.473)를 제외하고 최종적으로 29개의 어휘를 가지고 요인분석을 재실시하였다. 한 개의 변수를 단 한 개의 요인으로 적재시키기 위해서 주성분분석의 직각회전 방식 중 베리맥스(Varimax) 방식으로 요인을 회전시켜 분석하였다. 이것은 요인분석에서 보편적으로 사용되는 방식으로써 각 어휘의 요인의 구조를 명확히 파악하는데 필요하다. 전체 분산을 토대로 요인을 추출하고 요인들 간의 공통성을 파악하게 된다. 29개 어휘에 대한 총 분산의 설명력은 76.531%로 설득력이 높다고 할 수 있으며 공통성 값도 모두 0.5이상을 만족하였다. [Table 7]에 6개의 요인으로 분류된 29개의 어휘가 표기되어 있다.
(2) Sadness의 세부 분류
4.2.1절과 동일한 방법으로 Sadness에 대해서도 같은 분석을 실시하였다. 기술통계량 분석결과 평균이 3.0미만인 어휘인 황당하다, 어리둥절하다를 제외한 22개의 어휘를 이용하여 요인분석을 하였다. 공통성은 모두 0.5이상을 만족하였으며 고유값 1기준으로는 7개의 요인이, [Figure 8]에서 보이는 스크리 도표 상으로는 6개의 요인이 관찰되었다. 6개의 요인으로 고정한 후 다시 요인분석을 하고 베리맥스 방식으로 회전시킨 결과가 [Table 8]에 나타나있다. 총 분산의 설명력은 82.770%로 설명력이 높다고 할 수 있다.
4.3. 로봇의 표정 강도 결정
요인분석 결과 Happiness와 Sadness의 감정이 각각 6개의 요인으로 묶인다는 것을 알 수 있었다. 요인분석을 위한 설문에서 각 어휘들이 해당 감정에 얼마나 관련이 높은지를 물어보았으므로 이것은 감정의 강도라고 해석할 수 있다. 예를 들어, 앞서 언급되었던 기술통계량의 평균값이 2.76인 ‘쑥스럽다’는 Happiness에 관련된 정도가 평균값이 6.40인 ‘즐겁다’보다는 그 강도가 낮다고 할 수 있다. 그렇다면 Happiness에 대한 로봇의 표정을 결정하기 위하여 6개의 요인으로 묶여진 Happiness와 관련된 29개의 어휘의 강도를 결정해야 한다. 6개의 강도를 설정하여 6개의 ‘기쁜‘ 표정을 디자인할 수도 있고 6개를 다시 묶을 수도 있을 것이다. 본 연구에서는 일반적인 통념상 크기, 무게, 강도 등을 비교할 때 많이 사용되는 대·중·소의 3단계 강도를 적용하기로 하였다. [Table 7]에서 보이는 6개의 요인 중 요인1과 요인2를 감정의 대, 요인3과 요인4를 감정의 중, 요인5와 요인6을 감정의 소 크기로 판단하였다. 마찬가지 방법으로 [Table 8]에서 보이는 Sadness의 감정에 대해서는 요인1을 감정의 대, 요인2, 요인3을 감정의 중, 요인4, 요인5, 요인6을 감정의 소 상태로 판단하였다.
5. 로봇 표정디자인
5.1. 디자인
이상의 분석 결과를 토대로 키봇의 표정 중 가장 큰 빈도수를 보인 Happiness와 Sadness에 대한 표정을 각각 3가지 강도별로 나누어 디자인을 진행하였다. 나머지 4가지에 대한 표정 디자인은 본 연구가 로봇의 표정을 결정짓기 위한 방법론에 초점을 맞추고 있으므로 생략하였다.
표정을 결정짓는 중요한 요소는 눈썹, 눈, 코, 입, 귀와 같은 얼굴 요소이지만 초등학교 4학년 학생 32명에게 교사보조로봇의 이미지를 그려보게 한 실험에서 눈썹, 귀, 코를 그린 비중은 각각 8.1%, 13.5%, 10.8%로 그 영향이 작음을 유추할 수 있다(유혜진 등, 2007). 김지홍(2006)의 연구에서도 애니메이션 캐릭터의 표정을 결정짓는 인자로써 코와 귀는 표정연출 가능도가 ‘하(下)’로 나온 것으로 볼 때 표정의 결정에 코와 귀의 영향은 작은 것임을 알 수 있었다. 따라서 본 연구에서는 눈과 입만을 사용하여 표정을 디자인하기로 하였다. 그리고 감정의 세기에 변화를 주는 보조적인 방법으로써 볼 터치와, 눈물을 추가하였다. 표정을 만들어 내는 방법은 디자이너마다 상이할 수 있다. 눈의 크기, 위치, 형상, 입의 크기 형상, 위치 등 변수는 무수히 많다. 눈, 코와 같은 얼굴 요소의 크기, 위치, 형태의 변화에 따른 표정디자인의 다양성은 별도로 연구되어야 할 것으로 본다. 여기서는 기존 키봇에 구현되어 있던 표정의 특징, 예들 들어 동그랗고 큰 눈, 볼터치, 눈물 등을 그대로 차용하였다. 기존 키봇의 표정의 느낌을 살리면서 표정의 강도를 대, 중, 소로 구분하여 1차 디자인결과물을 검토하였다[Figure 9].
5.2. 표정의 강도 검증 및 수정
각 표정 디자인의 감정의 세기가 적절하게 나뉘었는지 그 적합도를 알아보았다. 총20명의 남녀 대학생을 대상으로 검증을 하였다. 먼저 피실험자들에게 키봇의 7인치 디스플레이 띄운 Happiness와 Sadness표정을, 각1개씩 3초간 보여주었다. 그리고 리커트5점 척도를 이용해 대상자가 각 표정을 보고 느끼는 감정의 세기를 조사지에 기입하도록 하였다[Figure 10]. 척도는 1-매우 약하다, 2-약하다, 3-보통이다, 4-강하다, 5-매우 강하다의 순으로 지정하였다.
실험 결과, Happiness의 표정 중에서는 강도 ‘대’ 표정이 척도평균 3.7, ‘중’ 표정이 3.4, ‘소’ 표정이 2.1로 ‘대’와 ‘중’ 표정의 감정의 강도가 같다는 결과가 나왔다. 그리고 Sadness표정의 경우, 강도 ‘대’는 척도평균이 3.9 ‘중’은 1.6, ‘소’는 1.5로 ‘중’ 표정과 ‘소’ 표정의 감정의 강도가 같다는 결과가 나왔다[Figure 11, 12]. 따라서 감정의 세기의 차이를 크게 두기 위해 Happiness와 Sadness 표정을 수정, 보완하여 Happiness의 ‘대’ 표정과 Sadness의 ‘소’ 표정을 각각 새롭게 디자인하고 그 위치를 수정하였다[Figure 13, 14].
6. 결론
사회적 로봇이 점점 우리의 주변에 도입되고 있으며 계속 확산될 것이다. 이렇게 로봇이 일상화, 대중화되는데 있어서 가장 중요한 것이 바로 인간과의 인터랙션이라고 할 수 있는데 인간의 행동에 대한 적절한 반응은 인간-로봇인터랙션의 필수적인 요소이다. 본 연구를 통해서 교육보조로봇과의 보다 원활한 인터랙션을 위해서는 Happiness와 Sadness가 다른 감정과 비교하여 더욱 필요하게 될 것이고 그에 따라 표정도 더 풍부해져야 함을 알 수 있었다. 그리고 그 결과에 따른 사례연구로써, 로봇의 표정을 감정의 세기에 따라 대, 중, 소로 나누어서 디자인하고 그 결과를 검증하여 수정디자인을 실시하였다.
현재까지 사회적 로봇과의 인터랙션을 위하여 로봇의 표정을 어떻게 디자인할 것인가 하는 연구는 충분하지 않는 것으로 보인다. 몇 몇 실험실의 로봇들이 3차원 정서공간에 정의된 감정에 따라 물리적으로 구현된 눈, 코, 입, 눈썹을 움직여서 연속적인 표정을 구현하고는 있으나, 아직 그러한 표정들은 인간의 모든 표정을 구현하고자 하였기 때문에 불완전하고 자연스럽지 못하다는 단점이 있다. 이에 본 연구는 교육보조로봇의 표정을 7인치 디스플레이에 나타내기 위하여 우선 필요한 감정을 정의하는 방법에 집중하였다. 실제로 디자인 결과물은 디자이너의 의도와 주관에 의해 다양하게 표현될 수 있다. 눈의 크기, 형상, 위치, 입의 크기와 위치 등 변화시킬 수 있는 요소는 무수히 많다. 최종적인 표정의 디자인 자체는 ‘블랙박스’적인 디자인요소가 있겠으나, 그러한 표정의 종류를 결정하고 표정의 강도를 정의하는 것은 아직까지 논의된 바가 없었다. 본 연구에서는 로봇의 표정을 디자인하기 위한 새로운 방법으로써 로봇이 가장 빈번하게 표현해야 하는 표정을 결정하기 위하여 인터뷰, 비디오분석, 시나리오 기법과 같은 맥락의 상황을 반영하는 방법을 제안한다. 현재의 로봇 기술 수준으로 로봇이 감정을 결정할 수 있는 완벽한 감정모델이 존재하지 않는다는 점에서 상황적 맥락의 반영은 불완전한 감정모델을 보완하고 인간-로봇 인터랙션 향상을 위한 하나의 도구가 될 것이라 생각한다.
7. 한계 및 향후 연구방향
본 연구의 한계점은 다음과 같다. 첫째, 로봇의 표정은 로봇이 표현해야 할 감정이 결정되고 그 결정된 감정이 표현되는 것이라고 볼 때, 로봇의 표정 구현은 감정이 결정될 수 있다는 것을 선행조건으로 한다. 그러나 현재의 로봇 기술 수준에서의 로봇의 감정 결정은 주어진 통제된 조건으로 한정되고 있는 것 같다. 본 연구는 로봇이 인간의 의도를 정확히 파악하고 그에 맞는 표정을 선택할 수 있다는 가정에 바탕을 두고 있기 때문에 현실적으로(기술적으로), 상황에 맞는 표정이 즉시적으로 구현될 수 있을지에 대한 의문이 존재한다.
둘째, 로봇이 가장 빈번하게 표현해야 하는 표정의 결정을 위하여 수집된 감정어휘를 분석하는 과정에서 요인분석결과로 도출된 Happiness와 Sadness의 각각 6개의 대표요인들이 일반적인 관념에 따른 세 가지 강도로 연구자의 주관에 의해 나누어 진 것이 타당한지 추후 더 연구가 필요할 것으로 판단한다. 예를 들어 로봇의 표정 디자인을 위한 Happiness의 종류 또는 강도를 분류하는 연구가 필요할 것으로 본다.
셋째, 표정 디자인 과정에서 눈, 과 입과 같은 얼굴요소들의 상관관계가 충분히 연구되지 않은 점이다. 표정의 디자인은 전술한 바와 같이 어느 정도 ‘블랙박스’적인 요소를 내포하지만, 얼굴요소의 존재 유무, 형상, 크기, 위치, 간격 변화 등 많은 변수에 의해 다양한 표정 디자인 결과물이 도출될 수 있고 그러한 결과물은 다른 느낌의 표정을 만들어 낼 수 있다. 표정 요소인 눈, 눈썹, 입, 코 등과 표정의 정확성, 다양성과 관련한 상관관계 파악에 추가적인 연구를 필요로 한다.
넷째, 새롭게 디자인된 표정이 적용된 교육보조로봇의 인터랙션 증가 효과에 대한 사례연구, 더 나아가 교육보조 로봇의 감정모델 수립 방법 등 로봇 표정에 대한 많은 연구가 필요하리라 생각한다.
Glossary
[1] Kiesler와 Hinds(2004)에 의해 그 의미가 제시된 ‘사회적 로봇(Social Robots)’은 산업용 로봇과 상반되는 개념으로서 우리의 일상생활에서 인간과 공존할 수 있는 존재로 정의되고 있다. 사회적 로봇은 인간에게 의인화대상으로 여겨질 수 있으며 자율주행, 상황감지, 의사결정 등의 특성을 지니고 있다는 것이 다른 로봇과 구별되는 점이다.
Notes
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted educational and non-commercial use, provided the original work is properly cited.
References
- Bartneck, C., & Forlizzi, J. (2004). A Design-Centred Framework for Social Human-Robot Interaction. Proceedings of the Ro-Man2004, Kurashiki, 591-594. [https://doi.org/10.1109/ROMAN.2004.1374827]
- Blow, M., Dautenhahn, K., Appleby, A., Nehaniv, C. L., & Lee, D. (2006). The Art of Designing Robot Faces-Dimensions for human-Robot Interaction, Proceedings of the 1st ACM SIGCHI/SIGART conference on Human-robot interaction, 331-332. [https://doi.org/10.1145/1121241.1121301]
- Brave, S. (2003). User Responses to Emotion in Embodied Agents, Workshop on the ACM CHI 2003 Human Factors in Computing Systems Conference..
- Breazeal. C, & Scassellati. B. (1999). How to build robots that make friends and influence people, Intelligent Robots and Systems, 1999. IROS '99. Proceedings. 1999 IEEE/RSJ International Conference on, 2, 858-863. [https://doi.org/10.1109/IROS.1999.812787]
- Breazeal, C. (2003). Emotion and Sociable Humanoid Robots. International Journal of Human-Computer Studies, 59, 119-155. [https://doi.org/10.1016/S1071-5819(03)00018-1]
- Carroll, J. M. (1995). Scenario-Based Design : Envisioning work and Technology in System Development. NewYork: John Wily and Sons, Inc.
- Darwin, C. (1872/1998). The Expression of the Emotions in Man and Animal. ed. P. Ekman. Oxford: Oxford University Press. [https://doi.org/10.1037/10001-000]
- Dautenhahn, K. (2002). Design spaces and niche spaces of believable social robots. Robot and Human Interactive Communication, 2002. Proceedings. 11th IEEE International Workshop on, 192-197. [https://doi.org/10.1109/ROMAN.2002.1045621]
- Davids, A. (2004). Urban search and rescue robots: Form tragedy to technology. Intelligent Systems, IEEE, 7(2), 81-83.
- Dey, A. K. (2001). Understanding and Using Context, Personal and Ubiquitous Computing, London:Springer-Verlag London Ltd., 5. [https://doi.org/10.1007/s007790170019]
- DiSalvo, C., Gemperle, F., Forlizzi, J., & Kiesler, S. (2002). All Robots Are Not Created Equal : The Design and Perception of Humanoid Robot Head, Proceedings of the Designing Interactive Systems - DIS2002 London, 321-326. [https://doi.org/10.1145/778751.778756]
- Ekman, P. (1973). Cross-cultural studies of facial expression, in Darwin and Facial Expression, P. Ekman (ed.). London:Academic Press Inc., 169-222.
- Ekman, P. (1993). Facial expression and emotion. American Psychologist, 48(4), 384-392. [https://doi.org/10.1037//0003-066X.48.4.384]
- Ekman, P. (1997). Should we call it expression or communication? Innovations in Social Science Research, 10(4), 333-344. [https://doi.org/10.1080/13511610.1997.9968538]
- Ekman, P., & Friesen, W. (2003). Unmasking the face. A guide to recognizing emotions from facial expressions. Cambridge:MALOR BOOKS.
- Ekman, P. (2004). Emotions Revealed. NewYork:Times Books.
- Fong, T., Nourbakhsh, I., & Dautenhahn, K., (2003). A Survey of Socially Interactive Robots. Robotics and Autonomous Systems, 42, 143-166. [https://doi.org/10.1016/S0921-8890(02)00372-X]
- Izard, C. (1971). The face of emotion, NewYork: Appleton-Century-Crofts.
- Jeong, S. W., & Lee, G. P. (2008). A Study on the Human Perception of Faces of Humanoid Robots. Journal of Korean Society of Design Research, 21(1), 83-94.
- Jeong, S. W., & Lee, K. P. (2009). Application of contextual scenario to define an emotion space for facial expressions of humanoids. Kansei Engineering International, 8(2), 127-136.
- Kanda, T., Hirano, T., Eaton, D., & Ishiguro, H. (2004). Interactive Robots as Social Partners and Peer Tutors for Children: A Field Trial. Human-computer interaction,19(1/2), 61-84.
- Ka‥tsyri, J. (2006). Human recognition of basic emotions from posed and animated dynamic facial expressions. (Unpublished Dissertation report B59). Helsinki Univ.
- Kiesler, S., & Hinds, P. (2004). Introduction to This Special Issue on Human-Robot Interaction. Human-computer interaction, 19(1/2), 1-8.
- Kim, D. H., Lee, H. S., & Chung, M. J. (2005). Biologically inspired models and hardware for emotive facial expressions. RO-MAN2005, 679-685.
- Kim, J. H. (2006). A Study on the Key Elements for Facial Expression in Animation Character. Proceeding of the 1st Bi-annual Design Conference of KSDS, 138-139.
- Lee, H. S., & Im, J. H. (2011). SPSS 18.0 Manual. Seoul:JypHyunJae Publishing Co., 362-384.
- Lee, S., Lau, I., Kiesler, S., & Chiu, C. (2005, April). Human mental models of humanoid robots. Robotics and Automation, 2005. ICRA 2005. Proceedings of the 2005 IEEE International Conference on, 2767-2772.
- Lyons, M. J., & Bartnec, C. (2006 April). HCI and the Face, CHI '06 Extended Abstracts on Human Factors in Computing Systems Montreal, Canada, 1671-1674.
- Mehrabian, A. (1967). Communication without words, Psychology Today, 2(4), 53-56.
- Miwa, H., Okuchi, T., Itoh, K., Takanobu, H., & Taknishi, A. (2003). A New Mental Model for Humanoid Robots for Human Friendly Communication. Proceedings of the 2003 IEEE lnternational Conference on Robotics &Automation Taipei, Taiwan, 14-19.
- Norman, D. (2007). The Design of future things. New York : Basic Books.
- Ortony, A., & Turner, T. J. (1990) What's Basic About Basic Emotions? Psychological Review, 97(3), 315-331. [https://doi.org/10.1037//0033-295X.97.3.315]
- Ortony, A., Clore, G., & Collins, A. (1998). The Cognitive Structure of Emotions. Cambridge:CambridgeUniversityPress.. [https://doi.org/10.1017/CBO9780511571299]
- Pransky, J. (2001). AIBO-the No.1 selling service robot. Industrial Robot, 28(1), 24-26. [https://doi.org/10.1108/01439910110380406]
- Ramey, C. (2006). An Inventory of Reported Characteristics for Home Computers, Robots, and Human Beings : Applications for Android Science and the Uncanny Valley. Workshop on ICCS/CogSci-2006.
- Rodney Brooks. (박우석 역) (2005). 로봇만들기 [Flesh and Machines]. Seoul:Badabooks, 351-352.
- Rogers, Y., Sharp, H., & Preece, J. (2001). Interaction Design : Beyond Human-Computer Interaction. NewYork:John Wiley&Sons, Inc.
- Russell, J. A. (1980). A Circumplex Model of Affect. Journal of Personality and Social Psychology, 39(6), 1161-1178. [https://doi.org/10.1037/h0077714]
- Russell, J. A. (1994). Is there universal recognition of emotion from facial expression? A review of the cross-cultural studies. Psychological Bulletin, 115(1), 102-141.
- Ryu, H. J., Song, M. J., Choi, J. G., & Kim, M. S. (2007). Visualization of Teaching Assistant Robot’s Image Based on Child’s Mental Model. Journal of Korean Society of Design Research. 20(1), 177-188.