이모티콘의 표현 유형과 시각적 표현 방식이 자폐스펙트럼 장애(ASD) 아동·청소년의 정서와 행동 변화 유도에 미치는 영향

1. 연구의 배경 및 목적

자폐스펙트럼 장애(ASD)는 해마다 급속히 증가하는 추세에 있으며(CDC,2023), 특수치료와 함께 비대면에서의 지속적인 교육지원 대책 마련이 시급하다. 자폐스펙트럼 장애(Autism spectrum disorder)는 눈맞춤의 어려움과 함께 사회성 인지, 정서, 행동에 발달지연이 나타나며, 아동· 청소년기에는 또래 관계를 형성하고 유지하기가 어렵다(Orsmond, Krauss et al., 2004).

또한, 살아가면서 또래로부터 낮은 사회적 수용도와 함께 사회적 배제를 경험하며(Symes & Humphrey, 2010), 지속적인 사회적 부적응을 겪게 된다. 이러한 어려움은 이들이 성인이 된 후에도 지속될 가능성이 높기 때문에 이들의 공감과 사회적 상호작용을 높이기 위한 사회성·정서 발달의 인지, 감정, 행동 간의 이모티콘 연구가 필요하다. 에크먼(Ekman, 1982)은 얼굴 표정, 목소리 톤, 제스처, 맥락 정보 등 다양한 정보들 가운데 얼굴 표정과 행동이 타인의 정서를 파악하는 데 가장 중요한 도구라고 하였다. 하지만 ASD 아동·청소년들은 비언어적 표현과 화용적 의사소통에 어려움을 함께 동반하고 있어 비언어적 커뮤니케이션으로서 이모티콘을 활용한 상황맥락 학습이 이들에게 절실히 필요하다고 보았다. 따라서 이 연구는 모바일 인스턴트 메신저(MIM) 서비스에서 이모티콘의 표현 유형(표정형 이모티콘, 행동형 이모티콘, 상황형 이모티콘)과 시각적 표현 방식(정적인 이미지, 움직이는 애니메이션, 순차적 배열)의 9가지 조합에 따라 ASD 아동·청소년의 정서와 행동 변화 유도에 어떤 차이가 있는지 사용자 경험 조사를 실시하였다. 이를 통해 모바일 인스턴트 메신저 서비스에서 ASD 아동·청소년의 특성에 적합한 이모티콘을 제시하여 사회성·정서 발달과 함께 친사회적 행동 변화의 방향성을 제안하고자 한다.

2. ASD 아동·청소년의 이론적 고찰

2. 3. 사용자 인터페이스(UI)에서 공감과 사회적 상호작용의 시각적 경험

타인의 감정을 이해할 때 필수적인 공감(empathy)은 타인의 정서를 인식하고 타인에게 적절한 반응을 보이는데 필요한 능력으로, ASD 아동·청소년에게 공감과 사회적 상호작용은 치료와 교육에 의해 얻어지는 후천적 학습 영역이다(Lee, 2022). 이에 따라 이 연구에서는 ASD 아동·청소년의 사회성과 정서, 행동 발달을 위해 모바일 서비스에서 효과적인 사회적 기술 습득을 도모하고자 한다. 타인의 감정을 이해하는 공감과 사회적 상호작용의 사회적 기술의 하위요인에는 올바른 사회성 인지, 정서 이해, 친사회적 행동이 포함되며, ASD 아동·청소년의 효율적인 사회적 기술 습득을 위해 사용자 관점에서의 특화된 이모티콘과 함께 맞춤형 인터페이스 설계가 필요하다. 모바일 인스턴트 메신저(MIM) 서비스가 가지는 시각 테크놀로지에 기반한 장점은 프레임 워크에 의한 시각 이미지를 생산, 소비하고, 시각적 자극과 시각적 공감 그리고 시각적 상상과 교환에 의해 시각이 확장된다고 한다(Kim, 2013). 이러한 시각적 확장은 대상의 실제에 대한 가상적인 시각적인 경험을 추구하며, 실재보다 더 나은 실재로서 대상에 대한 시각 이미지를 남긴다(Shin, 2017). 이에 따라 ASD 아동·청소년들에게 이모티콘을 활용한 다양한 시각적 경험이 자신의 감정 표현, 타인의 감정 이해와 행동 변화 유도에 어떤 영향을 주는지 사용자 경험 연구가 필요하다. ASD 아동·청소년들에게는 사용자 인터페이스에서 인지 과부하나 인지오류가 생기지 않도록 사용성과 유용성, 상호작용성을 고려한 사회적 의사소통에 더욱더 세심한 배려가 필요하다. 이에 장애인을 위한 베리어프리(Barrier-free)를 적용한 모바일 메신저 서비스는 장애인에 대한 법적 기준과 표준을 마련하여 디자이너의 윤리와 사회적 책임이 더해질 때 사회·문화적, 치료적, 교육적, 사회 복지적인 가치가 있으며, 이들을 위한 사용자 맞춤형 서비스로 나아갈 수 있을것으로 사료된다. 다음은 사용자와의 상호작용 접점인 모바일 메신저 서비스의 인터페이스 경험에서 공감과 사회적 상호작용 학습의 관계성을 나타낸 것이다 [Figure 1].

Figure 1

Diagram for empathy and social interaction

3. 모바일 인스턴트 메신저 서비스에서의 이모티콘의 표현 유형과 시각적 표현 방식

3. 2. 이모티콘의 표현 유형

ASD 아동·청소년은 사회적 상호작용에 결함으로 또래와의 관계 형성에 어려움을 보이며(Lee & Odam, 1996), 사회적 단서로서 사용되는 눈맞춤, 얼굴 표정, 제스처와 같은 다양한 비언어적 표현의 이해와 사용에 어려움을 보인다(Kathryn, 2010). 비언어적 표현은 표정, 행동, 상황을 이용하여 몸의 감각을 자극하고, 언어로서 표현할 수 없는 감정 표현과 친사회적 행동 등에 사회적 단서를 제공함으로써 사회적 의사소통을 원활하게 한다. 하지만, 사회성·정서 발달에 있어 정서의 유형, 정서 자극 종류의 정서 표현과 행동에 따라, 일반 집단에 비해 ASD 집단이 정서 이해에서 상대방의 미묘한 뉘앙스를 읽지 못하는 어려움이 있음이 보고된다(Castelli, 2005; Humphreys et al., 2007; Kuusikko et al., 2009). 이에 따라, 이 연구에서는 ASD 아동·청소년의 특성과 한계점을 파악하기 위해 모바일 메신저 인터페이스에서 이모티콘의 표현 유형을 표정형, 행동형, 상황형 이모티콘[Figure 2 , Figure 3, Figure 4]으로 나누어 유형화 하였다.

3. 2. 1. 표정형 이모티콘

얼굴 표정은 개인의 정서를 파악하는 가장 강력한 비언어적 요소이며(Friesen, 1978), 얼굴 표정을 인식하는 것은 사회적 상황에서 타인의 정서를 즉각적으로 파악하고 상황에 맞게 행동을 하는 데 중요한 요소이다(Ekman & Friesen, 1978; Noh, 2018). 사토 & 요시카와(Sato & Yoshikawa, 2014)는 감정 속도가 감정 인식에 영향을 미치는 중요한 요소이며, 얼굴의 움직임을 표현하는 형태 및 속도 요소가 얼굴 감정 표현의 인식 및 이해 증진에 영향을 미친다고 하였다. 자신과 타인의 얼굴 표정에서 정서를 인식하고 표현하는 능력은 사회적인 상호작용에 필수적인 기술로서, 타인 행동에 사회적으로 적절하게 반응할 수 있게 하며(Fischer & Manstead, 2016), 대인관계와 사회적 적응과도 높은 관련성을 갖는다(Brackett et al., 2006). 폴 에크먼(Ekman, 1993)은 몇 가지 단서로 감정을 읽어낼 수 있으며, 기쁨(Joy), 놀람(Surprise), 슬픔(Sadness), 공포(Fear), 분노(Anger), 혐오(Disgust)의 6가지 감정을 가장 기본 감정이라 보았다. 다음 표정형 이모티콘은 얼굴 표정으로 캐릭터의 감정을 표현한 이모티콘이라고 할 수 있다[Figure 2].

Figure 2

Facial expression type emoticons (Lee, 2022)

3. 2. 2. 행동형 이모티콘

제스처는 몸짓 언어로서 비언어 커뮤니케이션 중 신체 언어에 포함된다. 우리에게 의미 있는 움직임은 사람의 의도, 감정 및 동기에 대한 행동 단서를 제공한다. 몸짓에 해당되는 제스처 역할은 상호작용의 진행과 리듬을 조절하고, 신체적 움직임은 감정을 추론하는 데 영향을 미치며 특히 운동성(운동의 양, 운동의 동력)과 자세의 특징들은 중요한 행동 단서가 된다(Jeon, 2019). ASD 아동·청소년에게는 표정과 행동을 표현한 이모티콘으로 타인의 마음을 이해하고 타인의 행동 의도를 파악하는 연습이 필요하다.

또한 이들에게는 잘못 인식된 사회성 인지로 인해 문제 행동이 수반되기도 하므로, 친사회적 행동을 모델링 하여 행동 변화를 유도하는 이모티콘의 역할이 필요하다. 다음 행동형 이모티콘은 캐릭터의 표정과 신체언어인 제스처와 동작의 행동을 함께 표현한 이모티콘이라고 할 수 있다[Figure 3].

Figure 3

Behavior type emoticons (Lee, 2022)

3. 2. 3. 상황형 이모티콘

우리가 감각을 지각하는 과정 속에서 그 사건에 대한 상황과 맥락이 반영되는데, ASD 아동·청소년에게는 이러한 다양한 상황에서의 변화 요인이 타인과의 적절한 상호작용과 의사소통을 어렵게 한다. 자기, 타인, 사회적 맥락에서 관계를 맺고자 타인과의 상호작용 속에서 사회적 상황을 지각하고, 해석하여 예측하는 방식을 사회성 인지라고 하며, 사회적 상황에서 적합한 행동을 할 수 있도록 하는 역할을 한다(Jeon, 2021). 상황형 이모티콘은 캐릭터의 표정과 행동에 대한 구체적인 상황을 배경 요소로 나타내며, ASD 아동·청소년의 미흡한 사회 상황 판단과 눈치에 큰 도움을 주는 사회적 단서(Cue)로 제공된다. 이러한 상황형 이모티콘은 사회적 상황과 맥락에 따라 캐릭터의 감정과 행동이 달라지는 것을 표현한 상황중심적 이모티콘 역할을 하며, 상황 요인은 가상적인 시각 경험이 가능해진다[Figure 4].

Figure 4

Situation type emoticons (Lee, 2022)

3. 3. 이모티콘의 시각적 표현 방식

ASD 아동·청소년에게는 시지각의 어려움과 함께 전체적 특징보다는 특정 부분을 세부적으로 하나하나 지각하려는 경향의 중앙 응집 약화(Weak Central Coherence)의 어려움이 있다(Frith, 1989). 중앙 응집 약화는 세부적인 정보를 통합하는 데 어려움이 생기면서 얼굴을 지각하는 데에도 어려움을 겪는 것을 의미한다. 이러한 특수한 인지적인 방식은 인스턴트 메신저 에서 표정과 행동을 통합적으로 지각하여 감정을 이해하고, 구체적인 상황을 판단할 수 있는 사회적 단서와 사회적 기술을 강화할 필요성이 있음을 시사한다. ASD 아동·청소년의 경우, 얼굴 표정을 통한 4가지 기본 정서 인식에는 큰 어려움을 보이지 않았지만, 과제 제시 유형이 정적 또는 동적인지의 여부에 따라 결과가 크게 달라진다고 한다(Jung & Seo, 2010; Kim, 2013). 이에 따라, 모바일 메신저 서비스에서 이모티콘을 시각적 표현 방식에 따라 정적인 이미지(Static Images), 움직이는 애니메이션(Moving animation), 순차적 배열(Sequential arrangements) 방식으로 구분하여 ASD 아동·청소년에게 시지각을 자극하는 다양한 시각적 경험을 제시하고자 한다.

3. 3. 1. 정적인 이미지의 감정표현

정적인 이미지 표현은 텍스트와 이미지 안에서 필요한 정보를 상징화하여 보여줌으로써 이해와 기억 작용을 향상시킨다. 정적인 이모티콘은 캐릭터에 움직임이 없는 정지된 이미지를 상징적(Symbol)으로 나타낸다[Figure 5]. 이러한 정적인 이미지는 단일 컷으로 감정과 메시지를 전달하기 때문에 얼굴 표정, 행동의 움직임, 상황의 풍부한 내러티브가 상대적으로 부족하여 구체적인 감정과 복합 감정을 전달하기에는 한계가 있다. 이러한 정적인 이미지 표현에 대해서는 감정 소구의 시각적 메시지로서 상징적이고 감정적인 반응을 동시에 자극해 느끼고 생각하도록, 사용자의 감각과 지각을 동시에 고려해야 한다(Lefebvre, 2021). 현재, 정적인 이모티콘의 표현은 카카오 이모티콘 플랫폼에서는 멈춰 있는 이모티콘으로 활용되며, 비언어적 표현의 모호함을 극복하기 위해 구체적인 의미 전달의 텍스트와 큰 이미지, 사운드를 함께 제공하고 있으며, 맞춤형 키워드 추천을 통해 상황과 대화맥락에 맞는 사용자 맞춤형 서비스를 제공하고 있다.

Figure 5

Symbolic design of static images (Lee, 2023)

3. 3. 2. 움직이는 애니메이션의 모션 디자인

움직이는 이모티콘은 여러 컷으로 구성된 이미지로 24 프레임 내의 짧은 애니메이션을 의미한다.

이러한 움직이는 이모티콘은 캐릭터 기반에 움직임과 동작의 요소를 추가한 것으로, 동적 형태의 움직이는 표현은 주목성과 의미의 구체성을 높이며(Jeon, 2019), 다양한 동작 구현과 함께 짧은 스토리로 담아낸다. 찬린(Chan, 2000)은 정적인 이모티콘보다 움직이는 애니메이션 이모티콘의 시각적 표현이 감정 전달에 있어 더 효율적으로 기억된다고 하였다(Cho, 2007). 또한, 움직이는 이모티콘 표현이 정적인 표현보다 더 강렬하고 현실적인 것으로 인식될 뿐만 아니라, 감정 표현의 동적 애니메이션 방식이 전반적인 정서 경험을 향상시킨다고 한다(Wang, 2020). 마치 살아 있는 듯한 움직이는 이모티콘은 캐릭터의 동작을 통해 서술적인 상황 표현을 묘사하므로 자신의 욕구와 감정을 타인에게 구체적으로 어필할 수 있으며(Kim, 2006), 텍스트, 사운드의 시간 요소와 함께 극적인 스토리 전달을 통해 사용자의 흥미와 재미, 몰입을 증진시킨다(Lee, 2007). 이러한 애니메이션 표현 방식은 움직임의 주관적 재현을 통해 실재감을 증가시키며 목표행동에 대한 구체화된 행동변화에 의미를 전달한다[Figure 6].

Figure 6

Motion design for moving animation (오니기리 emoticon)

3. 3. 3. 순차적 배열의 상황맥락적 문제해결 디자인

일상 속 경험들 중 일어난 사건을 조직화하는 최적원리는 시간순으로 이미지를 배열하는 것이다. 그 중 선형적 구조의 순차적 배열 방식은 정보 흐름(Flow) 속 직관적인 정보를 순차적으로 시각화하여 표현한다(Oh & Kang, 2008). 순차적 배열 방식을 활용한 스토리텔링 기반 이모티콘은 사용자에게 스토리에 대한 흥미와 구체성을 높이며, 순서대로 배열하는 과정 속 인과관계의 문제해결을 통해 상황에 대한 사회적 인지와 정서 이해를 높일 수 있다(Lee, 2022). 이러한 순차적인 배열 방식은 사회적 의사소통과 사회 기술의 어려움을 겪는 발달장애인들에게 사회적 상황 이야기를 활용한 스토리를 구성할 수 있으며, 사회성 상황 이야기(Social Stories)는 ASD 아동·청소년들에게 특정 상황에 대한 사회적 기대와 대처 행동 기술을 스토리로 전달하는 증거 기반 중재이다(Jeon & Kim, 2009; Jeon & Tung, 2011). 이에 따라 ASD 아동·청소년에게 직관적으로 한눈에 알기 쉽게 사회적 상황을 ‘구조화’하고, 사용성을 고려한 스토리텔링 기반 이모티콘을 활용해 정서적 체험과 함께 가상의 사회적 경험을 높이는 문제해결 디자인으로 구성하였다(Lee, 2022). 사용자 참여형 이모티콘은 ASD 아동·청소년들에게 직접적인 참여를 유도하며 모바일 인스턴트 메신저에서 기, 승, 전, 결의 스토리인 비선형적으로 구성된다. 다음 [Figure7]의 이모티콘은 자신의 생각에 따라 사회적 상황과 맥락을 고려하여 스토리를 재배열 하는데, 상황에 따라 달라지는 감정과 행동을 이해하고 문제를 해결할 수 있도록 구성된다(Lee, 2022).

Figure 7

Situational problem-solving design with sequential arrangements (Lee, 2023)

4. 정서와 행동 유도 측정을 위한 사용자 경험 연구

자폐스펙트럼 장애(ASD)는 언어능력과 정서 조절 실패를 동반하고 있는 사회적 결함을 경험하면서, 2차적인 우울감과 상실감을 겪는다(Song, 2022). ASD 아동·청소년에게 인물의 표정, 인물의 제스처(Meeren et al., 2005), 상황적 장면(Mobbs et al., 2006; Righart & de Gelder, 2006)을 포함한 맥락 정보가 얼굴 표정 인식과 이해에 영향을 준다는 연구(Noh, 2018)와 사회적 상황 이야기의 시각적 자료가 이들의 사회성, 정서, 행동 변화에 영향을 준다(Song, 2011)는 선행 연구를 근거로 시각적 표현 유형을 표정형, 행동형, 상황형 이모티콘(Yang, 2017)의 유형으로 구분하였다. 또한, 이 실험에서는 사용자의 이해를 증진시킬 수 있는 상황과 감정에 대한 구체적 언어인 텍스트 요소, 음성이나 음악 같은 청각적 요소는 제외하였다. 샐로비와 메이어(Salovey & Mayer, 1997)는 정서지능을 자신과 타인의 감정을 인식하고 구별하여, 그 결과를 사고와 행동에 활용하는 능력으로 정의하였는데, 이를 근거로 ASD 아동·청소년의 감정 표현과 행동 유도, 정서 이해를 종속변인으로 설정하였다.

4. 1. 측정도구

4. 1. 1. 연구모형과 연구문제

이모티콘 표현 유형(표정형, 행동형, 상황형)이 시각적 표현 방식(정적인 이미지, 움직이는 애니메이션, 순차적 배열)에 따라 ASD 아동·청소년의 정서와 행동 유도에 미치는 영향을 검증하기 위한 연구모형과 가설은 다음 [Figure 8, Table 1] 과 같이 설정하였다.

Figure 8

Research model

Table 1

Research questions and hypotheses

4. 1. 2. 실험자극물

모바일 인스턴트 메신저(MIM) 서비스인 카카오톡 인터페이스(Kakaotalk Interface)에서 이모티콘은 표현 유형에 따라 표정형, 행동형, 상황형 이모티콘으로 나뉘고, 시각적 표현 방식에 따라 정적인 이미지, 움직이는 애니메이션, 순차적 배열로 세분화된다. 다음 [Figure 9]와 같이 공포(두려움) 감정을 대상으로 Ekman의 FACS의 감정 강도에 따라 9가지의 실험자극물을 만들어, ASD 아동·청소년군에게 이를 랜덤으로 제시하였다.

Figure 9

Proposed experimental Emoticon design

4. 1. 3. 설문 측정 문항

실험 설문지는 샐로비와 메이어(Salovey & Mayer, 1990; 1997), (Salovey & Sluyter, 1997), 골먼(Goleman, 2008), 문용린(Moon, 2001)의 감성지능 EQ 측정지를 수정·보완하여 설계하였다. 다음 실험 설문은 [Table 2]와 같이 각 세부 문항은 감정 표현, 행동 유도, 정서 이해로 나뉘어 진행되었으며, 모든 항목은 Likert 5점 척도로 설문지를 구성하였다.

Table 2

Survey score measurement questionnaire

4. 1. 4. 연구 참여자 선정

연구는 병원에서 ASD로 진단을 받은 10~18세 ASD 아동·청소년 13명을 대상으로 진행하였으며, 웩슬러 지능지수의 전체지능(FSIQ) 70 이상에 해당되는 고기능 자폐와 아스퍼거 증후군을 대상으로 선정하였다. 설문조사는 2021년 1월 25일~29일(7명), 2월 22일 ~26일(6명)에 이루어졌으며, 실험은 비대면 Zoom과 대면 방식으로 진행되었다. ASD 아동·청소년들은 사회적 관계에 있어 우울과 불안의 심리적 어려움을 겪게 되며, 공포와 두려움, 화남의 감정에 가장 취약하다(Song, 2022)는 기존 선행 연구들에 근거하여 Ekman의 6감정 중 공포의 두려운 감정을 자극물로 최종 선정하였고, FACS의 감정 강도 세분화에 따라 9개의 실험자극물을 제작하였다. 실험 측정을 위해 정적인 이미지, 움직이는 애니메이션, 순차적 배열의 이모티콘의 실험물을 모바일 인스턴트 메신저(MIM)에서 무작위 랜덤으로 제시하여 사용자 경험 연구가 진행되었다[Figure 8]. ASD 아동·청소년이 자신의 생각을 말할 수 있도록 소리내어 말하기(Think-Aloud) 기법과 부모님의 심층 인터뷰를 함께 진행하여 양적, 질적 연구의 설문 측정이 구체화 되도록 설계하였다.

5. 연구 결과 분석 및 논의

이모티콘 표현 유형과 시각적 표현 방식에 따라 ASD 아동·청소년의 감정 표현, 행동 유도, 정서 이해에서 어떠한 영향 차이가 있는지 검증하기 위해 상호작용 효과(Interaction effect)가 포함된 이원분산분석(Two-way ANOVA) 모형을 적용하여 분석하였다. 분석에 사용된 통계 프로그램은 SPSS 22.0가 사용되었으며, 측정도구의 내적 일치도를 파악하기 위해 Cronbach α과 기초분석으로 연구 변인의 기술통계와 상관계수를 제시했다. 각 측정도구의 신뢰도와 타당도를 분석하기 위해 Cronbach α값을 구한 결과 감정 표현은 0.868, 행동 유도는 0.890, 그리고 정서 이해는 0.919로 모두 0.8이상으로 나와 측정도구의 내적 일치도는 양호하였다.

5. 1. 감정 표현

이모티콘 표현 유형과 시각적 표현 방식에 따른 감정 표현의 차이는 통계적으로 유의하였다. 분석 결과 이모티콘 표현 유형의 주 효과와 시각적 표현 방식의 주 효과가 모두 유의했고, 이모티콘 표현 유형과 시각적 표현 방식의 상호작용 효과에서도 모두 유의하였다[Table 3]. 구체적으로 분석하면 이모티콘 표현 유형의 주 효과에서는 표정형이 M=3.63으로 가장 높았고, 그 다음으로 상황형이 M=3.31, 행동형은 M=2.24의 순이었으며, Scheffe 사후검증에서도 이와 같은 결과를 얻었다. 시각적 표현 방식의 주 효과를 보면 정적인 이미지가 M=3.62로 가장 높게 나왔고, 그 다음으로 움직이는 애니메이션이 M=3.55, 그리고 순차적 배열이 M=2.02의 순으로 나왔으며, Scheffe 사후검증에서도 이와 같은 결과를 얻었다. 이모티콘 표현 유형과 시각적 표현 방식의 상호작용 효과에서는 표정형×정적인 이미지가 M=4.59로 가장 높게 나온 반면, 행동형×순차적 배열이 M=1.41로 가장 낮게 나왔다. 좀 더 구체적으로 살펴보면 움직이는 애니메이션의 행동형을 제외하고는 정적인 이미지, 움직이는 애니메이션, 순차적 배열의 순으로 감정 표현이 높게 나왔다. 행동형의 경우는 움직이는 애니메이션이 가장 높게 나왔고, 그 다음으로 정적인 이미지, 순차적 배열의 순으로 나타났다 [Figure 10].

Table 3

Emotion expression study results

Figure 10

Emotion expression study results on graph

심층 인터뷰에서는 시각적 표현 방식에서 정적 이미지가 자신의 감정 표현을 직관적으로 표현하기에는 더 적합하다고 답했다. 또한, 행동형 이모티콘에서는 표정과 행동만으로 자신의 감정을 표현하기 어려운 것으로 측정되었으며, 순차적 배열은 이모티콘을 순서화시켜 감정을 표현하기에는 많은 어려움이 따른다고 답했다.

5. 2. 행동 유도

행동 유도에서는 이모티콘 표현 유형의 주 효과와 시각적 표현 방식의 주 효과가 모두 유의하였고, 이모티콘 표현 유형과 시각적 표현 방식의 상호작용 효과에서도 모두 유의했다[Table 4]. 좀 더 구체적으로 분석해 보면, 이모티콘 표현 유형의 주 효과에서는 상황형이 M=3.93으로 가장 높게 나왔고, 그 다음으로 표정형이 M=3.19, 행동형이 M=3.05로 가장 낮게 나왔다. 그러나 Scheffe 사후검증에서는 행동형과 표정형은 통계적으로 유의적인 차이를 보이지 않았다. 시각적 표현 방식의 주 효과에서는 움직이는 애니메이션이 M=4.40으로 가장 높게 나왔고, 그 다음으로 순차적 배열이 M=3.72, 그리고 정적인 이미지가 M=2.05로 가장 낮게 나왔으며, Scheffe 사후검증에서도 이와 같은 결과를 얻었다. 이모티콘 표현 유형과 시각적 표현 방식의 상호작용 효과에서는 상황형×움직이는 애니메이션이 M=4.77로 행동 유도가 가장 높게 나온 반면, 행동형×정적인 이미지의 경우 M=1.69로 가장 낮게 나왔다. 좀 더 구체적으로 살펴보면 이모티콘 표현 유형에 관계없이 모두 움직이는 애니메이션이 가장 높게 나왔으며, 그 다음으로 순차적 배열, 정적인 이미지의 순으로 나왔으나, 움직이는 애니메이션과 정적인 이미지에서는 행동형이 가장 낮게 나온 반면, 순차적 배열에서는 행동형이 표정형보다 행동 유도가 더 높게 나타났다[Figure 11].

Table 4

Behavioral induction study results

Figure 11

Behavioral Induction study results on graph

심층 인터뷰를 통해 행동형 이모티콘에 대해서는 표정과 행동만으로 이모티콘의 감정과 행동의 관계를 직관적으로 이해하기 힘들다고 답했으며, 시각적 표현 방식에서는 순차적 배열이 앞과 뒤의 변화된 상황 맥락을 알려주어 감정과 행동 변화를 알 수 있게 된다고 답했다. 움직이는 애니메이션의 표현 방식은 ASD 아동·청소년에게 앞·뒤 행동 변화를 한눈에 직관적으로 알아볼 수 있지만, 너무 빠르게 지나가기 때문에 감정과 행동 변화를 정확히 이해하기는 힘들다고 답했다.

5. 3. 정서 이해

정서 이해에서는 이모티콘 표현 유형의 주 효과와 시각적 표현 방식의 주 효과가 모두 유의하였다. 이모티콘 표현 유형과 시각적 표현 방식의 상호작용 효과도 모두 유의 수준으로 차이를 보였다[Table 5]. 구체적으로 살펴보면 이모티콘 표현 유형의 주 효과에서는 상황형이 M=4.15로 가장 높게 나왔고, 그 다음으로 표정형이 M=3.79, 행동형이 M=2.68의 순으로 나왔으며, Scheffe 사후검증에서도 같은 결과를 얻었다. 시각적 표현 방식의 주 효과에서는 순차적 배열이 M=4.35로 가장 높게 나왔고, 그 다음으로 움직이는 애니메이션이 M=3.84, 정적인 이미지가 M=2.43의 순서로 나왔으며, Scheffe 사후검증에서도 이와 같은 결과를 얻었다. 이모티콘 표현 유형과 시각적 표현 방식의 상호작용 효과에서는 상황형×순차적 배열이 M=4.87로 정서 이해가 가장 높게 나온 반면, 행동형×정적인 이미지는 M=1.46으로 가장 낮게 나왔다. 좀 더 구체적으로 살펴보면 순차적 배열의 경우에는 이모티콘 표현 유형 모두에서 정서 이해가 가장 높게 나왔고, 그 다음으로 움직이는 애니메이션, 정적인 이미지의 순으로 나왔다. 또 행동형 이모티콘이 정서 이해가 가장 낮게 나왔으나, 움직이는 애니메이션과 정적인 이미지와 비교해 보았을 때, 순차적 배열의 경우 행동형과 표정형, 행동형과 상황형과의 차이는 크지 않았다[Figure 12].

Table 5

Emotional understanding study results

Figure 12

Emotional understanding study results on graph

심층 인터뷰에서는 시간의 변화에 따른 순차적 배열이 앞뒤 상황 맥락을 파악하여 이모티콘의 변화된 감정과 행동을 가장 잘 이해할 수 있다고 답했다. 상황형 이모티콘에서의 움직이는 애니메이션은 상황에 맞는 표정과 행동 변화를 직관적으로 이해할 수 있어 변화 과정을 이해하는 데 도움을 주었고, 상황형 이모티콘에서의 순차적 배열 방식은 앞뒤의 상황 단서에 대한 맥락을 파악하게 되면서 타인의 정서 경험을 이해하는 데 큰 도움이 된다고 답했다.

또한, 표정형과 행동형 이모티콘에서는 움직이는 애니메이션 표현은 행동을 따라 하도록 유도하지만, 상황 단서가 없는 표정형과 행동형 이모티콘만으로는 정서 이해가 어렵다고 답했다. 사회적 단서가 있는 상황형 이모티콘에서의 순차적 배열은 타인의 정서와 행동을 이해하는 데 많은 도움을 준다고 하였다. 이러한 심층 인터뷰 결과는 ASD 아동·청소년에게는 시지각 정보 처리 속도가 떨어져 앞뒤 사건의 흐름을 파악할 수 있는 논리적 구성의 순차적 배열이 필요(Shin, 2019)하다는 주장과도 일치하였다. 이렇듯 상황형 이모티콘의 순차적 배열이 상황중심적 문제해결을 도와 ASD 아동·청소년의 정서 이해와 행동을 유도하는 것임이 확인되었다.

5. 4. 상관관계 분석

연구 변인인 감정 표현, 행동 유도, 그리고 정서 이해의 평균 및 표준편차 등 기술통계와 변수들 간의 상관관계를 분석하기 위해 Pearson 상관계수를 정리하였다. 다음 [Table 6]에서 감정 표현은 Likert 5점 척도에서 M=3.05, 행동 유도는 M=3.39, 정서 이해는 M=3.53으로 나왔고, 감정 표현과 행동 유도, 그리고 감정 표현과 정서 이해간 에는 유의적인 상관관계가 없는 반면 행동 유도와 정서 이해 간에는 r=0.728(p<.001)로 유의적인 정(+)의 상관관계가 있음이 확인되었다[Table 6].

Table 6

Study results by correlation analysis

다음 [Table 7]은 지금까지 결과값을 정리한 최종 결과표를 나타내었다.

Table 7

Comprehensive results

6. 결론 및 제언

이 연구는 ASD로 진단된 아동·청소년군 만을 단일 대상으로 조사하였기에 일반 청소년군과 비교하여 어떤 차이가 있는지 면밀한 분석을 할 수 없었던 한계가 있다. 이에 모바일 인스턴트 메신저(MIM)서비스에서 이모티콘 표현 유형과 시각 표현 방식이 ASD 아동·청소년의 정서와 행동변화 유도에 미치는 영향의 결론은 다음과 같다.

첫째, 이모티콘의 표현 유형과 시각적 표현 방식에 따라 ASD 아동·청소년의 감정 표현, 행동 유도, 정서 이해에 대하여 유의한 차이가 있었고, 상호작용 효과도 있었다.

둘째, 감정 표현 실험 측정에서는 표정형 이모티콘×정적인 이미지(M=4.59)의 감정 표현 값이 가장 높았다. 시각적 표현 방식에서 내 감정을 직관적으로 표현하는 데에서는 선택하기 쉬운 정적 이미지가 현재 내 감정을 인식하고 표현하기에 가장 적절한 것으로 나타났다.

셋째, 행동 유도 실험 측정에서는 상황형×움직이는 애니메이션(M=4.77)이 가장 높게 나타났다. 시각적 표현 방식의 순차적 배열은 타인과의 관계에 대해 감정 변화의 앞, 뒤 상황 파악을 하고, 행동변화가 이해되도록 도와준다고 하였다. 이러한 상황 단서가 있는 움직이는 애니메이션은 캐릭터의 생동감, 재미를 부여할 뿐만 아니라 타인의 감정과 행동을 그대로 시뮬레이션하여 보는 이로 하여금 감정과 행동을 유도해 관계 몰입에 도움을 준다(Jeon, 2019)는 기존 연구와도 일치하였다. 또한, 상황단서가 없는 행동형 이모티콘×정적인 이미지가 행동을 이해하는데 가장 어려운 부분임이 확인되면서, 이들에게는 행동 변화의 과정을 보여주는 행동 모델링이 필요함을 알 수 있었다.

넷째, 정서 이해 실험 측정에서 상황형×순차적 배열(M=4.87)이 가장 높게 나타났다. ASD 아동· 청소년에게 상황형 이모티콘의 순차적 배열은 앞뒤 맥락의 원인과 결과의 인과관계를 파악하도록 도와주어 타인의 감정 이해와 친사회적 행동의 상황맥락적 문제해결에 큰 도움을 주었다. 상황형 이모티콘은 배경 요소로 상황에 대한 이해를 높이며, 사고 촉진과 행동 유도, 정서 이해에 도움을 주는 것으로 나타났다. 이렇듯 사회적 눈치와 의도 파악이 부족한 ASD 아동·청소년들에게 상황형 이모티콘은 사회적 단서를 제공해 줄 뿐만 아니라 사회적 눈치와 대인관계에도 큰 도움을 주는 것으로 최종 확인되었다.

이 연구의 결과로 ASD 아동·청소년에게는 상황을 구체적으로 이해할 수 있는 사회적 단서의 이모티콘이 필요하며, 순차적 배열의 잘 짜여진 맥락적 구조는 감정 이해와 사회 인지, 행동 변화의 문제해결에 큰 도움을 주는 것으로 나타났다. 이러한 결과는 앞으로 ASD 아동·청소년의 감정 이해와 함께 사회성, 정서 발달, 친사회적 행동의 사회성 기술 연구에도 큰 도움을 줄 것으로 예상된다. 또한, 상황에 따라 달라지는 감정 표현과 친사회적 행동 모델링의 움직이는 이모티콘에 대한 확장 연구도 필요하다. ASD 아동·청소년의 감정과 행동 이해를 위해 시선과 얼굴 표정뿐만 아니라 자세나 몸짓의 행동 요소, 상황 요소의 맥락 정보도 함께 고려되어야 하며, 행동형 이모티콘은 사회적 단서가 가미된 상황형의 애니메이션 방식으로 ASD 아동·청소년들의 목표행동이 되는 친사회적인 행동 모델링에 도움을 줄 수 있을 것으로 기대한다.

앞으로 이모티콘이 일상 속 다양한 상황에서 자기와 타인의 감정 인식과 감정 표현, 친사회적 행동 모델링과 순차적 배열의 인과관계를 돕는 상황 중심적인 문제해결 디자인으로 발전되기를 기원한다. 이는 또한 실제 환경에서 사회적 관계의 어려움을 풀어낼 수 있는 ASD 아동·청소년의 사회적 관계 형성을 위한 상황 맥락 학습으로서, 감정 표현과 정서 이해, 감정조절 그리고 문제 행동 개선에도 도움을 줄 수 있을 것으로 기대한다.

References

• Ashwin, C., Baron-Cohen, S., Wheelwright, S., O'Riordan, M., & Bullmore, E. T. (2007). Differential activation of the amygdala and the 'social brain'during fearful face-processing in Asperger Syndrome. Neuropsychologia, 45(1), 2-14. [https://doi.org/10.1016/j.neuropsychologia.2006.04.014]
• Brackett, M. A., Rivers, S. E., Shiffman, S., Lerner, N., & Salovey, P. (2006). Relating emotional abilities to social functioning: a comparison of self-report and performance measures of emotional intelligence. Journal of personality and social psychology, 91(4), 780-795. [https://doi.org/10.1037/0022-3514.91.4.780]
• Castelli, F. (2005). Understanding emotions from standardized facial expressions in autism and normal development. Autism, 9(4), 428-449. [https://doi.org/10.1177/1362361305056082]
• CDC. (2023). Data & Statistics on Autism Spectrum Disorder. Retrieved from https://www.cdc.gov/ncbddd/autism/data.html.
• Ekman, P., & Friesen, W. (1978). Facial Action Coding System (FACS): A technique for the measurement of facial action, Palo Alto, CA: Consulting. [https://doi.org/10.1037/t27734-000]
• Ekman, P., Friesen, W. V., & Ellsworth, P. (1982). What are the relative contributions of facial behavior and contextual information to the judgment of emotion? In P. Ekman (Ed.), Emotion in the human face, 111-127.
• Frith, U. (1989). Autism: Explaining the Enigma. Basil Blackwell, Oxford, UK.
• Fischer, A. H., & Manstead, A. S. (2016). Social Functions of Emotion and Emotion Regulation, In M. Lewis, J. Haviland-Jones & L.F. Barrett (Eds.), Handbook of Emotions (4th edition). New York: Guilford.
• Greimel. (2010). Neural mechanisms of empathy in adolescents with autism spectrum disorder and their fathers. NeuroImage 49(1), 1055-1065. [https://doi.org/10.1016/j.neuroimage.2009.07.057]
• Gross, J. J. (2008). Emotion regulation. In M. Lewis, J. M. Haviland-Jones, & L. F. Barrett (Eds.), Handbook of emotions (pp. 497-512). The Guilford Press.
• Image Source (Figure 2.3.4): Kakao Emoticon Shop, Retrieved from https://e.kakao.com/.
• Image Source (Figure 6): 오니기리 Emoticon, Retrieved from https://class101.net/ko/products/5c5d780a74eabcfdafd39ac8.
• Jeon, H. J. (2019). Effects of non-verbal expression types of emoticons on empathy and relationship commitment : focusing on the mediating effects of perspective taking and inner imitation (doctoral dissertation). Hongik University graduate school. Seoul.
• Kathryn, S. (2010). Helping a child with Nonverbal Learning Disorder or Asperger's Disorder. SigmaPress.
• Krasny, L., Williams, B. J., Provencal, S., & Ozonoff, S. (2003). Social skills interventions for the autism spectrum: Essential ingredients and a model curriculum. Child and Adolescent Psychiatric Clinics, 12(1), 107-122. [https://doi.org/10.1016/S1056-4993(02)00051-2]
• Lefebvre. (2021). UX Attracts Users: 33 Design Principles to Create the Best Experience, UX review.
• Rhee, H. J. (2021). Expanded Role of Empathy in Metaverse Environment Where AI is Applied. The Journal of the Korea Contents Association, 21(11), 87-99.
• Lee, Y. K. (2022). ELPSE : Empathy Learning Program using Storytelling-based Emoticons for Students in Autism Spectrum Disorder (doctoral dissertation). Hongik University graduate school. Seoul.
• Lim, Y. A., & Kwon, J. E. (2016). Emoticons Design Analysis Based on Emotional Communication-focused on mobile SNS(Social Network Service)-. Journal of Basic Design & Art, 17(5), 473-484.
• Moon, Y. R. (2001). Developing Emotional Intelligence Programs for Elementary and Secondary Education. Journal of the College of Education, 62, 27-53.
• Noh, J. Y., Chung. K. M., & Jung. W. H. (2018). Contextual effect of Facial Expression in Emotion Recognition in Children with Autism Spectrum Disorder. The Korean Journal of Cognitive and Biological Psychology, 30(2), 157-181. [https://doi.org/10.22172/cogbio.2018.30.2.005]
• Oh, B. G., & Kang, S. J. (2008). The textbook of information design. Ahn Graphics.
• Orsmond, G., Krauss, M. W., & Sektzer, M. M. (2004). Peer Relationships and Social and Recreational Activities Among Adolescents and Adults with Autism. Journal of Autism and Developmental Disorders, 34, 245-256. [https://doi.org/10.1023/B:JADD.0000029547.96610.df]
• Ozonoff, S., PennIngton, B., & Rogers, S. (1991). ExecutIve FunctIon DefIcIts In HIgh-FunctIonIng AutIstIc ChIldren: RelatIonshIp to Theory of MInd. Journal of ChIld Psychology and PsychIatry, 32, 1081-1106. [https://doi.org/10.1111/j.1469-7610.1991.tb00351.x]
• Salovey, P., & Mayer, J. D. (1990). Emotional intelligence. Imagination, cognition and personality, 9(3), 185-211. [https://doi.org/10.2190/DUGG-P24E-52WK-6CDG]
• Mayer, J. D., & Salovey, P. (1997). What is emotional intelligence? In Salovey, P., & Sluyter, D. J. (Eds.), Emotional development and emotional intelligence: Educational implications (pp.3-34). New York: Basic Books.
• Sato. W,.& Yoshikawa. S. (2004). Brief report the dynamic aspects of emotional facial expressions. Cognition and Emotion 18(5), 701-710. [https://doi.org/10.1080/02699930341000176]
• Shin, J. E., & Eune, J. H. (2017). Study on Emoticon Design Elements for Emotional Communication. Korean Society of Basic Design and Art, 18(6), 351-362.
• Shin, S. H. (2019, November). Social cognitive therapy for school-age children. Proceedings of the Korean Academy Child and Adolescent Psychiatry (pp.178-191).
• Smith, A. (2009). The Empathy Imbalance Hypothesis of Autism: A Theoretical Approach to Cognitive and Emotional Empathy in Autistic Development. The Psychological record 59(3), 489-510. [https://doi.org/10.1007/BF03395675]
• Song, J. O. (2022). Exploring the Structural Relationship between Comorbidities and Challenging Behaviors in Children with Autism Spectrum Disorder(doctoral dissertation). Kongju National University, Gong Ju.
• Symes, W., & Humphrey, N. (2010). Peer-group indicators of social inclusion among pupils with autistic spectrum disorders (ASD) in mainstream secondary schools: A comparative study. School Psychology International, 31(5), 478-494. [https://doi.org/10.1177/0143034310382496]
• Wang, G. G. (2020). Factors affecting the Emotion Expression of Face Emoticons whether it is dynamic or not. Proceedings of the Korea Society of Design Studies Conference, 6(1), 84-85.