스마트헬스케어 앱 동영상 매뉴얼의 시각 단서인 키워드 자막이 노인의 시각적 주의에 미치는 영향

1. 연구 배경 및 목적

통계청 국가통계포털의 65세 이상 노인의 가구형태를 살펴보면 자녀와 살지 않는 노인의 비율은 2008년 63%, 2014년 67.5%, 2017년 72%로 높아지는 추세이다. 우리나라가 초고령사회로 진입하면서 독거노인의 비율도 높아지고 있다. 이러한 상황에서는 노인의 건강관리가 중요 문제로 대두된다. 따라서 서울대병원의 헬스온G, 코치코치당뇨, 강북삼성병원의 건강스위치, 강북삼성병원의 S진료노트, 동국대 일산병원의 메디람, 리빗, 삼성서울병원의 내 손안의 차트 등 노인의 만성질환과 건강관리에 유용한 다양한 스마트헬스케어 서비스가 의료기관, 민간업체, 정부에서 개발되는 추세이다. 그런데 현재 위와 같은 스마트헬스케어 서비스들은 스마트폰 앱의 형태로 제작되어 있어 사용자가 스스로 건강정보를 입력하고 관리하게 되어있다. 통계청 자료에서도 보았듯, 고령독거자는 IT기기에 능숙한 젊은 자녀의 도움을 받기 힘들기 때문에 스마트헬스케어 서비스의 조작방법을 스스로 습득하기에는 무리가 따른다. 이에 따른 대안으로 제시되는 것이 멀티미디어 학습교재인 동영상 매뉴얼이다. 멀티미디어 콘텐츠의 학습 효과성은 이미 잘 알려져 있다. 더욱이 동영상 매뉴얼을 사용하면 노인들이 짧은 시간의 교육을 통해 자기학습이 가능하며 반복 학습이 가능한 이점이 있다.

그런데 앱 동영상 매뉴얼은 앱의 기능과 사용법을 설명하기 때문에 실제 앱의 인터페이스 디자인을 전면으로 보여 줄 수밖에 없어 많은 시각적 정보를 노출시켜야만 한다. 사람은 다양한 시각 자극을 동시에 처리할 수 없기 때문에 주의를 기울이게 된다.(Lang, 2000; Lang, 2006) 따라서 동영상 매뉴얼에서도 시각적 주의를 끌기 위해 자막을 사용해 Table 1과 같이 시각 단서를 제시하고 있으나 이에 대한 효과성은 검증된 바 없으며 효과적 사용에 대한 가이드 라인도 없다.

Table 1

Visual Cues of Video Manuals

이수범, 이희복, 그리고 신명희(Lee, Lee, and Shin, 2011)는 “시각적 주의는 시각 자극을 탐색하는 데 있어서 가장 우선적으로 거쳐야 하는 단계이며, 시각적 주의를 거쳐 지각의 강화가 이루어지게 된다. 따라서 시각적 주의는 시각 자극의 효과를 검증하는 가장 기초적인 요소로 활용된다”고 하였다. 김지호(Kim, 2017)에 따르면, 눈동자의 움직임은 능동적, 자동적, 비의식적으로 이루어지기 때문에 시선을 추적하는 아이트래커를 통해 사용자가 어떤 요소에 주의를 기울이며, 얼마나 관심을 가지고 있는지 파악할 수 있다. 그러므로 본 연구에서는 동영상 매뉴얼의 시각 단서로 사용하고 있는 자막을 시선 추적하여 주의가 어떻게 이루어지고 있는지 파악하고자 한다.

국내외 아이트래커 및 멀티미디에서 학습효과 연구는 다수이나, 대부분 연구 대상이 20-40대의 젊은 성인이며(Hwang, Kwon, and Park, 2019; Kim et al. 2012; Lee, Lee, and Shin, 2011; Lee et al, 2012; Leathy, and Sweller, 2011; Schmidt-Weigand et al., 2010; Tabbers et al., 2004; Wouters, Paas, and Van Merriënboer, 2009) 특히 영상 제작 분야에서 노인을 대상으로 한 시선 추적 연구는 미비하다. 그래프(Graf, 1990), 배크만, 스몰, 그리고 왈린(Bäckman, Small, & Wahlin, 2001), 박태진(Park, 2004), 정현건과 김예언(Chung and Kim, 2015)의 연구에서 노인은 젊은 성인에 비해 학습력, 인지지각력, 시지각력이 떨어진다고 이야기한다. 임용석(Lim, 2012)에 따르면, 움직이는 대상(Dynamic visual acuity)에 대한 시력은 나이가 듦에 따라 급격히 감소한다. 물체를 관찰할 때 필요한 안구 운동 조절 능력이 50세부터 저하되어 65세 이상의 노인들은 중년인 사람들의 50% 정도밖에 되지 않는 것으로 나타난다. 최성경과 성지은(Choi and Sung, 2019)에 따르면 일시적 정보를 기억하고 처리하는 작업공간은 제한된 용량을 가지고 있는데 노화에 따라 작업기억용량은 떨어진다. 김성희 외 5인 (Kim et al, 2005)의 연구에서 연령대가 증가할수록 노화에 의해 청력 소실이 큰 폭으로 변화되었다. 그러므로 영상 제작 분야에서도 노화로 인해 학습력, 인지력, 시지각력, 청력이 떨어지는 노인을 대상으로 연구가 필요하다. 따라서 본 연구는 노인의 눈동자를 추적해 동영상 매뉴얼의 시각 단서로 쓰이는 자막에 대한 시각적 주의를 실증적 데이터로 도출해 분석하고자 한다. 이를 통해 노인들의 스마트헬스케어 서비스의 이해도와 사용도를 향상시키고자 한다.

2. 연구문제

선행연구에서 살펴본 바에 따르면, 일반적으로 청각적 설명과 시각적 설명은 분리해 제시되어야 학습효과가 있지만(Sweller, Ayres and Kalyuga, 2011) 복잡한 정보의 경우, 청각적 설명을 시각적으로 제시하면 재차 주의를 기울일 수 있어 학습효과가 있다고 이야기한다.(Leathy and Sweller, 2011) 국내에서 제작된 동영상 매뉴얼은 앞서 언급한 바와 같이 내레이션을 자막으로도 제시하고 있다. 따라서 인지력, 학습력, 시지각력, 청력이 떨어지는 노인의 경우, 청각적 설명을 시각적으로 제시하면 자막과 영상 중 어느 쪽으로 주의가 가는지 알아보고자 한다. 단, 시청각적으로 자료를 제시할 때, 시각 자료의 내용과 청각 자료의 내용이 단순 반복적인 동일 내용이면 중복효과를 유발해 학습자에게 인지부하를 초래한다는 선행연구(Sweller, Ayres and Kalyuga, 2011)에 따라 본 연구에서는 내레이션 내용을 동일내용의 긴 자막으로 옮기는 것이 아니라 2단어 이하의 짧은 단어로 노출하고자 한다. 본 연구에서는 이를 키워드 자막이라고 정의한다. 또한 내레이션에서 설명하고 있는 인터페이스 디자인의 특정 영역을 영상 영역이라고 정의한다.

첫째, 키워드 자막이 주어진 영상과 그렇지 않은 영상을 제시한 후, 각 영상의 영상 영역에서 나타난 노인의 주의가 어떻게 차이를 보이는지 연구하고자 다음과 같이 가설을 설정하였다.

가설 1. 영상 영역의 첫 응시시간은 키워드 자막을 노출하지 않았을 때와 키워드 자막을 노출했을 때, 차이가 있을 것이다.가설 2. 영상 영역의 총 응시시간은 키워드 자막을 노출하지 않았을 때와 키워드 자막을 노출했을 때, 차이가 있을 것이다.

둘째, 키워드 자막이 노출된 영상에서 키워드 자막과 영상 영역 간의 주의 차이를 보고자 다음과 같이 가설을 설정하였다.

가설 3. 키워드 자막의 첫 응시시간은 영상 영역의 첫 응시시간과 차이가 있을 것이다.가설 4. 키워드 자막의 총 응시시간은 영상 영역의 총 응시시간과 차이가 있을 것이다.

3. 연구방법

3. 1. 표집 및 실험설계

본 연구에서 수도권에 거주하는 60-70대 노인 31명을 모집하였다. 정확한 측정을 위해 사시가 없고, 24인치 모니터에서 영상을 시청 시 안경 혹은 렌즈를 착용하지 않는 참여자로 대상을 한정하였다.

실험을 위해 내레이션이 있는 동영상에 키워드 자막을 넣은 것과 키워드 자막을 넣지 않는 것을 제작하였다. 실제 앱의 시각적 복잡성을 반영하고자 제작물은 S사의 스마트헬스케어 앱 메인 페이지의 인터페이스 디자인을 그대로 차용하였다. 설계 후, 교육 공학과 애니메이션 제작을 전공한 15년 차 이상 교수 1인에게 설계에 대한 평가를 받았다. 같은 집단을 대상으로 여러 개의 실험물들을 순차적으로 노출할 때, 본 연구에서 조사하려는 자극 변수인 키워드 자막이 새롭게 제시되더라도 그 이외에 내용이 완전히 동일하다면 반복시청으로 인해 제작물에 이미 학습효과가 생겨 자극변수에 영향을 미칠 수 있다고 평가하였다. 따라서 외생적 주의 변인을 통제하기 위해 각 실험 제작물들의 스마트 폰 이미지의 크기, 스마트 폰 뒤의 배경 디자인, 성우는 동일하게 구성하되, 앞서 평가받은 내용처럼 내레이션 내용과 인터페이스 디자인 부분을 똑같이 반복해 보여주지 않았다. Figure 1과 같이 앱의 메인 페이지는 혈당, 약, 인슐린, 음식 섹션 순으로 나누어져 있고, 각 섹션은 등록 입력을 시작하는 단계로 구성되어있어 정보의 구성이 유사하다. 따라서 키워드 자막이 없는 실험물은 메인 페이지 중 혈당, 약, 인슐린 섹션 부분을 선택하였고 키워드 자막이 있는 실험물은 메인 페이지를 스크롤 다운하여 보이는 약, 인슐린, 음식 섹션 부분을 선택하였다. 각각 실험물에서 보여주는 선택 버튼의 수는 5개와 6개이며 이에 해당하는 텍스트의 양이 유사하기 때문에 평가에 영향을 미치지 않는 유사한 정보 수준과 내용이라 할 수 있다.

Figure 1

Stimuli

키워드 자막을 넣지 않은 실험물로는 내래이션의 설명만 제공될 때 혈당 부분의 ‘표’ 버튼을 응시하는 정도를 실험하였다. 키워드 자막을 넣은 실험물로는 약 부분의 ‘약물등록’ 버튼과 키워드 자막을 응시하는 정도를 실험하였다. Table 2와 같이 두 실험물 사이에 앱 회원가입 소개, 운동시간 입력 등을 소개하는 허구실험물(Filler item)을 넣어 두 실험물들이 연이어 시청되었을 때 발생할 수 있는 자극을 통제했다. 박성익, 손지영(Park and Son, 2003)이 설명한 공간적 접근성의 원리에 따라 자막의 위치를 영상 영역과 가장 가깝게 잡아 자막 위치를 통제하였다. 자극에 대한 노출 시간은 각 2초이다.

Table 2

Stimuli Flow Chart

3. 2. 실험측정 및 분석방법

Figure 2와 같이 아이트래커 장비는 24인치 모니터와 일체형인 토비(Tobii)사의 프로 스펙트럼 (Pro Spectrum, 300Hz)을 사용하였다. 외부 환경과 차단된 대학원 실습실에서 한 번에 한 명의 피험자만 진행자와 실험을 진행하여 다른 조건에 영향을 받지 않도록 하였다.

Figure 2

Participant and Tobii Eye-Tracker

피험자들의 정확한 시선데이터 수집을 위해 실험 전 시점조정과정(Calibration)을 실시하였다. 시점조정과정이 정확히 되지 않은 피험자는 시점조정과정을 반복 시행해 시선 데이터의 정확성을 높이고자 했다. 피험자의 시선을 녹화한 후, 키워드 자막과 영상 영역에 Figure 3과 같이 AOI(Area of Interest)를 설정해 주의를 분석하였다.

Figure 3

AOI of Stimulus without Keyword(left) and Stimulus with Keyword(right)

주의에 대한 측정값은 첫 응시시간(Time to First Fixation)과 총 응시시간(Total Duration of Fixation)으로 설정하였다. 응시시간에 대한 단위는 초(Second)이다. 본 연구에서는 100ms 이상의 안구 고정을 보인 수치를 응시(Fixation)라고 정의한다. 첫 응시시간(Time to First Fixation)은 특정 자극에 첫 응시가 이루어진 시간으로 어떤 자극에 응시가 빨랐는지 측정할 수 있다. 총 응시시간은 특정 자극에 응시가 일어난 총 시간을 의미하며 해당 자극에 응시가 얼마나 오래 일어났는지 구할 수 있다. 이는 1회 응시의 시간을 의미하는 것은 아니고 주어진 조건에서 여러 번 응시가 일어났다면 그 총합을 의미한다. 따라서 두 변수는 시각적 주의력을 뜻한다. 피험자의 첫 응시시간과 총 응시시간의 데이터를 획득한 후 대응표본 t-검정을 실시하여 평균 차이를 검증하였다. 통계 프로그램은 SPSS Statistics ver.25를 사용하였다. 또한 응시시간을 시각화한 히트맵(Heat Map)으로도 살펴보았다.

4. 주의와 멀티미디어 학습에서의 시각 청각 정보의 제시 원리

랭(Lang, 2000; Lang, 2006)의 제한용량모델은(Limited Capacity Model)에 따르면, 시청자가 외부자극을 처리할 때 정신적 용량은 한정이 되어있기 때문에 모든 정보를 다 일괄되게 받는 것이 아니다. 어떠한 정보처리에 집중하게 되면 그 외에 정보처리는 덜 집중하게 된다. 따라서 정보를 받아들이는 사람은 외부 자극에 대한 정보를 받아들일 때 인지적 노력, 즉 주의를 기울이게 된다고 설명하였다.

칼라이유가, 챈들러, 그리고 스웰러(Kalyuga, Chandler, and Sweller, 1998)와 박성익과 손지영(Park and Son, 2003)에 따르면, 인간의 인지적 용량은 무한적이지 않아 한순간에 매우 제한된 양의 정보만을 처리할 수 있다. 그런데 시각과 청각의 정보를 처리하는 활동기억은 각각 독립적으로 작용하기 때문에 멀티미디어 활용 학습에서 시각과 청각을 동시에 입력되는 정보가 제시되었을 때도 학습자는 인지적 부하 없이 정보를 받아들일 수 있다. 그러나 시각정보에 시각정보를 더하거나 청각 정보에 청각 정보를 더 제시하게 되면 과부하가 발생한다. 챈들러와 스웰러(Chandler and Sweller, 1991)의 연구에서 설명 텍스트와 다이어그램, 그래프가 동시에 제공된 경우 학습효과가 더욱 감소되었다. 설명 텍스트라는 시각정보에 다이어그램, 그래프라는 시각정보를 추가 제공해 학습자의 주의가 분산된 결과이다. 박성익, 손지영(Park and Son, 2003), 스웰러, 에얼스 그리고 칼라이유가(Kalyuga, Chandler and Sweller, 2011), 메이어와 모레노(Mayer and Moreno, 1998)은 학습자의 주의가 시각, 청각으로 분리되어 학습효과가 감소 된 것을 주의 분리효과라 이야기한다.

그러나 이러한 연구와 반대로 시지현(Si, 2015), 레씨와 스웰러(Leathy and Sweller, 2011)는 시각적으로 제시된 문자 정보는 천천히 반복적으로 검토하면서 학습할 수 있으나 청각으로 제시된 내레이션은 한번 듣고 나면 다시 들을 수 없다고 이야기한다. 따라서 복잡한 정보가 시각정보로 제시될 경우, 내레이션으로 제시된 것보다 효과적이라고 설명하였다. 김성희 외 5인(Kim et al, 2005)의 연구에서 노인은 노화로 인해 청력소실의 폭이 젊은 성인에 비해 크다고 밝혀졌다. 따라서 시지각력, 청력, 인지력이 떨어지는 노인에게 복잡한 정보를 제시할 수밖에 없는 스마트헬스케어 앱 동영상 매뉴얼에서는 청각으로 제시되는 설명을 시각 단서로 강조할 필요가 있다.

스웰러, 에얼스 그리고 칼라이유가 (Sweller, Ayres and Kalyuga, 2011)에 따르면, 많은 멀티미디어 수업 자료들이 텍스트와 내래이션을 함께 사용하고 있으며, 이때 동일한 정보를 텍스트와 내래이션의 두 가지 형태로 중복하면 학습효과가 낮다고 설명한다. 내레이션이 나올 때 똑같은 텍스트가 동시에 보인다면 중복효과를 일으켜 인지부하를 일으킨다고 이야기한다. 단, 이러한 중복효과는 두 정보원이 별개로 이해될 수 있을 때만 해당된다고 설명하였다. 두 정보원이 별개로 이해될 수 없으면 두 정보를 동시에 제공하여도 중복효과가 발생한다고 볼 수 없다는 것이다.

박성익과 손지영(Park and Son, 2003)은 멀티미디어 활용 학습에서 고려해야 할 원리로써 공간적 접근성의 원리와 시간적 동시성의 원리를 제시한다. “시각을 통해 정보를 찾을 때 탐색과정이 최소한으로만 일어나야 효과적인 학습이 이루어지게 된다. 그러므로 언어 정보와 이미지 정보를 근접해서 제시할 때에는 학습자는 연결되는 정보를 찾는 탐색 과정을 별로 거치지 않고 정보를 쉽게 처리하게 되어 학습이 효과적으로 이루어지게 된다”고 설명한다. 그러므로 앱 동영상 매뉴얼의 경우도 시각 단서를 제공할 때는 최대한 설명하고자 하는 영역에 가까이 붙여 노출시켜야 한다. 박성익과 손지영(Park and Son, 2003), 오선아(Oh, 2002), 모사비와 스웰러(Mousavi and Sweller, l995)는 시각적 정보와 청각적 정보를 동시에 제시하는 방법과 순차적으로 제시하는 방법의 효과성을 연구했는데, 그 결과 시각적 정보와 청각적 정보를 동시에 제시할 때에 학습효과가 증진되었다. 이것이 시간적 동시성의 원리이다. “기억하고 유지할 수 있는 용량은 제한이 되어있으며 시간이 지남에 따라 점점 줄어들게 되기 때문에 멀티미디어 학습에서 애니메이션과 내레이션을 동시에 제공하지 않고 시차를 두고 제공하게 되면, 먼저 제공한 정보를 그대로 활용하지 못해 망각하게 된다”고 설명한다. 그렇다면 동영상 매뉴얼의 경우도 시각 단서와 내레이션은 동시에 노출되어야 하겠다.

5. 연구결과

5. 1. 키워드 자막 유무에 따른 영상 영역의 주의 분석

본 연구의 피험자는 60-70대 노인 31명이다. 평균 연령은 65.1세(SD=3.8)로 이 중 여성은 22명(71%), 남성은 9명(29%)이다.

첫째, 노인이 숙지해야 할 영상 영역의 첫 응시시간은 키워드 자막을 노출하지 않았을 때와 키워드 자막을 노출했을 때가 차이가 있는지 알아보았다. 실험 결과, Table 3과 같이 키워드 자막의 유무에 따른 영상 영역에 첫 응시시간은 통계적으로 유의미한 차가 나타나지 않았다. 따라서 가설 1은 기각되어 시청자가 숙지해야 할 영상 영역의 첫 응시시간은 키워드 자막의 유무에 영향을 받지 않는 것으로 드러났다. 청각적 설명만 듣고 해당 정보를 찾아 응시한 시간이 시각적 단서를 보고 해당 정보를 찾아 응시한 첫 시간과 차이가 없다는 것이다. 결과는 두 가지로 해석이 가능하다. 노인은 노화로 인해 시지각력이 떨어지기 때문에 내레이션만 듣고 해당 정보를 찾기에는 일정 시간이 필요한 것으로 유추된다. 또 한편으로는 키워드 자막이 시각 단서로서 제 기능을 못했기 때문에 키워드 자막에 주의가 일어나지 않아 영상 영역에 주의가 일어났을 수 있다는 것이다. 그래서 키워드 자막을 제시하지 않은 경우와 차이가 나지 않는 것이다. 따라서 가설 3의 실험을 통해 해당되는 결과가 무엇인지 알아보고자 한다.

Table 3

Analysis Result of Time to First Fixation on the Image Area with or without Keyword

둘째, 노인이 숙지해야 할 영상 영역의 총 응시시간은 키워드 자막을 노출하지 않았을 때와 키워드 자막을 노출했을 때가 차이가 있는지 알아보았다. 실험 결과, Table 4와 같이 키워드 자막의 유무에 따른 영상 영역에 총 응시시간은 통계적으로 유의미한 차가 나타나지 않았다. 따라서 가설 2는 기각되어 시청자가 숙지해야 할 영상 영역의 총 응시시간은 키워드 자막의 유무에 영향을 받지 않는 것으로 드러났다. 청각적 설명만 듣고 해당 정보를 찾아 응시한 시간이 시각적 단서를 보고 해당 정보를 찾아 응시한 시간과 차이가 없다는 것이다. 총 응시시간의 결과는 첫 응시시간과 같이 두 가지로 해석이 가능하다. 노화로 인해 시지각력이 떨어지는 노인이 내레이션만 듣고 해당 정보를 찾기 위해 서는 탐색에 일정 시간을 할애할 수밖에 없다. 따라서 찾아야 할 영상영역의 응시시간이 상대적으로 줄어들어 키워드 자막을 제시한 경우와 총 응시시간의 차이가 없다고 할 수 있다. 또 한편으로는 키워드 자막이 시각 단서로서 제 기능을 못했기 때문에 키워드 자막에 주의가 일어나지 않아 영상 영역에 주의가 길게 일어났을 수 있다는 것이다. 그래서 키워드 자막을 제시하지 않은 경우와 차이가 나지 않는 것이다. 따라서 가설 4의 실험을 통해 해당되는 결과가 무엇인지 알아보고자 한다.

Table 4

Analysis result of Total Duration of Fixation on the Image Area with or without Keyword

키워드 자막이라는 시각 단서를 제시하면, 시청자가 시각 단서에 주의를 기울여 이로 인해 영상 영역의 주의가 영향을 받을 것이라 생각했다. 그러나 결과적으로 노인에게 키워드 자막을 제시하여도 영상 영역을 보는 주의에 영향이 없었다. 청각적 설명만 듣고 정보를 찾는 것과 시각 단서를 본 후 정보를 찾는 것에 주의의 차이가 없으므로 키워드 자막이라는 시각 단서가 노인들의 주의를 방해하지 않는 것을 알 수 있었다.

5. 2. 키워드 자막과 영상 영역의 주의 분석

첫째, 키워드 자막을 제시하는 영상에서 키워드 자막의 첫 응시시간은 영상 영역의 첫 응시시간과 차이가 있는지 알아보았다. 통계 결과, Table 5와 같이 키워드 자막의 첫 응시시간은 영상 영역의 첫 응시시간과 통계적으로 유의미한 차가 나타났다.(t=4.734 p<0.001) 평균 비교결과, 키워드 자막에 첫 응시가 일어난 평균 시간(M=0.432)은 영상 영역에 첫 응시가 일어난 평균시간(M=0.899)보다 약 2배 정도 빨랐다. 그러므로 가설 3은 채택되었다.

Table 5

Analysis Results of Time to First Fixation on the Image Area and Keyword

둘째, 키워드 자막을 제시하는 영상에서 키워드 자막의 총 응시시간은 영상 영역의 총 응시시간과 차이가 있는지 알아보았다. 통계 결과, Table 6과 같이 키워드 자막의 총 응시시간은 영상 영역의 총 응시시간과 통계적으로 유의미한 차가 나타나(t=2.901 p<0.01) 가설 4는 채택되었다. 평균 비교결과, 키워드 자막에 총 응시가 일어난 평균 시간(M=0.781)은 영상 영역에 총 응시가 일어난 평균시간(M=0.327)보다 약 2배 길었다.

Table 6

Analysis Results of Total Duration of Fixation on the Image Area and Keyword

가설 1, 2에 대한 실험에서 키워드 자막이 시각 단서로서 제 기능을 못했기 때문에 키워드 자막에 주의가 일어나지 않아 영상 영역에 주의가 일어난 것일지도 모른다는 추측을 할 수 있었는데 가설 3, 4에 대한 실험을 통해 그것이 아님이 밝혀졌다. 노인은 노화로 인해 시지각력이 떨어지기 때문에 내레이션만 듣고 해당 정보를 찾기에는 일정 시간이 필요한 것임을 알 수 있었다. 그래서 키워드 자막을 제시하지 않은 경우와 제시한 경우 영상 영역의 주의에 차이가 나지 않는 것이다.

Figure 4는 응시시간을 시각화한 히트맵(Heat Map)으로 응시가 짧게 일어난 곳은 연두색이고, 응시가 길수록 붉은 색조를 띈다. 키워드 자막을 제시한 경우, 키워드 자막과 키워드 자막이 설명하고 있는 영상 영역에 붉은색이 보여 정확히 응시가 이루어진 것을 알 수 있다. 그러나 키워드 자막을 제시하지 않은 경우, 영상 영역 주위로 붉은색이 넓게 퍼져 나타나 있다. 영상 영역을 찾기 위해 다른 곳에도 응시가 이뤄진 것이다.

Figure 4

Heat Map Visualization

랭(Lang, 2000; Lang, 2006)은 시청자가 외부자극을 처리할 때 모든 정보를 다 일관되게 받는 것이 아니며 어떠한 정보처리에 집중하게 되면 그 외에 정보처리는 덜 집중하는 인지적 노력을 기울인다고 하였다. 가설 3, 4의 경우를 보면 키워드 자막에 주의가 집중되어 있는 것을 볼 수 있다. 단순히 가설 3, 4의 결과만으로 해석하면 키워드 자막에 집중된 주의가 영상 영역의 주의에 영향을 끼치기 때문에 영상 영역의 주의를 떨어뜨린다 할 수 있다. 그러나 가설 1, 2의 실험까지 종합하여 보면, 키워드 자막을 제시하지 않았다 할지라도 응시가 일어난 시간은 키워드 자막을 제시했을 때와 차이가 없다. 노인은 노화로 시지각력이 떨어지기 때문에 시각 단서 없이는 화면 영역에 주의가 일어나기까지 시간이 걸린 것을 의미한다.

6. 결론 및 제언

본 연구는 노인의 시선을 추적해 스마트헬스케어 앱 동영상 매뉴얼의 시각 단서로 쓰이고 있는 키워드 자막이 영상 영역에 어떠한 영향을 끼치는지 측정하였다.

가설 1, 2를 통해 시각 단서인 키워드 자막이 제시되면 되면, 키워드 자막이 제시되지 않았을 때와 비교해 시청자의 영상 영역 주의가 어떻게 차이를 보이는지 알아보고자 하였다. 또한 가설 3, 4를 통해 키워드 영역과 영상 영역의 주의를 비교해 키워드 영역이 시각 단서로서 역할을 하고 있는지, 영상 영역에 영향을 끼치는지 살펴보았다.

가설 1, 2의 연구결과, 내레이션이 있는 영상에 키워드 자막을 제시하는 경우와 제시하지 않는 경우, 영상 영역에 첫 응시가 일어난 시간과 총 응시시간은 통계적으로 유의미한 차가 나타나지 않았다. 그러므로 가설 1, 2는 기각되었다. 가설 3, 4의 연구결과, 키워드 자막을 제시하는 영상에서 키워드 자막의 첫 응시시간은 영상 영역의 첫 응시시간보다 약 2배 빨랐으며, 총 응시시간도 약 2배 정도로 길었고 통계적으로 유의미함을 보였다. 따라서 가설 3, 4는 채택되었다.

외부자극을 처리할 때 어떠한 정보처리에 집중하게 되면 그 이외 정보처리는 덜 집중하게 된다. 따라서 영상 영역에 주의가 크게 일어나지 않았다는 것은 상대적으로 자극물로 제시된 키워드 자막에 주의가 많이 일어났기 때문일 것이다. 또한 영상 영역에 주의가 크게 일어났다는 것은 자극물인 키워드 자막이 역할을 제대로 하지 못해 주의를 끌지 못했기 때문일 것이다. 그러나 실험 결과, 노인의 경우, 영상 영역의 주의는 키워드 자막 제시 여부와 관계없이 차이가 없었다. 가설 3, 4의 실험을 통해 키워드 자막이 시각적 단서의 역할을 제대로 하지 못하여 영상 영역에 주의가 높은지를 파악하였다. 키워드 자막을 제시하는 영상에서 키워드 자막과 영상 영역의 첫 응시시간과 총 응시시간으로 주의를 비교한 결과, 키워드 자막에 주의가 빠르고 길게 나타났다. 키워드 자막이 시각적 단서의 역할을 제대로 했다는 것이다. 그렇다면 노인은 복잡한 정보에서는 시각적 단서 없이 청각적 설명만 듣고 해당 정보를 찾아 주의를 기울이는 것에 시간이 필요하다는 것을 의미한다.

청각적 설명만 듣고 정보를 찾는 것과 시각 단서를 본 후 정보를 찾는 것에 주의의 차이가 없으므로 키워드 자막이라는 시각 단서가 노인들의 주의를 더 방해하지 않는 것으로 판단된다. 따라서 키워드 자막이라는 시각 단서를 제시하여도 영상 영역에 주의가 상대적으로 더 떨어지는 것은 아니라는 것이 밝혀졌다. 단, 본 연구에서는 키워드 자막을 제시할 시, 두 가지 조건을 시행하였다. 중복효과로 인한 인지부하를 피하기 위해 내레이션의 핵심만 추출한 2단어 이하의 짧은 키워드 자막을 시각 단서로 제시하였다. 또한 공간적 접근성의 원리에 따라 자막의 위치를 영상 영역과 가장 가깝게 두었다.

노인을 대상으로 한 동영상 분야의 시각적 주의연구는 아직 활발하지 않다. 본 연구는 초고령화 사회로 진입을 앞둔 시점에서 노인을 대상으로 스마트헬스케어 동영상 매뉴얼의 시각 단서에 대한 주의를 연구했다는 것에 의의가 있다.

본 연구는 스마트헬스케어 앱을 설명하는 동영상 매뉴얼이 복잡한 인터페이스 디자인을 제시하는 것을 전제로 한다. 본 연구에서 사용한 두 실험물은 메인 페이지 디자인을 사용해 버튼의 수와 텍스트의 양을 통제하였다. 그러나 각 실험물에 쓰인 컬러는 달라 컬러가 주의력에 영향을 끼쳤는지 알 수 없다는 한계점이 있다. 컬러 뿐만 아니라 텍스트 양, 버튼 수, 배경색, 배경 이미지가 변화되었을 때 키워드 자막과 영상 영역의 주의에 어떠한 영향을 미치는지 주변수 및 변수 간 상호작용에 대한 후속 연구가 필요하겠다. 이를 통해 스마트헬스케어 앱 동영상 매뉴얼에서 시각적 복잡성과 키워드 자막 효과성을 포괄적으로 밝혀낸다면 키워드 자막의 쓰임을 제대로 활용할 수 있을 것이라 생각된다.

Acknowledgments

이 논문은 2019년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임 (NRF-2019S1A5A8033916).

This work was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea (NRF-2019S1A5A8033916).

References

• Bäckman, L., Small, B. J., & Wahlin, Å. (2001). Aging and memory: Cognitive and biological perspectives. In J. E. Birren & K. W. Schaie (Eds.), Handbook of the psychology of aging, 349-377, Academic Press.
• Chandler, P., & Sweller, J. (1991). Cognitive Load Theory and the Format of Instruction. Cognition and Instruction, 8, 293-332. [https://doi.org/10.1207/s1532690xci0804_2]
• Choi, S., & Sung, J. (2019). 시선추적을 활용한 청년층과 노년층의 작업기억의 저장 및 처리기능 연구 [Age-Related Decline in Storage and Processing Components of Working Memory: An Eye-Tracking Study]. Communication Sciences and Disorders, 24(1), 205-219. [https://doi.org/10.12963/csd.19575]
• Chung, H., & Kim, Y. (2015). 고령화에 따른 노인의 색지각 변화 특성 [The Characteristics of the Changes in Color Perception of the Elderly in the Aging Population]. Journal of Basic Design & Art, 16(5), 607-616.
• Graf, P. (1990), Life-span changes in implicit and explicit memory. Bulletin of the Psychonomic society, 28(4), 353-358. [https://doi.org/10.3758/BF03334041]
• Hong, W., & Park, K. (2018). 시각적 주의를 고려한 수산물 패키지의 라벨 디자인 연구 [A Study on the Label Design of Aquatic Product Package in Consideration of Visual Attention]. A Journal of Brand Design Association of Korea, 16(2), 135-146. [https://doi.org/10.18852/bdak.2018.16.2.135]
• Hwang, M., Kwon, M., & Park, M. (2019). 색상과 형태에 따른 시각적 주의에 관한 연구[A Study on Visual Attention According to Color and Form- Focusing on Eye Tracking Experiment]. KCA Thesis Journal, 19(4), 102-110.
• Kalyuga, S., Chandler, P., & Sweller, J. (1998). Levels of Expertise and Instructional Design. Human Factors, 40, 1-17. [https://doi.org/10.1518/001872098779480587]
• Kim, G., & Kim, K. (2012). 홈쇼핑 화면구성에 대한 소비자의 시각적 주의 및 태도 연구 : 제품관여도, 성별 및 화면내용을 중심으로 [The Study of Consumers' Visual Attention and Attitude to Home Shopping Screen Layout : Focused on Product Involvement, Sex, and Screen Contents]. The Korean Journal of Advertising, 23(8), 129-162.
• Kim, G. (2017). 광고의 시지각적 연구를 위한 아이트래킹 방법론의 이해, 현황 및 제언 [Visual Understanding of Advertising Through Eye-tracking Methodology]. Korean Journal of Advertising and public relations, 19(2), 41-84. [https://doi.org/10.16914/kjapr.2017.19.2.41]
• Kim, G., Kwon, S., Kim, G., & Lee, K. (2012). 아이트래커를 활용한 옥외광고 가이드라인 적용의 효과 검증 연구 [Verification of the Effect of Outdoor Ads in Guideline : Using Eye-Tracker]. The Korean Journal of Advertising, 23(2), 81-104.
• Kim, K., Baek, S., Lee, H., & Chung, D. (2013). 영상자막 포털광고의 크기와 기법적 효과가 주의, 기억, 광고평가 그리고 검색의도에 미치는 영향 [Effects of Visual Character Portal Site Advertising on Attention, Memory, Evaluation, and Intention]. Korean Journal of Broadcasting and Telecommunication Studies, 27(6), 37-74.
• Kim, S., Jarng, S., Shin, J., Chang, K., Han, Y., & Jung, K. (2005). 한국인의 정상적인 노화에 의한 성별 연령별 순음청력에 의한 기준청력 원문보기 [Age- and Gender- Specific Reference Levels for Hearing Thresholds of Normal Aging in Korean]. The journal of the acoustical society of Korea, 24(6), 353-357.
• Korean Statistical Information Service. Retrieved Mar, 2019 from http://kosis.kr/index/index.do.
• Lang, A. (2000). The limited capacity model of mediated message processing. Journal of Communication, 50(1), 46-70. [https://doi.org/10.1111/j.1460-2466.2000.tb02833.x]
• Lang, A. (2006). Using the limited capacity model of motivated mediated message processing to design effective cancer communication messages. Journal of Communication, 56(1), 57-80. [https://doi.org/10.1111/j.1460-2466.2006.00283.x]
• Leathy, W., & Sweller, J. (2011). Cognitive load theory, modality of presentation and the transient information effect. Applied Cognitive Psychology, 25(6), 943-951. [https://doi.org/10.1002/acp.1787]
• Lee, E., Yang, S., Whang. E., & Choi, M. (2012). 작업기억용량의 개인차에 따른 광고 노출 시 주의제어와 광고텍스트 언어기억 분석: 아이트래커를 사용한 시선추적 연구 [Individual Differences in Working Memory Capacity Determine Attentional Control and the Recall of Advertising Text Language: An EyeTracking Study]. Korean Journal of Marketing, 27(4), 101-122.
• Lee, S., Lee, H., & Shin, M. (2011). 아이트래킹을 이용한 가상광고 수용자 효과 연구 [Exploring the Virtual Advertising Effects Using Eye Tracking]. The Korean Journal of Advertising, 22(5), 99-125.
• Lim, Y. (2012). Effects of older driver's information-processing capability on situation awareness (Doctoral dissertation). Graduate School, Pusan National University, Pusan.
• Mayer, R. E., & Moreno, R. (1998). A split-attention effect in multimedia learning: Evidence for dual processing systems in working memory. Journal of Educational Psychology, 90, 312-320. [https://doi.org/10.1037/0022-0663.90.2.312]
• Mosavi, S. Y., Low, R., & Sweller, J. (1995). Reducing cognitive load by mixing auditory and visual presentation mode. Journal of Educational Psychology, 95(2), 319-34. [https://doi.org/10.1037/0022-0663.87.2.319]
• Oh, S. (2002). Differences in the working memory load between split and integrated presentations of visual and acoustic information in multimedia-aided-instruction(Doctoral dissertation). Graduate School, Chonnam National University, Gwangju Metropolitan City.
• Park, S., & Son, J. (2003). 멀티미디어 활용 학습에서 시각 청각 정보의 제시원리 탐색 [An Inquiry on the Presentation Principles of Audio-visual Information under the Multimedia-based Learning]. Journal of the College of Education, 67, 105-120.
• Park, T. (2004). 노화의 인지신경지전 [Cognitive Neural Mechanisms of Aging]. The Korean Journal of Cognitive and Biological Psychology, 16(3), 317-336.
• Schmidt-Weigand, F., Kohnert, A., & Glowalla, U. (2010). A closer look at split visual attention in system- and self-paced instruction in multimedia learning. Learning and Instruction, 20, 100-110. [https://doi.org/10.1016/j.learninstruc.2009.02.011]
• Si, J. (2015). 내래이션의 복잡성과 학습자료 제시속도가 모달리티 효과에 미치는 영향 [Effects of Complexity of Narration and Pacing of Presentations on the Modality Effect]. Korean Journal of the Learning Sciences, 9(1), 63-82.
• Sweller, J., Ayres, P., & Kalyuga, S. (2011). Cognitive load theory (Vol. 1). NY: Springer. [https://doi.org/10.1007/978-1-4419-8126-4]
• Tabbers, H. K., Martens, R. L., & Van Merriënboer, J. J. (2004). Multimedia instructions and cognitive load theory: Effects of modality and cueing. British Journal of Educational Psychology, 74, 71-81. [https://doi.org/10.1348/000709904322848824]
• Wouters, P., Paas, F., & Van Merriënboer, J. J. (2009). Observational learning from animated models: effects of modality and reflection on transfer. Contemporary Educational Psychology, 34, 1-8. [https://doi.org/10.1016/j.cedpsych.2008.03.001]