멀티모달 검색 입력 창의 유형이 인지부하에 미치는 영향: 검색 입력 값의 개수, 시각적 단서의 유무를 중심으로
초록
연구배경 본 연구는 멀티모달 검색 입력 창의 유형이 검색 입력 값의 개수와 시각적 단서의 유무에 따라 인지부하에 영향을 주는지 조사하고, 사용성을 증진시킬 수 있는 멀티모달 검색 입력 방식에 대해 실증적으로 검증하는 것을 목적으로 한다.
연구방법 사례 연구 분석을 통해 멀티모달 검색 입력 창의 유형을 파악하였으며, 문헌 연구 분석을 통해 검색 입력 값의 개수와 시각적 단서의 유무의 인지부하에 영향을 미치는 요인들을 도출하였다. 다음으로, 각 요인들의 조작을 통한 실험 연구를 통해 총 242명의 설문 답변에 대한 연구 결과를 실증적으로 분석하였다.
연구결과 멀티모달 검색 입력 창의 유형은 내재적, 외재적, 전체 인지부하에 영향을 주며, 검색 입력 값의 개수와 시각적 단서의 유무에 따라 차이가 나타났다. 좌우 스크롤 유형은 검색 값 개수와 상관없이 가장 인지부하가 높은 유형으로 파악되었으며, 시각적 단서의 표시가 인지부하 감소에 도움을 주었다. 또한 상하 스크롤 유형은 검색 값이 적을 때 가장 긍정적인 검색 경험을 제공해줄 수 있는 유형이었으며. 아코디언 형은 검색 값이 많을 때, 시각적 단서와 함께 사용하는 것이 적합한 것으로 나타났다.
결론 본 연구 결과는 멀티모달 검색 입력 창, 시각적 단서에 따라서 인지부하 감소를 할 수 있는 전략을 세우는 데 도움을 줄 것이다. 또한 멀티모달 검색 입력 창 유형 적용 시, 디자인 고려사항을 제공하였다는 점에서 향후 기업에게 실무적인 방향성을 제시할 것으로 예상된다.
Abstract
Background This study aims to examine whether the type of multimodal search input window affects cognitive load depending on the number of search input values and the presence or absence of visual cues, and to empirically verify multimodal search input methods that can improve usability.
Methods The type of multimodal search input window was identified through case study analysis, and the factors affecting the cognitive load with the number of search input values and the presence or absence of visual cues were derived through literature research analysis. Next, the research results of a total of 242 questionnaire answers were empirically analyzed through experimental research through manipulation of each factor.
Results The type of multimodal search input window affects the intrinsic, external, and overall cognitive load, and there were differences according to the number of search input values and the presence or absence of visual cues. The left and right scroll types were identified as the highest cognitive load regardless of the number of search values, and the display of visual cues helped to reduce the cognitive load. The up and down scroll types provide the most positive search experience when the search amount was small. In addition, the accordion type is suitable to use it with visual cues when the search amount is large.
Conclusions The results of this study will help build a strategy that can reduce cognitive load according to the multi-modal search input window, and the visual terminal. In addition, the study is expected to provide practical direction for future companies, which is expected for present companies.
Keywords:
Multi-modal, Multi-modal Search, Multi-modal Search Input Window Type, Search Input, Visual Cue, Cognitive Load키워드:
멀티모달, 멀티모달 검색, 멀티모달 검색 입력 창 유형, 검색 입력 값, 시각적 단서, 인지부하1. 서론
1. 1. 연구의 배경 및 목적
최근 인공지능(AI) 기술의 발전에 따라 멀티모달 AI에 대한 관심도가 증가하고 있으며, 사용자들은 모달리티 기술의 발전을 통해 멀티모달 검색이라는 새로운 검색 방식을 경험하고 있다. 네이버와 구글은 2022년부터 멀티모달 검색을 활용하여 더 나은 사용자 검색 경험이 이루어질 수 있도록 하고 있다. 사용자들은 이러한 모달리티 기술의 발달로 다양한 검색 경험을 할 수 있으며, 보다 많은 정보를 파악할 수 있게 되었다. 이미지와 텍스트를 모두 사용하는 멀티모달 검색은 사용자가 원하는 검색 결과를 시각적으로 빠르게 평가하고 원하는 정보를 찾기 쉽게 만들어 사용자 경험을 향상시킨다(유사라 외, 2023).
그러나 현재의 멀티모달 검색에 대한 연구는 기술적인 수단을 활용해 멀티모달 검색의 효율성을 향상시키기 위한 모델 및 알고리즘과 같은 기술 분야에 집중이 되어 있으며, 사용자 경험에 초점을 맞춘 연구는 제한적이다(Li et al., 2021). 무엇보다도 사용자들은 텍스트, 이미지, 음성 등 유니 모달리티를 활용한 검색에 익숙하기 때문에 이러한 검색 양식의 변화가 미칠 사용자 경험에 관한 연구가 필요하다.
그러므로 본 연구는 멀티모달 검색의 복잡성을 고려하여 멀티모달 검색 창의 유형, 검색 값의 개수, 최초 검색 값의 시각적 단서의 유무에 따라 인지부하에 미치는 영향에 대해 파악하고자 한다. 이를 통해 멀티모달 검색에 따른 사용자의 인지를 용이하게 하고 사용성과 만족감을 높일 수 있는 검색 경험에 관한 방안을 제안하고자 한다.
1. 2. 연구 방법 및 범위
본 연구는 사례조사를 통해 멀티모달 검색 입력 창의 유형을 네이버(좌우 스크롤 방식)와 구글(상하 스크롤 방식) 유형으로 구분하였다. 실증조사는 사례조사에서 파악한 좌우 스크롤 유형과 상하 스크롤 유형, 그리고 NNG의 시각적 복잡성 해소 가이드라인(2022)1) NNG 시각적 복잡성 가이드라인(2022): Nielsen Norman Group은 애플리케이션, 웹 사이트에서의 시각적 복잡성 해소를 위한 3가지 가이드라인을 제공하였으며, 내용은 다음과 같다, 첫째, 예측 가능한 곳에 위치시켜야 한다. 둘째, 시각적인 위계를 명확하게 해야 한다. 셋째, 점진적 노출 즉, 아코디언 메뉴 바 형식을 통해 관심이 있는 부분에 대해서 조금씩 노출시켜야 한다.
에 따라 아코디언 방식을 추가하여 총 세 가지 유형으로 진행하였다. 조절 변인으로는 검색 값의 개수(적음 vs. 많음), 시각적 단서의 유무(있음 vs. 없음)에 따라 실험물이 인지부하에 미치는 영향에 대해서 살펴보았다. 또한 인지부하는 내재적, 외재적, 전체 인지부하로 구분하여 조사하였다.
실험은 멀티모달 쇼핑 상황과 동일한 환경의 UI를 제작하여 실제 멀티모달 검색의 상황을 재현한 동영상 프로토타입을 시청한 뒤, 내재적, 외재적 인지부하 문항을 담은 설문지를 통해 인지부하를 측정하였다.
2. 이론적 배경
2. 1. 멀티 모달리티 인터랙션
멀티 모달리티란 어떤 생각을 표현하거나 지각하는 방식, 혹은 행동이 수행되는 하나 이상의 양식이다(주서영, 나건, 2021). 단일 모달리티 시스템은 하나의 모달리티를 사용하는 반면, 멀티 모달리티 시스템은 여러 모달리티에 의존한다(서준호, 2011). 멀티 모달 인터랙션은 단일 모달 인터랙션에 비해 더 많은 유연성과 안정성을 제공할 수 있으며, 모달리티의 조합을 사용하거나 더 적합한 모달리티로 전환할 수 있는 이점이 있다(이정선, 2023). 요약하면, 각각의 모달리티 인터랙션 유형은 단독으로 사용이 될 수도 있으며, 특정 모달리티 간의 결합을 통해 둘 이상의 모달리티를 결합하고 구성하는 멀티 모달리티 방식으로 입력 데이터를 전송할 수 있다.
구글과 네이버 등의 검색엔진들은 멀티모달 AI를 이용하여 이미지와 텍스트를 조합하는 등의 복합정보를 활용한 멀티모달 검색 방식을 도입하였다. 기업들은 이를 통해 보다 정교한 사용자 맞춤 검색 방식으로 차별화된 검색 환경을 구축하기 위해 노력하고 있다(권지민, 2023).
요약하면, 유니모달 검색이란 기존의 텍스트, 음성, 음악, QR, 비주얼 검색 중 단일 모달리티를 사용하는 검색 양식을 의미한다. 반면 멀티모달 검색이란 텍스트와 이미지의 조합과 같이 두개 검색 양식을 이용하는 것을 의미한다(유사라 외, 2023).
2. 2. 인지부하의 종류
인지부하(cognitive load)는 학습 또는 과제 수행 과정에서의 인지적 요구량을 의미하며, 학습을 위한 정보 처리 과정에서 작동기억에 부과되는 정신 활동의 총합을 뜻한다(Sweller, 1988). 따라서 학습 또는 주어진 과제를 해결할 때 처리해야 하는 정보가 학습자의 작동기억 용량을 초과하면 학습이 방해받게 되고 인지부하가 발생하게 된다(이정은, 2020). 인지부하는 내재적, 외재적, 본유적 인지부하로 구분할 수 있다.
첫째, 내재적 인지부하란 과제 자체의 구조와 복잡성에 의해서 발생하며 현재 해결해야 할 과제 자체의 난이도에 대한 부하를 뜻한다(Krieglstein et al., 2023). 내재적 인지부하는 학습자의 사전 지식과 밀접하게 관련된다. 사전 지식이 풍부한 학습자는 문제 해결 과정에서 관련 요소들을 이미 장기 기억에 청크 형태로 저장해 두었기 때문에, 작업 메모리에 부담을 덜어내고 내재적 부하가 낮아진다. 반면, 사전 지식이 부족한 학습자는 요소들을 개별적으로 처리해야 하므로 작업 메모리 자원을 더 많이 소모하게 되어 내재적 부하가 증가한다. 예를 들어, 유압 브레이크 시스템을 학습할 때, 관련 지식을 이미 보유한 학습자는 상호 작용하는 요소들을 청크로 묶어 처리할 수 있어 내재적 부하가 낮아지며, 지식이 부족한 학습자는 모든 요소를 개별적으로 처리해야 하므로 더 높은 부하를 경험한다(Sweller, 2011). 즉, 학습자의 선수 지식 보유와 관련이 깊으며, 학습 과제의 복잡성은 학습자의 선수 지식에 따라 상대적일 수 있다(Pass et al., 2003). 둘째, 외재적 인지부하란 외부적인 요인에 의해서 생기는 인지부하를 의미한다(Wang et al., 2023). 외재적 인지부하는 과제를 수행하기 위해 정보를 전달하는 방법이나 구성하는 방법 등에서 생기는 불필요하게 요구되는 인지적인 노력이며, 과제를 수행하기 위해 필요하지 않은 정보들이 있을 때 외재적인 인지부하가 증가한다(Chen et al., 2023). 그러므로 자료의 부적절한 설계는 작업 기억에 불필요한(또는 비생산적) 부하를 초래한다(Kalyuga et al., 2016). 마지막으로 본유적 인지부하란 사람이 정보의 맥락을 이해하고 재구성하며, 장시간동안 기억할 수 있도록 기존에 알던 스키마와 연결시키며 발생하는 인지부하를 의미한다(Mieke et al., 2013).
요약하면, 내재적 인지부하는 과제의 복잡성과 관련이 있는 부하를 의미하고, 외재적 인지부하는 자료의 외부 요인 즉, 디자인과 같은 전달 방식에 따라 나타날 수 있는 인지부하를 의미한다. 본유적 인지부하는 스키마 형성 및 자동화를 위해 필요한 학습에 도움이 되는 긍정적인 정신적 노력을 의미한다.
따라서, 본 연구에서는 본유적 인지부하가 자극물 자체와 관련된 인지부하이기보다는 선지식 및 개인의 정보 인지 프로세싱 과정과 관련이 있으므로, 본유적 인지부하를 배제하고 내재적, 외재적 인지부하를 중심으로 진행하였다.
2. 3. 시각적 단서
인간은 주변을 바라볼 때 행동의 목표에 부합하는 대상만을 선별적으로 찾아내고 그 위치나 속성을 기억하여 반응하는데, 이처럼 인간의 시각체계는 처리능력의 한계 때문에 시각정보 중에서 중요한 일부만 선택적으로 처리하는데 이를 시각적 주의(visual attention)라고 한다(권효정 외, 2012). 시각적 단서는 화살표, 색, 반짝임, 방향 지시 등 같은 그래픽을 추가하여 특정 부분을 강조하고 주의집중을 이끌어 내며, 이는 불필요한 인지활동을 하지 않게 돕고 보다 높은 정신적 노력을 요구하거나 정교한 정신모형을 구축할 수 있도록 한다(이경민 외, 2022).
이해해야 할 자료를 처리하는 데 도움이 되는 신호들은 정보를 선별적으로 선택하여 내용을 이해하며, 이러한 적절한 요소의 단서 제시가 학습자의 주의를 집중시켜 학습을 촉진시키는 것을 신호원리(signaling principle)라고 한다(Gog, 2014). 김명지(2015)는 스마트워치의 동적구조와 메뉴 탐색을 할 때의 시각적 단서를 통한 탐색 지원에 사용자들이 긍정적 반응을 보였고 실제로 시각적 단서가 메뉴 및 정보 탐색에 도움을 주었다고 응답하였음을 밝혔다. 특히, 색상을 이용한 시각 단서를 제공하였을 때, 작은 디스플레이에서 정보 구조의 카테고리를 파악하는 데 도움이 되며, 특별히 주의를 기울이지 않아도 ‘자동처리(automatic processing)’된다는 특징이 있다(경소영 외, 2002).
종합하면, 정보 처리, 탐색 과정에서 시각적 단서들은 사용자가 정보를 이해하고 기억을 하는 데에 있어서 도움을 줄 수 있다. 반면, 시각적 단서가 실시간 시각적 피드백을 제공하는 메커니즘은 인지부하 이론에서 말하는 외재적 부하(extraneous load)로 작용할 수 있으며, 이는 타이밍 연습의 결과에 부정적인 영향을 미친다.
시각적 단서가 인지부하를 늘릴 수도 있는 이유는 주로 과도한 정보 제공이나 불필요한 시각적 요소가 학습자의 주의력을 분산시키고, 처리해야 할 정보를 증가시킬 수 있기 때문이다(Wu et al., 2022). 그러나 시각적 단서가 학습자의 인지부하를 증가시킬 수 있다는 가능성을 인식하면서도, 이를 적절히 설계하고 활용하면 오히려 학습 효율을 향상시킬 수도 있을 것이다. 즉, 시각적 단서가 어떻게 인지부하를 줄이고 학습 효과를 극대화할 수 있는지에 대한 구체적인 원리를 파악하고, 효과적인 학습 환경을 설계하는 데 필요한 이론적 근거를 마련하고자 한다. 그러므로 본 연구에서는 최초 검색 값이라는 시각적 단서를 추가할 때, 검색 값을 기억하는 데 도움을 주었는지, 또 이것이 인지적으로 부담을 줄일 수 있는지를 알아보고자 한다.
3. 연구 범위 도출 및 연구 방법
3. 1. 멀티모달 사례조사
멀티모달 검색 화면의 사례조사 범위는 대표 검색엔진인 구글과 네이버의 사례로 선정하여(Figure 1), 아래 Table 1,2와 같이 멀티모달 검색 입력 창의 유형, 검색 입력 값의 개수, 검색 입력 값의 형태, 검색 추가 버튼, 화면의 유형, 가이디언스에 대한 UI 구성요소를 분석하였다. 사례 조사 결과, 검색 추가 버튼, 검색 입력 값의 형태, 가이디언스는 사용자의 멀티모달 검색 경험을 보조했으며, 인지부하에 미치는 영향이 크지 않았다고 판단했다. 이는 이들이 사용자의 검색 과정을 직관적으로 안내하고 구조화하여, 추가적인 인지적 노력을 요구하지 않았기 때문이다.
Multi-modal Search by Naver and Google
Multi-modal Search: Naver
Multi-modal Search: Google
반면, 검색 입력 창의 유형은 사용자가 검색을 입력하는 방식에 영향을 미치며, 검색 입력 값의 개수는 사용자가 입력하는 정보의 양과 관련이 있어 이러한 방식은 멀티모달 검색 시 인지부하에 영향을 미칠 수 있다고 판단하였다. 검색 입력창 유형은 사용자가 정보를 입력하는 방식과 직접적으로 연결되며, 이는 과업의 본질적 복잡성, 즉 내재적 인지부하와 관련이 있다. 또한, 검색 입력 값의 개수는 작업 수행 과정에서 사용자의 작업 기억 용량에 부담을 주는 외부 요인이며, 시각적 단서는 멀티 모달 검색 시의 인지적인 부담을 줄여 줄 수 있는 디자인 즉, 외재적 인지부하 속성에 근거한 것으로 볼 수 있다. 이에, 본 연구의 범위는 인지부하에 영향을 줄 수 있는 요소인 검색 입력 창의 방식, 검색 입력 값의 개수로 제한하였다. 현재의 멀티모달 검색 입력 값의 최초 검색 값과 이후의 검색 값을 인지적으로 구분할 수 있는 요소가 없기에 시각적 단서를 추가하여 인지부하에 미치는 영향을 확인하고자 하였다.
3. 2. 연구모형 및 가설
본 연구는 멀티모달 검색 입력창의 유형이 인지부하(내재적, 외재적 인지부하)에 미치는 영향과 검색 입력 값의 개수, 시각적 단서의 유무에 대한 조절 효과를 검증하였다. 독립 변수는 멀티모달 검색 입력 창의 유형이며, 종속 변수는 내재적 인지부하, 외재적 인지부하, 두 인지부하의 전체 값으로 선정하였다. 또한 멀티모달 검색 입력 값의 개수는 많음, 적음으로 시각적 단서가 있음, 없음을 조절 변수로 설정하였다. 연구 모형은 Figure 2와 같으며, 연구 가설은 Table 3과 같다.
Research Model
Hypothesis
4. 실험 설계
4. 1. 연구 대상 및 실험 절차
본 실험은 멀티모달 검색 입력 창의 유형, 검색 값의 개수, 최초 검색 값의 시각적 단서의 유무의 차이에 따른 인지부하에 미치는 영향에 대한 차이를 연구하였다. 앞서 네이버와 구글의 멀티모달 검색 입력 창의 유형(좌우 스크롤, 상하 스크롤)과 아코디언 형식을 추가하여 총 3개 실험물을 구성하였다. NNG의 시각적 복잡성 해소 가이드라인(2022)에 따르면 아코디언 형식의 점진적 노출(Progressive disclosure)은 사람들이 관심이 있고 태스크를 수행하는 부분을 조금씩 노출시키고, 심화시키는 방식으로 진행을 시각적 복잡성을 감소시킬 수 있다.
사례조사(Table 1, 2)를 통해 네이버와 구글의 입력 가능한 검색 값 개수 차이를 확인하였다. Miller(1956)는 단기기억(Short Term Memory)의 용량을 평균적으로 7±2개(최소 5개, 최대 9개)로 제시했으나, Cowan(2001)은 단기기억의 순수 용량이 약 4개의 청크로 제한될 수 있다고 주장하며, 실험 조건에 따라 이 한계가 다르게 나타날 수 있음을 밝혔다. 특히, Cowan은 정보 과부하 상황에서 단기기억의 제한이 더 뚜렷이 드러나며, 외재적 요인 즉, 시각적 단서가 이를 보완할 수 있음을 간접적으로 시사하였다. 이에 따라 본 연구는 검색 값의 개수를 최소 5개에서 최대 12개로 설정하고, 시각적 단서의 유무가 작업 기억과 외재적 인지부하를 조절하는지에 관해 분석하였다.
또한, Keller & Stealin(1987)의 연구를 참고하여 정보량 범위를 4, 8, 10, 12개로 설정하였으며, 네이버 기준으로 평균적으로 4개의 검색 값이 한 줄에 가려지지 않는 조건임을 확인하였다. 그러나 5개 이상의 값이 입력되면 일부 정보가 가려질 수 있어, 본 연구는 멀티모달 검색 입력 창에서 최소 검색 기준 값을 5개로 설정하였다.
시각적 단서의 경우, 이정은과 조일현(2020)의 연구에서 과제 수행 시 주의 집중을 강화하고 외재적 인지부하를 줄임으로써 인지적 노력을 지원할 수 있음이 확인되었다. 따라서 본 연구는 초기 검색 값이라는 시각적 단서의 유무가 멀티모달 검색에서 인지부하를 줄이는 데 효과적인지 검토하고자 하였다.
본 연구는 기존 내재적, 외재적 인지부하 측정을 위한 정량적인 설문지와 선행 연구를 바탕으로 설계된 실험물을 사용하여 양적 연구 방법으로 수행되었다. 연구 절차는 Figure 3과 같이 3단계로 구성되었다.
Experimental Procedure
4. 2. 실험물 제작
본 실험은 좌우 스크롤 형, 상하 스크롤 형, 아코디언 형의 총 3가지로, 멀티모달 검색 입력 값은 적음(이미지+텍스트 5개), 많음(이미지+텍스트 12개), 최초 검색 값의 시각적 단서의 유무로, 총 12가지의 멀티모달 검색 입력 상황에 관한 프로토타입 영상물을 제작하였다. 본 실험은 한사람이 12개의 프로토타입 영상물을 시청하는 것은 정확한 실험이 어려우므로, 검색 값이 적고 많음의 2개의 그룹으로 나누어 6개의 영상물을 교차로 실험자에게 보여주어 진행하였다. “검색 값의 적음/많음” 그룹을 나누었고, 각 그룹 내에서 실험 조건을 무작위로 배정하였다. 이원 분산 분석(ANOVA) 사용하여 교차 효과(interaction effect)가 실험 결과에 미치는 영향을 분석했다.
Experimental Type Coding
Multimodal Search Input Window (Dotten line)
Prototype Screen
5. 연구 결과
5. 1. 인구 통계학적 특성
본 연구에 참여한 대상은 총 242명으로 성별의 경우 남성 113명(46.7%), 여성 129명(53.3%), 연령대의 경우 20대 119명(49.2%), 30대 123명(50.8%)이 참여하였다. 멀티모달 검색 사용경험이 ‘네’ 50명(20.7%), ‘아니오’ 192명(79.3%)으로 ‘아니오’가 많았다. 사용 플랫폼의 경우 네이버 27명(11.2%), 구글 9명(3.7%), Chat GPT 14명(5.8%)이며, 사용동기의 경우 쇼핑 25명(10.3%), 정보탐색 20명(8.3%), 학습 3명(1.2%)으로 기타 2명(0.8%)이었다.
5. 2. 가설 1 검증
멀티모달 검색 입력 창의 유형에 따른 인지부하의 차이를 살펴보기 위해 분산분석(one-way-ANOVA) 후, 사후검정은 Scheffé를 활용하였다. 분석결과 내재적 인지부하(F=76.852, p<.001), 외재적 인지부하(F=79.825, p<.001), 인지부하 전체(F=91.115, p<.001) 모두 통계적으로 유의한 차이가 있었다<Table 7>. 자세히 살펴보면, 멀티모달 검색 입력 창의 유형 중 아코디언 형, 상하 스크롤 형이 좌우 스크롤 형보다 인지부하가 낮았다.
Result of Multimodal Search Input Window Types
5. 3. 가설 2 검증
멀티모달 검색 입력 창의 유형이 검색 입력 값의 개수에 따른 내재적, 외재적, 인지부하 전체에 미치는 영향을 검증하기 위해 분산분석(two-way-ANOVA)을 활용한 상호작용효과(interaction effect)를 분석하였다. 아래 Table 8과 같이 상호작용효과는 통계적으로 유의하였다(내재적 인지부하:F=14.330, p<.001, 외재적 인지부하 :F=5.011, p<.01, 인지부하 전체:F=13.057, p<.001). 따라서 가설 2-1~3은 채택되었다. 자세히 살펴보면, 검색 값이 적을 때는 상하 스크롤 형의 인지부하 평균 점수가 가장 낮았으며, 검색 값이 많을 때는 아코디언 형의 인지부하 평균 점수가 가장 적었기 때문에 검색 값이 적을 때는 상하 스크롤 형이, 검색 값이 많을 때는 아코디언 형이 가장 적게 인지부하가 발생하였다(Table 9).
Result of Multimodal Search Input Window Types and Number of Search Inputs two-way ANOVA
Effect of Multimodal Search Input Window Types and Number of Search Inputs
5. 4. 가설 3 검증
멀티모달 검색 입력 창의 유형이 시각적 단서에 따른 내재적, 외재적, 인지부하 전체에 미치는 영향을 검증하기 위해 분산분석 (two-way-ANOVA)을 활용한 상호작용효과(interaction effect)를 분석하였다. 아래 Table 10에 나타난 바와 같이 상호작용효과가 통계적으로 유의하였다(내재적 인지부하:F=19.437, p<.001, 외재적 인지부하 :F=16.623, p<.001, 인지부하 전체:F=21.244, p<.001). 따라서 가설 3-1~3은 채택되었다. 자세히 살펴보면, 시각적 단서가 없을 때는 상하 스크롤 형이, 시각적 단서가 있을 때는 아코디언 형이 긍정적인 검색 경험을 주었다. 또한, 세 가지의 검색 입력 창 유형 중, 좌우 스크롤 형이 시각적 단서가 있을 때, 가장 효과적이었다(Table 11).
Result of Multimodal Search Input Window Type and Presence of Visual Cue of Search Inputs two-way ANOVA
Effect of Multimodal Search Input Window Types and Presence of Visual Cue
내재적 인지부하보다 외재적 인지부하일 때의 인지부하 점수가 전반적으로 좌우 스크롤 형에서는 더 높았지만, 상하 스크롤 형과 아코디언 형에서 시각적 단서가 있는 경우는 외재적 인지부하가 내재적 인지부하보다 낮게 나타났다. 이는 시각적 단서가 있을 때, 상하 스크롤 형과 아코디언 형은 지침에 따른 복잡성, 즉 외재적 인지부하를 낮추어 주었음을 알 수 있다.
6. 연구 결론 및 제언
6. 1. 연구 결론
본 연구의 결과에 대한 요약은 다음과 같다.
첫째, 멀티모달 검색 입력 창의 유형에 따른 내재적, 외재적, 전체 인지부하에는 통계적으로 유의한 차이가 있었다. 전체 인지부하는 좌우 스크롤 형, 아코디언 형, 상하 스크롤 형 순으로 높게 나타났다. 따라서 전반적인 인지부하는 상하 스크롤이 가장 낮고, 멀티모달 검색을 하는 데 있어서 인지에 가장 도움이 되는 유형이었다.
둘째, 멀티모달 검색 입력 창의 유형, 검색 입력 값의 개수에 따라 내재적, 외재적, 전체 인지부하에는 통계적으로 유의한 차이가 있었다. 검색 값이 적을 때 전체 인지부하는 좌우 스크롤 형, 아코디언 형, 상하 스크롤 형 순으로 높게 나타났다. 또한 검색 값이 많을 때 전체 인지부하는 좌우 스크롤 형, 상하 스크롤 형, 아코디언 형 순으로 높게 나타났다.
정리하면, 상하 스크롤 형은 검색 값이 적을 때 가장 인지부하가 적은 유형이었으며, 반면 아코디언 형은 검색 값이 많을 때 가장 인지부하가 적은 유형이었다. 아코디언 형은 시각적 복잡성 해소 가이드라인에 따라 검색 값을 접었다 펼칠 수 있기 때문에 인지부하를 해소할 수 있으며, 정보에 집중할 수 있었던 것으로 생각할 수 있다.
셋째, 멀티모달 검색 입력 창의 유형, 시각적 단서의 유무에 따라 내재적, 외재적, 전체 인지부하에는 통계적으로 유의한 차이가 있었다. 시각적 단서가 있을 때 인지부하는 좌우 스크롤 형 상하 스크롤 형, 아코디언 형 순으로 높게 나타났고, 시각적 단서가 없을 때 인지부하는 좌우 스크롤 형, 아코디언 형, 상하 스크롤 형 순으로 높게 나타났다. 즉, 아코디언 형은 시각적 단서가 있을 때 인지부하가 가장 적은 유형이며, 시각적 단서 표시를 병행하는 것이 더욱 효과적이라고 할 수 있다. 상하 스크롤 형은 시각적 단서가 없을 때 인지부하가 가장 적은 유형이며, 검색 값을 항상 한눈에 볼 수 있기 때문에 시각적 단서의 표시에 대한 효과가 크게 작용하지 않았다고 할 수 있다.
연구 결과를 종합하면, 멀티모달 검색 입력 창의 유형은 내재적, 외재적, 전체 인지부하에 영향을 주며, 검색 입력 값의 개수와 시각적 단서의 유무에 따라 차이가 나타났다. 좌우 스크롤 형, 아코디언 형, 상하 스크롤 형 순으로 인지부하가 높게 나타났으며, 검색 값이 적을 때와 시각적 단서가 있을 때, 사용자에게 더욱 긍정적인 검색 경험을 제공하였다. 하단의 Table 12에서는 위의 실험의 각 변인에 따른 인지부하의 결과에 따른 정도를 종합 정리하였다.
Experimental Type Coding
(●: 인지부하 가장 높음, ◎: 인지부하 중간, ○: 인지부하 가장 낮음)
6. 2. 시사점 및 한계점
본 연구는 최초 검색 값이라는 시각적 단서가 멀티모달 검색 시 인지부하 감소에 도움이 되었음을 파악하였다. 이러한 결과는 시각적 단서가 과제를 수행하는 데 있어서 주의 집중을 유도하며 인지부하를 줄일 수 있게 도움을 주었다는(이정은, 조일현, 2020) 선행 연구의 결과와 일치하였다.
본 연구의 결과를 바탕으로 Figure 5와 같이 검색 값의 개수에 따른 적합한 멀티모달 검색 창 유형을 제안하고자 한다.
Multimodal Search Input Design Consideration
좌우 스크롤 유형은 검색 값이 적을 때와 많을 때 인지부하가 가장 높은 유형이었으며, 시각적 단서의 표시가 효과적이었다. 검색 값이 적을 때는 상하 스크롤 유형이, 검색 값이 많을 때는 아코디언 유형이 효과적인 유형이었으며 상하 스크롤 유형보다는 아코디언 유형에서의 시각적 단서를 병행하는 것이 인지부하 감소에 도움을 주었다. 또한 본 연구는 최초 검색 값이라는 시각적 단서를 제공하는 것이 인지부하를 줄일 수 있기 때문에, 멀티모달 검색 서비스에서 시각적 단서를 활용할 것을 제안한다.
본 연구는 프로토타입 영상을 시청한 후 주관적 점수로 인지부하를 측정했기 때문에 디자인의 심미성이나 시각적 복잡도의 영향을 받을 가능성이 있으며, 실제 사용 환경에서의 수행도 평가가 이루어지지 않아 연구 결과의 활용에 제한이 있다. 따라서, 향후 연구에서는 실제 사용자 환경에서 실험을 진행해 수행도 데이터를 객관적으로 수집하여, 보다 실질적이고 적용 가능한 연구를 진행하는 것이 필요할 것이다.
Glossary
1) NNG 시각적 복잡성 가이드라인(2022): Nielsen Norman Group은 애플리케이션, 웹 사이트에서의 시각적 복잡성 해소를 위한 3가지 가이드라인을 제공하였으며, 내용은 다음과 같다, 첫째, 예측 가능한 곳에 위치시켜야 한다. 둘째, 시각적인 위계를 명확하게 해야 한다. 셋째, 점진적 노출 즉, 아코디언 메뉴 바 형식을 통해 관심이 있는 부분에 대해서 조금씩 노출시켜야 한다.
2) 가이디언스 : 멀티모달 검색을 최초 사용할 때 도움을 주는 텍스트 문구
Acknowledgments
This paper was written based on the Master Dissertation Thesis in 2024.
본 연구는 2024년 석사학위논문을 바탕으로 작성되었습니다.
Notes
Copyright : This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted educational and non-commercial use, provided the original work is properly cited.
References
-
Briana, B., Brian, D., & Mark, G. (2014). Measuring cognitive load in introductory CS: adaptation of an instrument. Association for Computing Machinery, 131-138.
[https://doi.org/10.1145/2632320.2632348]
-
Chen, O., Paas, F. & Sweller, J. (2023). A Cognitive Load Theory Approach to Defining and Measuring Task Complexity Through Element Interactivity. Educational Psychology Review, 35(2), 63.
[https://doi.org/10.1007/s10648-023-09782-w]
-
Cowan, N. (2001). The magical number 4 in short-term memory: A reconsideration of mental storage capacity. Behavioral and Brain Sciences, 24(1), 87-114.
[https://doi.org/10.1017/S0140525X01003922]
-
Joo, S., & Na, K. (2021). A case study on modality types following the evolution of conversational interfaces. Bulletin of Korean Society of Basic Design & Art, 22(2), 567-583.
[https://doi.org/10.47294/KSBDA.22.2.40]
-
Krieglstein, F., Beege, M., Rey, G. D., Sanchez-Stockhammer, C., & Schneider, S. (2023). Development and validation of a theory-based questionnaire to measure different types of cognitive load. Educational Psychology Review, 35(1), 9.
[https://doi.org/10.1007/s10648-023-09738-0]
-
Kwon, H., & Lee, H. (2012). The influence of applying visual cues in graphic information on immersion and recognition tendencies. Journal Of Korea Multimedia Society, 15(9), 1174-1183.
[https://doi.org/10.9717/kmms.2012.15.9.1174]
- Kwon, J., & Yoon, J. (2023). A study on the differences in search experiences based on the position of search targets in modality interaction. Journal of Communication Design, 82, 119-135.
- Kyung, S., Park, K., Park, J., & Park, J. (2002). A study on color space navigation systems for effectively forming perceived information structures. Archives of Design Research, 15(3), 167-180.
- Kim, M. (2015). A study on menu structures for efficient navigation on smartwatches. Master's Thesis, Yonsei University, Graduate School of Information, Seoul.
-
Keller, K. L., & Staelin, R. (1987). Effects of quality and quantity of- 33 -information on decision effectiveness. Journal of Consumer Research, 14, 200-213.
[https://doi.org/10.1086/209106]
-
Klepsch, M., Schmitz, F., & Seufert T. (2017). Development and Validation of Two Instruments Measuring Intrinsic, Extraneous, and Germane Cognitive Load. Frontiers in psychology, 8,1997.
[https://doi.org/10.3389/fpsyg.2017.01997]
-
Krieglstein, F., Beege, M., & Rey, G.D. et al.(2023). Development and Validation of a Theory-Based Questionnaire to Measure Different Types of Cognitive Load. Educational Psychology Review, 35(1), 9.
[https://doi.org/10.1007/s10648-023-09738-0]
-
Kalyuga, S., & Singh, A. M. (2016). Rethinking the boundaries of cognitive load theory in complex learning. Educational Psychology Review, 28, 831-852.
[https://doi.org/10.1007/s10648-015-9352-0]
-
Li, Z., Zhu, J., & Li, X. (2022). Factors influencing the behavior of multi-modal information search. Library Hi Tech, 40(5), 1459-1482.
[https://doi.org/10.1108/LHT-11-2020-0288]
-
Lee, J., & Jo, I. (2020). The effects of visual cues and learners' metacognitive levels on cognitive load in text-based multimedia learning. Journal of Korean Association for Educational Information and Media, 26(3), 539-565.
[https://doi.org/10.15833/KAFEIAM.26.3.539]
- Lee, J. (2023). A theoretical review of synesthetic modality for synesthetic experience design. Design Research, 8(1), 189-198.
-
Lee, k,, Choi, S., Choi, S,, & Kim, D. (2022). The effects of interaction levels and types of visual cues in interactive 3D learning materials on cognitive load. Journal of Digital Contents Society, 23(5), 861-870.
[https://doi.org/10.9728/dcs.2022.23.5.861]
-
Leppink, J., Paas, F., van Gog, T., van der Vleuten, C. P. M., & van Merriënboer, J. J. G. (2014). Effects of pairs of problems and examples on task performance and different types of cognitive load. Learning and Instruction, 30, 32-42.
[https://doi.org/10.1016/j.learninstruc.2013.12.001]
-
Miller, G. A. (1956). The magical number seven, plus or minus two: Some limits on our capacity for processing information. Psychological review, 63(2), 81.
[https://doi.org/10.1037/h0043158]
-
Matthew, G. (2020). The effect of adding same-language subtitles to recorded lectures for non-native, english speakers in e-learning environments. Research in Learning Technology, 28.
[https://doi.org/10.25304/rlt.v28.2340]
-
Pass, F., Renki, A., & Sweller, J. (2003). Cognitive load theory and instructional design: Recent developments. Educational Psychologist, 38(1), 1-4.
[https://doi.org/10.1207/S15326985EP3801_1]
-
Sobotta, N., & Neßling, E. (2016, January). Measuring E-Mail induced information overload from a capacity perspective: A research model and pilot test. In 2016 49th Hawaii International Conference on System Sciences (HICSS) (pp. 5147-5156). IEEE.
[https://doi.org/10.1109/HICSS.2016.637]
- Suh, J., & Kim, L. (2011). Mobility in interactive design. Archives of Design Research, 24(1), 105-116.
-
Sweller, J., Van Merriënboer, J. J. G., & Paas, F. (1998). Cognitive architecture and instructional design. Educational Psychology Review, 10, 251-296.
[https://doi.org/10.1023/A:1022193728205]
-
Sweller, J. (2011). Cognitive load theory. Psychology of learning and motivation, 55, 37-76.
[https://doi.org/10.1016/B978-0-12-387691-1.00002-8]
-
Van Gog, T. (2014). The Signaling (or Cueing) Principle in Multimedia Learning. The Cambridge Handbook of Multimedia Learning, 263-278.
[https://doi.org/10.1017/CBO9781139547369.014]
-
Vandewaetere, M., & Clarebout, G. (2013). Cognitive load of learner control: Extraneous or germane load?. Education Research International, 2013(1), 902809.
[https://doi.org/10.1155/2013/902809]
-
Wang, T., Li, S., Tan, C., Zhang, J., & Lajoie, S. P. (2023). Cognitive load patterns affect temporal dynamics of self-regulated learning behaviors, metacognitive judgments, and learning achievements. Computers & Education, 207, 0360-1315.
[https://doi.org/10.1016/j.compedu.2023.104924]
- Wu, M., Hung, M., Chiu, M., Chuang, C., & Lin, Y. (2022). Impact of visual cues and feedback on learning performance: Different learning styles and cognitive loads. International Research Journal of Engineering Science, Technology and Innovation, 8(5).
- Yu, S., Shin, H., & Lee,K. (2023). A multimodal search system utilizing image-text contrastive learning. Proceedings of the Korea Contents Association Conference, 21-22.
