설문지 디자인에서 지시문 및 질문의 색상이 응답자의 ‘설문 인지, 응답 시간, 응답 정확도’에 미치는 영향

1. 1. 연구배경 및 목적

경제학, 심리학, 교육학, 사회학, 정치학 등 여러 분야에서는 설문을 통한 표집 결과를 토대로 다양한 정책을 만들거나 예산, 인력 등을 편성한다. 이원철, 강만수, 김진호(Lee, Kang & Jin, 2020)에 의하면 우리나라는 국가 산업으로 설문조사를 지속적으로 실시하여 사회의 다양한 문제를 파악하고 이를 해결하기 위해 노력한다고 하였다. 이렇듯 통계 수집을 통한 양적 연구에서 설문지는 연구의 중추 역할을 수행한다. 김재훈(Kim, 1995)은 조사 과정에 있어서 90%의 기능을 수행할 정도로 설문지 구성이 매우 중요하며, 설문지 결과 값이 잘 도출되어야 성공적인 조사를 할 수 있다고 보았다. 그러므로 설문지는 양적 연구를 수행하기 위한 단순한 역할을 넘어 사회 변화에 중대한 영향을 미칠 수 있는 중요한 도구로서의 의미를 갖는다.

하지만 연구자가 설문지를 체계적으로 구성했다 하더라도 불성실 응답자가 발생하는 경우가 빈번하게 발생하고 있다. 불성실 응답이란 지시문 혹은 질문을 읽지 않고 모든 문항에 대해 통일된 하나의 번호로 기재하거나, 결측값을 만드는 것을 의미한다. 이러한 불성실 응답의 대표적 사례로는 대학교에서의 강의평가를 들 수 있는데, 이원석, 이현우, 정연근(Lee, Lee & Tschong, 2012)의 연구에 의하면 강의평가에서 모든 평가 문항에 하나의 선택지로 응답하는 일관적 응답자(혹은 무성의 응답자) 비율이 50% 이상으로 나타났다. 이를 토대로 해당 연구는 불성실 응답으로 인한 강의평가 결과의 타당성 및 신뢰성에 문제를 제기하였다. 이렇듯 불성실 응답은 연구 도구로서 설문지의 의미를 퇴색되게 한다. 즉, 제대로 설계된 설문일지라도 불성실한 응답이 다수 발생한다면 연구 결과의 가치가 저하되며, 나아가 설문지를 통해 알아보고자 했던 사회적 문제나 현상을 정확히 알 수가 없다는 문제점을 발생시킨다. 본 연구에서는 불성실 응답의 원인을 알아보고자, 불성실 응답 경험이 있는 대상에게 구조적 심층면담 방법을 사용하여 파일럿 연구를 실시하였다. 그 결과, 불성실 응답은 많은 글을 읽고 싶지 않거나 자신의 시간을 설문에 할애하고 싶지 않았기 때문에 발생하는 것으로 나타났다.

따라서 본 연구는 이러한 불성실 응답의 원인을 줄이기 위한 효율적인 설문지 구성의 필요성을 느끼고, 그 해결을 설문지 디자인을 통해 접근하고자 한다. 즉, 응답자들이 지시문이나 질문에 대해 정확히 인지하되 설문지에 할애되는 시간을 줄일 수 있는 방안을 인지정보디자인 측면에서 접근하고자 하는 것이다.

1. 2. 연구방법 및 내용

본 연구의 주요 내용은 설문지 지시문 및 질문의 텍스트를 인지정보디자인의 시각적 요소를 적용해 설문지에 대한 응답자의 ‘설문 이해, 설문 시간, 설문 정확도’의 차이를 알아보는 것이다. 이를 위한 연구 절차 및 방법은 다음과 같다. Table 1 참조.

Table 1

Research Process and Method

첫 번째, 설문지 응답자가 왜 설문에 불성실하게 응답하는지 원인을 알아보기 위한 파일럿 연구는 질적 연구의 구조적 심층면담 방법을 사용하였다. 구조적 심층면담은 2022년 10월 5일부터 19일까지 불성실 설문 응답 경험이 있는 참여자 3명을 대상으로 각각 1회씩 면담을 실시하였다. 심층면담의 응답 내용을 종합하여 불성실 응답을 하게 된 주요 원인을 파악하고 인지정보디자인을 통해 문제점을 해결하고자 하였다.

두 번째, 실험 및 통제 도구인 설문지는 전기순(Jeon, 2006)과 김해태(Kim, 2014)의 선행 연구를 바탕으로 인지정보디자인 요소인 ‘색(Color)’을 변인으로 하여 설계하였다. 개발된 설문지는 교육학 박사학위 소지자 3인과 인지정보디자인 전공자 3인에게 내용 타당성을 검증받았다.

세 번째, 인지정보디자인 요소가 적용된 설문지의 효과성을 검증하기 위해 2022년 10월부터 12월까지 약 2달간 성인 남녀 90명을 대상으로 실험을 실시하였다. 연구 참가자 90명은 각 45명씩 실험과 통제집단으로 나누어 인지정보디자인 요소가 적용된 설문과 그렇지 않은 설문 13문항을 응답하였다. 이후 SPSS를 사용하여 집단 간 차이분석과 교차분석을 실시하였다.

2. 1. 설문지의 개념 및 특징

김석용(Kim, 2018)은 설문지법(Questionnaire Method)이란 “설문지를 사용하여 답변을 얻는 방법”으로서 1차 자료 수집 방법 중 가장 대표적이며, 여러 방법을 활용하여 질문을 구성할 수 있어 융통성 및 객관성이 높은 자료 수집 방법이라고 하였다. 즉, 설문지법은 여러 질문들을 통해 현황을 파악 하고 연구 문제를 도출할 수 있는 측정 도구이며, 질적 연구에 비해 조사하는 데 시간이 적게 들고 다수의 의견을 빠르게 표집할 수 있다는 장점이 있다. 설문지법은 조사 방법에 따라 면접조사(Interview Survey), 우편조사(Mailed Survey), 전화조사(Telephone Survey), 집단조사(Group Survey)로 분류된다. 특히 최종후와 전새봄(Choi & Jeon, 2013)은 이러한 조사 방법은 모집단의 양태(Type of Population), 질문 형태 및 질문 내용, 응답률, 비용과 소요시간에 따라 결정된다고 보았다. 류진화(Ryu, 2002)에 따르면 미국의 경우 면접조사와 우편조사로 설문이 진행되어오다 70년대부터 전화조사, 80년대에는 컴퓨터 이용 전화조사(CAPI: Computer Assisted Telephone Interviewing)와 컴퓨터 이용 대인면접(CAPI: Computer Assisted Personal Interviewing) 조사, 최근에는 인터넷을 이용한 이메일 서베이 EMS(Electronic Mail Survey)가 주로 사용되고 있다. 이러한 설문지법은 ‘①연구설계, ②표집, ③설문지 작성, ④자료 수집, ⑤자료 분석, ⑥보고서 작성’ 같은 절차를 통해 이루어지는데, 그 중 ‘③설문지 작성’ 단계는 설문지법 연구에서 가장 중요한 단계이다. 김경호(Kim, 2014)는 설문지 작성에 있어 연구자는 ‘설문지 문항 배열 순서, 구성체제, 도입부’에 유의하여 설문지를 구성해야한다 보았다.

본 연구에서는 이 세 가지 유의점 이외에 ‘설문지 인지정보디자인’을 중요한 설문지 요소로 보고 있다. 왜냐하면 과거의 설문보다 오늘 날의 설문은 다양한 대상, 정보, 기법으로 실행되고 있기 때문이다. 그러므로 단순히 설문지 문항의 내용에만 집중하는 것이 아니라 남녀노소 누구나 빠르고 정확하게 설문의 정보를 이해할 수 있도록 해야 한다. 이광득과 이진호(Lee & Lee, 2018)는 자크 버틴(JacqouesBertin)의 기준에 따라 ‘타이포그래피, 도형, 아이콘·픽토그램, 포토그래픽’으로 인지정보를 디자인할 수 있다고 보았다. 따라서 설문지 디자인에도 이미지, 색, 폰트, 크기 등과 같은 인지정보디자인 요소를 적절하게 활용할 필요가 있다.

2. 2. 인지정보디자인(Cognitive Information Design)

인지(Cognitive)란 어떤 정보를 받아들이는 과정을 의미한다. 인지에 대해 골드스타인(Goldstein, 2015)은 ‘지각, 주의, 기억’과 같은 심리적 과정들을 의미한다고 하였다. 이러한 인지는 오감을 통해 이루어지는데, 성은숙(Seong, 2015)에 따르면 오감 중 70% 이상의 정보 인지는 시각을 통해서 이루어질 정도로 시각은 인지에 가장 큰 영향을 주는 감각이다. 콜린(Colin, 2015) 역시 인지과정에 있어 시각적 작업 기억이 핵심요소라며 인지과정에서 시각의 중요성을 강조하였다. 현은령(Hyun, 2012)은 다양한 감각을 통해 인지된 정보는 시각정보를 위주로 재구성되며, 시각정보는 주변환경에 대한 현실감 및 실물의 존재감을 전달하므로 그 중요성이 높다 하였다. 김해민(Kim, 2007) 또한 대다수의 정보를 인지하는 감각기관은 시각이라 하였다. 이러한 선행 연구를 종합하였을 때, 인지과정에 있어 시각을 통한 정보 인지는 타 감각에 비해 그 중요성이 상당히 높다는 것을 알 수 있다. 그렇기에 설문지 디자인에 있어서도 중요한 인지정보 획득 기능을 수행하는 시각적 구성 방안이 필요하다.

이러한 시각적 인지정보 획득 과정을 효과적으로 수행할 수 있도록 돕는 대표적인 방법으로 인지정보디자인(Cognitive Information Design)이 있다. 인지정보디자인이란 정보 수용자의 시각적 인지가 효과적으로 이루어질 수 있도록 시각자료를 디자인하는 방법이다. 원종욱, 조윤성, 김세웅(Won, Cho & Kim, 2018)은 인지정보디자인에 대해 “사용자에게 더욱 빠르고 쉽게 정보를 전달하기 위하여 데이터를 시각 정보로 가공하고 그래픽 요소를 활용하여 의미를 부여하는 작업”이라고 정의하였다. 인지정보디자인은 연구에 따라 ‘정보디자인(Information Design)’, ‘시각정보디자인(Visual Information Design)’으로도 불린다. 배민기(Bae, 2015)에 따르면 ‘정보디자인’이란 단순히 나열된 데이터를 사용자의 의도에 따라 조직화하여, 이를 효과적으로 정보 수용자에게 제공하는 방법이라고 하였다. 김현정(Kim, 2018) 역시 정보를 ‘효과적, 능률적, 매력적’으로 정보 수용자에게 제공하는 방법이라고 정보디자인을 정의하였다. 최세화(Choi, 2019)는 수용자가 효과적으로 정보를 받아들일 수 있도록 정보를 시각화하여 전달하는 과정을 ‘시각정보디자인’이라고 하며, 정보는 오감을 사용하여 다양하게 전달할 수 있지만 대개 시각화하여 전달되기에 ‘시각정보디자인’이라고 하기 보단 ‘정보디자인’이라고 표현하는 경우가 일반적이고 시각정보디자인은 정보디자인의 하위요소라고 하였다. 이러한 선행 연구들의 관점으로 볼 때, 인지정보디자인과 정보디자인, 시각정보디자인은 그 의미가 일맥상통한다고 볼 수 있다.

인지정보디자인은 색과 이미지를 활용하는데, 이는 텍스트가 중심이 되는 형식보다 즉각적인 뇌의 이해를 이끌어내기 때문에 빠른 정보처리에 용이하다는 장점을 가지고 있다. 설문지 구성 디자인에 있어서도 이러한 인지정보디자인의 특성이 반영된다면 앞서 제기된 불성실 응답자가 발생하는 요인을 줄일 수 있을 것이다. 설문지는 양적 연구의 특성으로 바라보았을 때 대개 빠른 시간 안에 정확하게 응답을 하는 것이 중요한데, 설문지에 인지정보디자인을 적용함으로써 응답자는 보다 빠르고 정확하게 정보를 전달 받을 수 있어 설문 응답에 대한 저항력을 낮출 수 있을 것으로 기대된다.

2. 3. 인지정보디자인의 ‘색(Color)’ 시각 속성

이미연과 강승희(Lee & Kang, 2011)는 시각자료를 인지하는 요소를 ‘시각 속성’이라고 정의하였다. 도시쿠니(Toshikuni, 2020)는 시각 속성을 어떻게 사용하는지에 따라 정보를 보다 신속하고 정확하게 파악할 수 있다고 하였다. 시각 속성은 연구에 따라 여러 요소로 분류되지만, 대표적으로 자크 버틴(Jacqoues Bertin)의 시각 속성 분류 기준이 사용된다. 자크 버틴(Jacqoues Bertin, 1983)은 시각 속성을 ‘Position, Size, Shape, Value, Color, Orientation, Texture’로 분류하였다. 김해태(Kim, 2014)에 따르면 시각 정보인지 과정은 ‘가시성, 주목성, 정확성, 조형성’ 총 네 가지 단계를 거쳐 습득되는데, 여기서 가시성이란 ‘수용자의 이목을 집중시킬 수 있는 정도 혹은 명료하게 볼 수 있는 정도’를 의미한다. 즉, 가시성이 높다는 것은 시인성(Visibility)이 높은 것이다. 시인성은 여러 시각 속성 중 색의 영향을 크게 받는데 색이 인지과정에 중요한 영향을 미치는 것을 ‘색채 지각효과(Perception Effect Color)’라고 한다.

지상현(Ji, 2003)은 데이터에 대한 가독성 혹은 주목성에 영향을 미치는 요인이 ‘색 시인성’이라고 하였다. 이렇듯 색은 정보인지 과정에서 중요한 역할을 수행하고 있다. 하지만 이러한 색의 중요성에도 불구하고 현재 대부분의 설문은 흑백으로 구성되고 있다. 설문지에 색이 사용된다 하더라도 이미지, 도표, 배경에만 색이 들어갈 뿐 지시문이나 질문에 색이 들어가는 경우는 찾아보기 어렵다. 앞서 언급한 선행 연구 결과들을 종합해보았을 때 설문지에 색을 적절하게 활용한다면 응답자가 보다 쉽고 명확하게 설문에 응할 수 있을 것으로 예측된다. 박성억과 명성민(Park & Myung, 2020)은 ‘폰 레스토프 효과(von restorff effe)’로 인해 자료에서 강조하고 싶은 내용에 볼드를 주거나 색을 달리하면 수용자의 주목성 및 인지율을 향상시킬 수 있다고 하였다. 또한 김미숙(Kim, 2003)에 따르면 인지과정에 있어 색은 형태보다 더욱 영향을 끼쳐, 기억을 지속시키는 역할을 한다. 따라서 색을 설문지 디자인에 적절하게 사용한다면 보다 정확한 응답 결과를 도출할 수 있을 것이다.

전기순(Jeon, 2006)은 색에 대한 사람의 지각은 ‘오렌지 21.4%, 빨강 18.6%, 파랑 17.0%, 검정 13.4%, 녹색 12.6%, 노랑 12.0%, 보라 5.5%’ 순으로 이루어진다 하였다. 색에 따른 수용자의 특성에 대해 김해태(Kim, 2014)는 배경색이 없을 경우에는 유채색이며 난색이고 고채도일수록 주목성이 높아진다고 보았다. 다시 말해 흰 배경일 경우 무채색보다는 유채색이며, 따뜻하고 채도가 높을수록 인지에 용이하다는 것이다.

이러한 이론적 배경을 바탕으로 본 연구에서는 여러 인지정보디자인의 요소 중 색에 주목하였다. 특히 시인성이 높은 고채도의 빨간색을 설문지에 사용하여 지시문과 질문에 대한 시인성을 강조하였다. 이때, 일반적으로 시인성이 가장 높게 평가되는 주황색 대신 빨간색을 주요 인지정보디자인 요소 적용 색으로 선택한 이유는 설문지 출력 시 제한된 텍스트 크기로 인해 주황색보다 빨간색이 더 명확하게 출력되었기 때문이다.

4. 1. 설문지 불성실 응답 원인 분석

본 연구는 설문지 응답 불성실 원인을 파악하기 위해 파일럿 연구를 실시하였다. 파일럿 연구는 설문지 불성실 응답 경험이 있는 성인 20대 1인(여1), 30대 2인(남1, 여1)을 대상으로 구조적 심층면담으로 실시하였다. 질문은 총 4개로 심층면담 질문 내용은 다음과 같다. Table 3 참조.

Table 3

Questions asked during in-depth interview

해당 질문 내용에 대한 응답은 다음과 같이 요약할 수 있다. 심층면담자 세 명 모두 ①번 문항에 대해 그렇다고 대답하였으며, ②번 문항의 답변으로 ‘한 번호로 기재’, ‘내용이나 지시문을 정확히 확인하지 않음’에는 그런 경험이 있다고 하였으나, ‘모든 문항에 응답하지 않음’은 잘 모르겠다고 하였다. ③번 문항에 대한 답변으로 A(20대, 여)는 “귀찮은데 학교 혹은 회사에서 필수적으로 설문을 실시하라고 해서 어쩔 수 없었다”며 “설문하는데 시간이 아까워서 대충 3번이나 중간 부분을 클릭했다”고 하였다. B(30대, 남)는 “추첨을 위한 설문을 할 때에는 설문 내용을 확인하기보다는 빨리 하려고 대충 아무번호나 클릭했었다”고 하였다. C(30대, 여)는 “용돈벌이로 설문 사이트에서 응답을 하려다보니 내용은 보지 않고 한 번호로 찍었다”고 언급하여 “지시문은 거의 읽은 적이 없다”며 “가끔 왜 똑같은 내용을 또 물어보는지 이해가 안 갔다”고 하였다. ④번 문항에 대해 면담자 2인은 ‘그렇다’고 하였으며, 1인은 ‘잘 모르겠다’고 하였다.

결과적으로 파일럿 연구의 심층면담을 통해 응답자는 설문에 대한 흥미보다는 누군가의 지시나 요청, 본인의 이익을 위해 설문에 응하게 되었기 때문에 자신의 시간을 할애하고 싶지 않다는 공통적인 특징을 보였다. 즉, 불성실 응답자들의 인터뷰 내용을 토대로, 응답자가 보다 빠르고 정확하게 설문지 응답을 진행할 수 있도록 설문지에 효과적인 디자인 적용이 필요하다는 것을 알 수 있었다.

4. 2. 실험도구의 절차 및 세부구성

본 연구의 실험도구는 ‘융합인재교육 STEAM’의 ‘융합교육(STEAM) 수업 학생 태도 조사지’ 설문 문항 형태를 참고하였다. 해당 설문문항의 형태는 각 설문 문항마다 검은 라인이 있으며, 그 간격이 좁다는 것이 특징이다. Figure 1 참조.

Figure 1

Convergence Education (STEAM) Class Student Attitude Survey

‘융합교육(STEAM) 수업 학생 태도 조사지’의 형태를 참고한 이유는 한국과학창의재단(KOFAC)에서는 매년 STEAM 교육 사업을 실시한 후 초, 중, 고등학생과 교사를 대상으로 1000여명 이상에게 설문을 실시하고 있다. 따라서 해당 형태에 인지정보디자인 요소를 적용하여 효과적인 연구 결과가 도출이 된다면, 보다 폭넓은 학생들에게 효과적인 설문지를 제공하여 수업에 대한 정확한 학생들의 의견을 표집할 수 있을 것이라고 생각하였기 때문이다.

설문지 응답을 보다 신속하고 정확하게 할 수 있도록 본 연구에서는 설문지에 인지정보디자인을 적용하였다. 다양한 인지정보디자인 요소 중 텍스트와 연관되어 높은 시인성을 전달할 수 있는 ‘빨간색’을 변인요인으로 활용하였다. 이론적 배경에서 언급한 바와 같이 흰 배경일 때 채도가 높은 ‘주황 혹은 빨강’과 같은 난색이 시인성이 높아 인지에 용이하다. 본 연구에서는 설문지를 인쇄하는 과정에서 검은색의 텍스트와 비교할 때 빨간색이 주황색보다 시인성이 더 높았기 때문에 빨간색을 적용하게 되었다. 적용된 설문지는 다음과 같이 ‘지문, 선택지, 질문’ 총 세 영역으로 분류된다. Figure 2 참조.

Figure 2

Three areas in constructing survey

이 영역 중 실험도구 설문지에는 ‘①지문’과 ‘③질문’ 영역에 인지정보디자인 요소인 빨간색이 적용되었고, 통제집단 설문지에는 일반적인 설문지 사용색인 검정색만 적용되었다. 실험과 통제집단 설문지 모두 ‘②보기(공통)’의 예시, 이미지, 배경 등은 동일한 색을 사용하여 구성되었다. 통제집단 설문지 a와 실험집단 설문지 a'는 다음과 같다. Table 4 참조.

Table 4

Control group’s questionnaire a and experimental group’s questionnaire a’

흔히 설문지 응답은 숫자를 기입하는 방법이 일반적이나, 설계된 설문지의 그래프 유형을 보여주는 <보기>영역 15가지는 숫자가 아닌 알파벳으로 표기하여 제시되었다. 그 이유는 응답자가 응답란에 일반적인 숫자 기입이 아닌 알파벳을 기입하게 함으로써, 설문지 응답자가 설문지 응답 전 지시문의 내용을 숙지하고 설문을 실시하는지를 알아보기 위해서이다. 다시 말해, 분석 과정에서 설문 과정의 경로를 정확하게 인지하고 있음을 살펴보기 위함이다.

4. 3. 분석도구의 절차 및 세부구성

인지정보디자인 요소인 색이 적용되었는지 여부에 따라 ‘인지정보디자인이 반영되지 않은 흑백 설문지(a) 응답자’ 45명(통제집단)과 ‘인지정보디자인이 반영된 설문지(a') 응답자’ 45명(실험집단)으로 나누어 결과 값을 표집하였다. 설문지 응답자가 응답 완료하였을 때, 실험 내용을 다시 확인할 수 없도록 수거 후 효과성 분석지를 배부하였다. 분석도구는 설문지 응답자가 인지정보디자인 적용 여부에 따라 ‘설문을 이해하는 데 보다 용이하였는지’, ‘응답 시간은 얼마나 소요되었는지’, ‘정확하게 응답을 기재하였는지’를 확인하는 내용으로 통제와 실험집단 모두에게 동일한 형태로 제공되었다. Table 5 참조.

Table 5

Tools composition by group

효과성 분석도구는 실험 및 통제 도구로 사용된 설문지의 내용을 바탕으로 응답자의 ‘설문 인지, 응답 시간, 응답 정확도’를 알아보기 위해 설계되었다. 그 중 응답 정확도 영역은 응답자가 지시문을 확인하고 지시에 따라 정확한 기재 방법으로 응답하였는지를 알아보기 위한 요인으로 정·오답이 있는 문항으로 구성되었다. 예를 들어 8번 문항은 실험도구의 응답 기재 방법이 무엇이었는지를 묻는 문항이다. 해당 문항을 응답자에게 질문함으로써, 응답자가 설문지 응답 전 지시문을 성실히 확인하였는지를 알 수 있다. 효과성 분석도구의 분석방법, 요인, 요인별 문항 내용, 신뢰성은 다음과 같다. Table 6 참조.

Table 6

Composition and trustworthiness of effectiveness analyzing tool

본 연구에서는 설문지에 인지정보디자인 요소 중 색의 적용 여부에 따른 하위 요인을 ‘설문 인지(3문항), 응답 시간(3문항), 응답 정확도(2문항)’ 3가지 영역, 총 8문항으로 구성하였다. 설문 인지와 응답 시간 영역은 연속형 변수를 사용하여 Likert 5점 척도로 설문을 구성하였고, 응답 정확도의 경우 명명척도로 설문을 구성하였다. 설문 인지 영역은 설문지 응답자 스스로가 느끼기에 설문지의 내용을 확인하는 것이 얼마나 용이하였는지를 묻는 영역이다. 해당 영역을 통해 인지정보디자인 적용 여부에 따라 응답자가 설문지 내용 확인을 하는 데 인지정보디자인 요소가 얼마나 효율적이었는지는 확인하고자 하였다. 응답 시간 영역은 인지정보디자인 적용을 통해 설문 응답 시간이 기존에 비해 단축되었는지를 알아보는 영역이다. 응답 정확도 영역은 실제로 응답자가 설문지 내용을 정확하게 확인하고 응답하였는지를 객관적으로 알아보는 것이다. 이를 위해 응답 정확도 영역은 시험과 같이 설문지의 내용을 묻는 질문과 정·오답이 있는 선택지로 구성하였다.

요인별 상관관계를 평가하기 위하여 내적 일관성의 신뢰성 평가 방법으로 Cronbach’s a 계수를 사용하였다. 설문 인지 영역과 응답 시간 영역의 Cronbach’s a 계수는 0.6~0.7 사이로 나타났다. 응답 정확도 영역은 설문에 대한 이해를 바탕으로 맞고 틀림을 확인하는 영역으로 교차분석이 이루어졌다. 분석방법, 요인, 문항 내용은 교육학 박사학위 소지자 3인, 인지정보디자인 관련 박사학위 소지자 3인에 의해 검토 및 수정, 보완되었다. 최종적으로 설계된 효과성 분석도구는 다음과 같다. Table 7 참조.

Table 7

Questions of effectiveness analyzing tool

4. 4. 분석 결과

인지정보디자인 요소를 반영한 설문지의 효과성은 양적 측면에서 분석되었다. 색 요소를 사용한 설문지에 응답한 실험집단과 사용하지 않은 설문지에 응답한 통제집단의 결과 값을 SPSS를 통해 비교분석하였다. 측정 영역은 ‘설문 인지, 응답 시간, 응답 정확도’의 세 영역으로 그 중 ‘설문 인지’ 영역과 ‘응답 시간’ 영역은 설문지 응답자가 설문 시 체감한 정도를 리커트 척도(Likert Scales)를 이용하여 나타날 수 있도록 구성하였으며, 문항 수는 총 6개이다. 집단 간 차이 분석이 이루어졌고 ‘정확도’ 영역에는 교차분석이 실시되었다. 설문 응답자 수는 집단별 45명으로 총 90명(남 43명, 여 47명)이 설문에 응답하였다. 집단 간 차이검증 결과는 다음과 같다. Table 8 참조.

Table 8

Results of analysis between groups

Table 8과 같이 인지정보디자인 요소인 색을 설문지에 적용한 결과, 두 집단 간 유의미한 차이가 나타난 것을 확인할 수 있었다. 특히 하위요소인 설문 인지 영역 ①번 문항의 값이 통제집단에 비해 실험집단이 높다는 것을 확인할 수 있었다. 이는 흑백 설문지 a보다 인지정보디자인 요소를 적용하여 리디자인된 설문지 a'가 설문에 작성된 내용 정의를 확인하는 데 더욱 용이했다는 것을 알 수 있다. 또한 응답 시간 영역 중 ⑤번 문항에서 실험집단이 통제집단에 비해 질문 확인 시간이 더 짧아 유의미한 효과가 있음을 발견할 수 있었다. 또한 설문지 응답을 빈도 분석하였을 때 통제집단에서는 결측값이 1건 발생한 반면, 실험집단에서는 결측값이 발생하지 않은 것으로 나타났다. 결과적으로 인지정보디자인 요소인 색을 활용한 실험집단 설문지(a')가 통제집단 설문지(a)보다 더 정확하고 빠른 응답을 유도하였음을 알 수 있었다.

마지막 영역인 응답 정확도 영역의 정·오답을 빈도분석한 결과는 다음과 같다. Table 9 참조.

Table 9

Results of correct answers’ frequency

응답 정확도 ⑦번 문항에 대한 통제집단의 정답 인원은 45명 중 27명(60%)인 것에 비해, 실험집단의 정답 인원은 36명(80%)인 것으로 나타났다. 정확도 ⑧번 문항의 경우 통제집단은 정답 응답자 34명(75.6%), 실험집단은 41명(91.1%)에 달했다. 두 집단의 빈도 분석 결과를 종합하였을 때, 인지정보디자인 요소를 반영한 실험집단 설문지(a')가 지시문을 보다 정확하게 확인할 수 있게 하여 더 높은 정답률을 나타냈음을 알 수 있었다.