사용자 경험 측정 수단의 국제적 활용 경향에 관한 메타분석: 디지털 서비스와 제품 중심으로
초록
연구배경 디지털 솔루션(디지털 제품 및 서비스)은 급증하고 있으나, 그 도메인별 사용자 경험을 평가하는 명확한 수단에 관한 연구는 현저히 부족하다. 본 연구는 디지털 솔루션의 사용자 경험 평가 수단의 사용 현황을 분석하고, 그 경향과 양태 및 동향을 통찰하고자 한다.
연구방법 세 단계의 코딩(초기, 선택, 이론)으로 약 20년(2003~2023)간 디지털 제품 및 서비스 UX 측정 수단 관련 국내외 연구 120건과 대표 연구 30건을 메타분석 하였고, 이들의 범주 및 유형별 사용 경향과 양태, 동향을 도출하였으며 관련 디지털 솔루션 도메인을 분류하였다.
연구결과 데이터 삼각 검증법(Triangulation)과 SPSS 산점도(Scatter plot)를 활용하여 도출된 결과는 다음과 같다. 각 수단은 '모델/모형', '방법', '도구'로 분류되었으며, 계층형, 다면형, 참여 중심형, 데이터 중심형의 유형으로 구분되었다. 이들은 각 디지털 제품 및 서비스에서 주로 실용적 목적으로 활용되었다. 공통 요인에는 사용성, 기능성, 신뢰성, 유용성 등이 있었다. 디지털 도메인별로 특화된 수단이 함께, 혹은 독자적인 형태로 다양하게 사용되었으며, AI와 감성 디자인의 활용이 부상하는 동향이 있었다.
결론 본 연구는 120건(대표 연구 30건)의 국내외 연구를 선정하여 UX 측정 수단을 분석하였으며, 디지털 솔루션의 UX 측정 동향과 경향을 상세히 제시하였다. 이를 통해 후속 연구자가 다양한 디지털 분야에서 목적과 특징에 맞는 수단을 효과적으로 활용할 수 있도록 이해를 제공했다는 점에서 그 의의를 갖는다.
Abstract
Background Amidst the rapid growth of digital solutions, a gap persists in research on methodologies for assessing user experience. This study scrutinizes the usage, trends, and patterns of user experience evaluation (UXE) approaches in digital realms.
Methods A meta-analysis of 120 studies and an in-depth review of 30 key studies were conducted using a structured three-stage coding process, revealing usage trends in UXE across various digital domains.
Results UXE approaches are classified into models/frameworks, methods, and tools, with a focus on hierarchical, multifaceted, engagement-oriented, and data-driven types. These approaches, incorporating common factors like usability and reliability, are increasingly integrating AI and emotional design.
Conclusions The study's detailed examination of UXE trends equips future researchers with insights for applying appropriate methods in diverse digital contexts.
Keywords:
User Experience Evaluation Approaches, Digital Services, Digital Products, Design Research Trends, Meta-analysis, 사용자 경험 평가 수단, 디지털 서비스, 디지털 제품, 디자인 연구 경향, 메타분석1. 서론
1. 1. 연구 목적 및 배경
본 연구는 디지털 솔루션(유형 및 무형의 디지털 제품과 서비스)을 위한 사용자 경험 평가 수단의 활용 현황을 분석하고, 그 경향과 양태 및 동향을 제시하는 것을 목적으로 한다.
디지털 혁명 이후 사용자 경험의 연구 대상은 물리적인 분야뿐 아니라 웹사이트, 모바일 애플리케이션, IT 제품, 인터렉티브 프로덕트 등 다양한 디지털 솔루션으로 확장되었다(Hassenzahl, 2003). 이러한 변화는 사용자 경험(User Experience, 이하 UX)의 연구 분야에도 새로운 지평을 열었으며, 이에 UX 측정 연구는 디지털 환경에서 사용자의 감정과 인지 및 행동의 역학관계를 이해하는 분야로 발돋움하게 되었다(Norman, 2004).
따라서 다양한 디지털 솔루션의 명확한 UX 평가가 중요하나, 그 수단의 전체적인 활용 현황을 조사한 기본 연구는 현저히 부족하다. 이러한 상황에서 본 연구의 필요성은 다음과 같다. 첫째, ‘감성 디자인(Shin et al., 2020)’, ‘디지털 미디어 인터페이스 UX 차원(Kim & Ryoo, 2010)’ 등 HCI 영역에서 UX 평가 수단에 관련된 연구들이 진행되기는 하였으나, 거시적인 관점에서 이러한 수단들의 활용 경향과 동향을 제시한 연구는 찾기 어렵다. 둘째, 인공지능(AI) 등 디지털 기술의 발전과 함께 디지털 솔루션의 지속적인 증가가 이루어지는 현시점에서, 이들을 위한 UX 평가 수단과 그 요인을 다각도로 분석하는 것이 시급하다고 판단된다.
이에 본 연구는 다양한 디지털 솔루션을 위한 대표적인 UX 평가 수단을 선정하고 분석하여, 그 활용 현황과 동향을 제공하고자 한다. 이를 통해 디지털 솔루션의 UX 평가에 대한 이해를 높이고, 더 나은 UX 평가 수단을 개발하는 데 도움이 될 것으로 기대한다.
1. 2. 전체 연구 범위와 방법
본 연구의 범위는 2003년 11월부터 2023년 10월까지의 국내외 디자인 저널 및 디지털 기술 관련 저널 107개에 게재된 디지털 제품과 서비스 분야의 UX 평가 관련 연구 120건(최종 선정 대표 연구 30건)으로 정하였다. 이는 다양한 자료를 통하여 약 20년간 진행된 디지털 솔루션 UX 연구의 국제적 경향과 동향을 파악하기 위함이다. 주된 연구 대상은 등재지로 선정된 국내 및 국제 학술지(KCI, SCOPUS) 및 학술대회의 논문이다. 다만, 각 연구는 UX 측정 및 평가에 기준적인 요인을 제공하는 수단을 활용한 것으로만 선정하였으며, UX와 디지털 솔루션에 관련되었더라도 본 연구의 취지에 부합되지 않는 것은 제외하였다.
연구의 방법과 절차는 다음 Figure 1과 같다. 기본 연구의 이론화 과정(Nam et al., 2021)에 따라 메타분석의 단계를 초기 코딩, 선택 코딩, 이론 코딩으로 나누었다. 이후 결과 도출 및 검증에는 데이터 삼각 검증법(Triangulation)과 SPSS 산점도(Scatter plot)를 활용하였으며, 이를 분산형 그래프 등으로 시각화하였다. 그 상세한 설명은 ‘2.2. 코딩 단계별 연구 범위’에 기술하였다.
Method of Research
2. 연구 방법
2. 1. 용어 정의
본 연구에서는 초기 코딩의 명확한 검색어 설정을 위해 UX 측정 수단의 범주별 용어를 정의하였다. 선행 연구를 통하여 이들을 그 목적에 따라 ‘모델/모형(Hassenzahl & Tractinsky, 2006)’, ‘방법(Polson et al., 1992)’ 및 ‘도구(Richardson et al., 2021)’로 나누었고, 이에 대한 정의와 목적은 Table 1로 정리하였다.
Classification of UX Measurement Approaches
2. 2. 코딩 단계별 연구 범위와 방법
(1) 초기 코딩
초기 코딩의 검색어는 2.1.의 용어 정의에 따라 ‘모델/모형(Model)’, ‘방법(Method)’, ‘도구(Tool)’로 지정하였으며, ‘디지털 서비스(Digital Service)’, ‘디지털 제품(Digital Product)’, ‘사용자 경험(User Experience)’, ‘사용자 경험 평가(UX Assessment)’의 키워드와 조합하여 결과를 도출하였다. 주로 이용했던 데이터베이스는 구글 학술검색(Google Scholar)과 KCI 논문 검색 시스템이다. 명확한 분석을 위해 수집된 200개 이상의 국내외 연구 중 명사형 요인을 제공하지 않는 것을 제외하고, 120개의 연구를 선정하여 유형화하였다.
(2) 선택 코딩
선택 코딩에서는 위와 같이 선정된 연구 120건의 목적, 방법론, 도메인, 키워드별 논문을 범주화하는 데이터 삼각 검증법(Mackay & Fayard, 1997)으로 메타분석을 시행하였다. 이때 일차적인 공통 키워드 분석 후, 유형별로 주로 사용된 UX 측정 수단의 주요 요인과 구성을 추출하였다. 또한, 국내 경향에 관한 부분을 간과하지 않기 위하여 국내 연구(38건)와 그 외 국제 연구(82건)의 비중을 약 1:3 정도로 설정하였다. 위 과정에서 선택된 연구의 대륙별, 국가별 빈도는 Figure 2와 같다.
Study Frequency by Region in Selective Coding
선택 코딩에서 주로 선정된 연구의 학회지 관련 정보는 다음과 같다. 국내 연구는 ‘디자인학연구(Archives of Design Research, SCOPUS 및 KCI 등재지)’에서 8건, ‘디지털융복합연구(Journal of Digital Convergence, KCI 등재지)’에서 6건이 선정되었다. 해외 연구는 ‘Jmir Mhealth and Uhealth’에서 2건, ‘Technology in Society’, ‘International Journal of Medical Informatics’, ‘International Journal of Human-Computer Interaction’을 포함한 SCOPUS 등재지에서 각 1건 이상의 논문이 선정되어, 총 120개의 연구 논문 리스트가 형성되었다.
(3) 이론 코딩
이론 코딩 단계에서는 메타 분석한 자료의 정량적, 정성적 평가를 통하여 대표적인 성격을 지닌 UX 평가 수단 30개와 그 해당 연구를 최종 선정하였다. 이 과정에서 선정된 연구는 동일 UX 평가 수단을 활용한 연구 논문 중 정량적으로 이용수가 가장 높고 그 수가 최소 100건 이상인 것으로 하였으며, 정성적으로는 선택 코딩 단계에서 분석한 키워드 적합도가 높은 것으로 하였다. 최종 선정된 연구에서는 대표적인 UX 평가 수단 30개의 범주, 유형, 요인, 디지털 솔루션 도메인을 분석하였다. 위 과정에서도 국내 연구와 해외 연구의 비중을 1:3으로 유지하였으며, 그 대륙별, 국가별 빈도는 Figure 3과 같다.
Study Frequency by Region in Theoretical Coding
이때 선정된 연구의 학회지 중 가장 높은 빈도(3건, 10%)를 보인 것은 선택 코딩에서와 마찬가지로 ‘Journal of Korean Society of Design Science’를 포함한 ‘디자인학연구(Archives of Design Research)’였다. 그 외는 대부분 해외 국제지로 각 1회의 비중을 차지하였다. 다음 절에서는 이러한 각 코딩 단계별 데이터 추출 및 분석 과정을 상세히 살펴보겠다.
3. 메타분석
3. 1. 초기 코딩 데이터 추출
초기 코딩에서 추출된 연구 200개 이상의 평가 수단을 일차적으로 비교한 결과, 그 요인의 구성과 특징에 따라 이들을 주로 네 가지의 유형으로 구분할 수 있었다. 본 연구는 그 용어를 계층형(Hierarchical), 다면형(Multifaceted), 참여 중심형(Engagement-Oriented), 데이터 중심형(Data-Driven)으로 정의하였다. Table 2는 각 유형의 정의와 특징, 이에 참고한 선행 연구를 설명한 것이다.
Categorization of UX Measurement Approaches
이러한 유형별 용어 정의 후 ‘디지털 제품 및 서비스’, ‘UX 평가’를 포함한 ‘계층형 모델’, ‘참여 중심형 방법’, ‘데이터 중심형 도구’ 등 세분된 검색어로 자료수집을 진행하였으며, 이로써 유형별 특징이 명확한 국내외 연구 120건을 선정하여 선택 코딩을 수행하였다.
3. 2. 선택 코딩 데이터 추출
위의 과정에서 수집된 120건의 연구들은 주로 어떠한 목적과 디지털 솔루션에 초점을 맞추고 있었을까? 이는 메타분석에서 추출한 키워드를 통하여 알 수 있었다. 각 연구의 목적(이론적, 실용적)과 디지털 사용(제품, 서비스)에 관한 키워드를 분석한 결과, Figure 4가 도출되었다.
Common Keywords from 120 Selected Studies
우선 이론적 목적에서는 ‘UX Research’가 7회, 실용적인 목적에서는 ‘UX Evaluation’이 9회로 가장 많이 연구되었으며, 디지털 제품에서는 2회의 빈도를 보인 ‘IOT Devices’보다 소프트웨어에 관련된 ‘Mobile Application’이 8회로 더 많이 다루어졌다. 디지털 서비스에서는 금융에 관련된 ‘Online Banking’이 7회, ‘E-Commerce’가 5회의 빈도로 두드러져, 온라인 경제 활동의 증가에 따른 연구 분야의 활성화를 유추할 수 있었다. 전체적인 빈도수에서는 경미한 차이였지만 31회의 빈도를 보인 이론적 목적의 키워드보다 실용적 목적이 33회로 더 많았으며, 28회의 빈도를 보인 서비스 관련 키워드보다 제품에 관련된 것이 30회로 더 많았다.
이처럼 공통된 키워드 분석을 통하여 선정된 연구들의 경향을 파악하고, 디지털 제품 및 서비스의 주된 도메인의 일차적 구분 및 예시를 얻었다. (최종적인 디지털 솔루션의 도메인과 그 예시는 ‘4. 연구결과 분석’의 Table 4에서 확인할 수 있다.) 위 이해를 기반으로 주요 UX 평가 수단과 그 요인의 구체적인 분석을 위한 이론 코딩을 진행하였다.
3. 3. 이론 코딩 데이터 추출
이론 코딩의 첫 단계로, 120건의 연구 중 선택 코딩에서 정의한 유형별 UX 평가 수단의 빈도를 구하였다. 이때 계층형(35건), 다면형(43건), 참여 중심형(10건), 데이터 중심형(32건)으로 다면형 수단이 가장 많이 사용되었음을 알 수 있었다. Figure 5는 그 상세한 사항을 보여준다.
Usage Frequency of Major UX Measurement Approaches by Type
가장 활용 빈도가 높았던 수단은 피터 모빌의 ‘허니콤 모델(Honeycomb Model)’이었다. 그 중심 요인들을 재구성하거나 ‘감성 인터페이스 모델(Pleasurable Interface Model)’ 등 다른 수단과 함께 사용하는 경우가 많았는데, 이러한 양상은 다른 수단을 활용한 연구에서도 두드러지게 나타났다. 또한, 다수의 연구에서 두 개 이상의 유형에 속하는 수단들이 상호보완적으로 활용되는 경향을 파악할 수 있었다. 주로 함께 사용되었거나 독립적으로 쓰였던 수단에 대한 상세한 설명은 ‘4. 연구 결과 분석’의 Figure 11과 Table 5에서 볼 수 있다.
다음 단계로, 최종으로 선정된 연구 30건의 범주, 유형, 대표 UX 평가 수단 및 주요 요인, 디지털 솔루션 종류를 분석하였다. 이는 전체적인 이해가 중요하다고 판단하여 하나의 표(Table 3)로 작성하였다.
Dominant UX Measurement Approaches and Related Studies
위 표에 기반한 소결을 내리자면, 본 연구의 범위가 2003년부터였지만 디지털 솔루션에 관련된 연구는 2008년부터 더욱 활발하게 진행되어 2023년까지 이어지고 있음을 알 수 있었다. 그 주된 평가 수단의 범주로는 ‘모델/모형’이 가장 많이 사용되었으며, 이와 함께 다양한 ‘방법’과 ‘도구’들이 활용되었다. 유형별 분류에서는 다면형 수단의 활용도가 가장 높았고, 디지털 솔루션을 대상으로 한 실용적이며, 제품(디지털 애플리케이션 제품 포함)에 관련된 연구가 많았음을 확인할 수 있었다.
그렇다면 이러한 다양한 UX 평가 수단에서 가장 중요하게 드러난 공통된 요인들은 무엇이었을까? 또, 이 수단들은 각각 디지털 제품과 서비스 중 어떤 연구 분야에서 많이 사용되었을까? 다음 절에서 이를 살펴보겠다.
4. 연구 결과 분석
4. 1. UX 측정 수단의 전체 활용 경향 분석
(1) 공통 요인 분석
선택 코딩의 메타분석을 통해 도출한 주요 공통 요인은 ‘인터페이스와 상호작용’, ‘품질과 성능’, ‘사용자 인식과 만족도’ 그룹으로 나눌 수 있었다. 이때 각 그룹에서는 ‘사용성(Usability)’이 7회, ‘기능성(Functionality)’과 ‘신뢰성(Reliability)’이 각 6회, ‘유용성(Usefulness)’이 6회로, 그 빈도가 가장 높았다. 이러한 분석은 Figure 6의 막대그래프에서 확인할 수 있다.
15 Key Common Factors of Prominent User Experience Measurement Approaches
위 그래프를 구성하는 상위 빈도에는 인터페이스 상호작용과 기능적인 요인들이 자리하였으며, 중위 빈도에는 사용자의 인식과 만족도에 관련된 것이 밀도 높게 포진해 있었다. 특히 그 수가 가장 많았음(6개)을 고려하였을 때, 이는 선정된 UX 평가 수단에서 기본 기능 다음으로 사용자의 감성적 만족도에 대한 가치가 차지하는 비중이 큼을 유추할 수 있는 부분이었다. 위 사항은 본 논문의 ‘4.4. 시기별 UX 측정 수단 활용의 동향 분석’에서 사용자의 감성과 만족도가 중요해지고 있음을 설명한 내용과도 상통하는 부분이다.
(2) 접근과 유형에 따른 UX 평가 수단 분류
공통요인에 대한 분석 이외에도, 각 유형에 속하는 대표 수단들은 각각 정성적, 정량적 접근으로 구분할 수 있었다. 그 정도에 따른 점수를 부여하고 SPSS 산점도(Scatter Plot)를 통하여 분석하였을 때, 주로 ‘모델’ 범주에 속하는 계층형, 다면형, 참여 중심형 수단들이 정성적 접근으로 활용되었으며, ‘도구’와 ‘방법’ 범주에 속하는 데이터 중심형 수단들이 정량적 접근으로 활용되었음을 알 수 있었다. Figure 7에서 이를 확인할 수 있다.
Utilization Trends of 30 Dominant UX Measurement Approaches
그렇다면 이러한 유형별 수단의 활용을 목적(이론적, 실용적)과 디지털 솔루션 종류(제품, 서비스)로 구분한다면 어떤 결과를 얻을 수 있을까? 향후 다양한 후속 연구의 UX 평가 수단 설정에 도움이 되기 위하여, 역시 SPSS 산점도(Scatter Plot)로 그 질문의 답을 분석하였다.
4. 2. UX 측정 수단의 유형별 활용 경향 분석
(1) 계층형 수단
Figure 8에서 볼 수 있듯 ‘모델/모형’ 범주로 이루어진 계층형 수단은 이론적인 것보다 실용적인 목적으로 사용되는 경향이 우세하였으며, 특히 디지털 서비스의 UX 평가에 많이 활용되는 것으로 파악되었다. 대표적으로 ‘감성 디자인(Emotional Design)’에서 이를 파악할 수 있었다.
Utilization Trends of Hierarchical UX Measurement Approaches
(2) 다면형 수단
Figure 9를 참고하면 네 가지 유형 중 가장 많은 비중을 차지한 다면형 수단 또한 실용적 활용 경향이 높았는데, 계층형 수단과 비교하여 디지털 제품에서 더 많이 사용되는 것이 특징이었다. 대표적으로 유일하게 ‘방법’ 범주에 속한 ‘닐슨의 휴리스틱 원칙(Neilsen’s Heuristic Evaluation)’에서 이를 확인할 수 있었다.
Utilization Trends of Multifaceted UX Measurement Approaches
(3) 참여 중심형, 데이터 중심형 수단
Figure 10에서 드러난 참여 중심형, 데이터 중심형 수단은 계층형, 다면형 수단에 비하여 뚜렷하게 실용적인 목적이 강했으며, ‘방법’과 ‘도구’ 범주로만 이루어져 있었다. 또한, 제품과 서비스 모두에서 균등한 비율로 활용되는 것을 확인할 수 있었다. 이때 스마트 디자인 분야에 주로 사용되는 ‘AIAD(Artificial Intelligence-Aided Design)’, 의료용 애플리케이션을 위한 ‘MARS(Mobile App Rating Scale)’ 등 전문분야에 특화된 수단들의 활용이 돋보였다.
Utilization Trends of Engagement-Oriented & Data-Driven UX Measurement Approaches
그렇다면 이들이 활용되는 디지털 제품 및 서비스의 도메인은 구체적으로 어떻게 나눌 수 있을까? 각 도메인을 분류하고 이에 따라 어떤 수단들이 주로 함께, 혹은 독자적으로 활용되었는지 그 양태를 살펴보겠다.
4. 3. 디지털 솔루션 도메인별 UX 측정 수단 활용 양태 분석
(1) 디지털 솔루션의 도메인 분류
선택 코딩 단계에서 각 연구에 관련된 디지털 솔루션 현황을 메타 분석한 결과, 디지털 제품 도메인 5가지와 디지털 서비스 도메인 7가지를 도출할 수 있었다. 각 도메인은 서로 상호배타적이지 않았으며, 이론적인 연구로서 그 구분이 어려운 것은 키워드 적합도를 평가하여 분류하였다. 그 도메인과 예시들은 Table 4와 같다.
Domains of Digital Products and Services
(2) UX 측정 수단 활용 양태 분석
위 도메인 중, 특히 디지털 제품에 속하는 ‘Technology & Devices’와 ‘Interactive & HCI’에는 함께 사용되는 빈도가 높았던 수단들이 있었다. 다면형 수단인 ‘허니콤 모델(Honeycomb Model)’과 ‘닐슨의 휴리스틱 원칙(Neilsen’s Heuristic Evaluation)’을 중심으로, ‘UX 디자인 5요소(5 Elements of UX Design)’, ‘하센잘의 UX 모형(Hassensahl’s Model of UX)’등의 계층형 수단들이 사용되었다. ‘ISO 9241-11 Standard’는 ‘도구’ 범주에 속하는 수단(SUS, Usability Metrics 등)과 함께 사용되는 비중이 높았으며, 이러한 양태는 다양한 디지털 서비스 도메인에서도 볼 수 있었다. Figure 11은 이를 나타낸 것이다.
Commonly Co-Used UX Measurement Approaches
반면, 독자적으로 사용되는 비중이 높았던 수단은 Table 5와 같았다. 이들은 수단 자체가 하나의 연구 방법론으로 여겨지거나(Gamification), 자체적인 UX 측정 및 분석 프레임워크를 갖춘 경우가 많았다(Heart Framework, MARS). 이들도 다른 수단들과 사용될 수 있었으나, 그 필요에 따라 독립적인 연구 방법이 될 수 있다는 점에서 의미가 있었다.
Independently Used UX Measurement Approaches
4. 4. 시기별 UX 측정 수단 활용의 동향 분석
최종적으로 메타분석 결과를 종합하여 약 20년(2003~2023)간 주로 사용된 연구 수단들을 5년 단위로 정리하였는데, 시기와 큰 관련 없는 활용성을 보인 것(Honeycomb Model, Hierarchy of User Need 등)을 제외하고 얻은 분석 결과는 다음과 같다.
2003년부터 2008년까지는 ‘사용자 매트릭스(Usability Metrics)’와 ‘행동 중심 디자인(Performance-based Design)’이 각 4회 등장하였으며, 2008년부터 2013년까지는 ‘UCD(User-Centered Design)’가 5회, ‘감성 인터페이스(Pleasurable Interfaces Model)’가 4회로 등장하였다. 2013년부터 2018년까지는 ‘감성 디자인(Emotional Design)’, ‘MARS(Mobile Application Rating System)’가 각 4회로 등장하였다.
2018년부터 2023년까지는 ‘AIAD(Artificial Intelligence-Aided Design)’, ‘대화형 UX(Conversational UX)’의 사용 빈도가 각 4회로 높았으며 ‘감성 디자인(Emotional Design)’ 또한 계속 등장하였는데, 이는 인공지능 기술의 발전에 따라 디자인 과정에서의 AI 활용이 증가하고 있는 동향을 볼 수 있는 대목이었다. 또한, 챗봇과 대화형 인터페이스의 증가로 인하여 대화형 UX의 중요성이 커지고 있으며, 이와 함께 사용자의 감성을 고려한 디자인이 지속해서 주목받고 있음을 파악하였다.
5. 결론
5. 1. 연구 요약
본 연구는 세 단계의 코딩 과정으로 약 20년(2003~2023)간 디지털 제품 및 서비스 UX 측정 수단 관련 연구 120건과 대표 연구 30건을 메타분석 하였고, 이들의 범주 및 유형별 사용 경향과 양태, 동향을 도출하였으며 관련 디지털 솔루션 도메인을 분류하였다. 그 요약은 아래와 같다.
첫째, 각 수단의 범주는 목적에 따라 ‘모델/모형’, ‘방법’, ‘도구’로 나눌 수 있었고, 그 유형은 평가 요인의 구성과 특징에 따라 ‘계층형’, ‘다면형’, ‘참여 중심형’ 및 ‘데이터 중심형’으로 구분할 수 있었다. 이때 ‘방법’과 ‘도구’로 이루어진 데이터 중심형 수단은 주로 정량적 접근을, ‘모델/모형’ 활용 경향이 높았던 다면형 수단은 주로 정성적 접근을 지녔다.
둘째, 모든 유형에서 실용적 목적의 비중이 높았으나, 계층형 수단은 디지털 서비스에서, 다면형 수단은 디지털 제품에서 더 많이 사용되었다. 이외의 유형은 디지털 제품과 서비스에서의 활용 비중이 거의 균등하였다. 또한, 이들의 공통요인으로는 ‘사용성’, ‘기능성’, ‘신뢰성’, ‘유용성’ 등의 빈도가 가장 높았다.
셋째, 디지털 제품과 서비스별 도메인은 총 12개로 구분할 수 있었으며, 이에 관하여 함께 사용되는 빈도가 높았던 수단(Honeycomb Model 등)과 독자적으로 사용되었던 것(MARS 등)을 분석할 수 있었다. 또한, 최근 인공지능 및 사용자 감성에 대한 중요성이 부상함에 따라 관련 수단(AIAD, 감성 디자인 등)의 활용도가 높아지는 동향 또한 확인하였다.
5. 2. 연구의 한계점 및 의의
본 연구는 120개의 연구에서 추출한 수단만을 대상으로 진행되었고, 그중 데이터 분석을 위하여 명사형 요인을 제공하지 않는 것을 제외하였다는 점에서 한계가 있다. 그러나 증가하는 디지털 솔루션을 위한 그 UX 측정 수단의 경향과 동향을 상세히 분석하여 관련 후속 연구들에서 다양하게 참고 수 있도록 하였다는 점에서 그 의의가 있다. 이에 본 연구를 이정표 삼아, 향후 디지털 분야의 UX 연구가 그 목적과 특징에 알맞은 수단을 활용하여 효율적으로 수행될 수 있기를 기대한다.
Acknowledgments
This work was supported by 2024 Hongik University Innovation Support Program Fund.
Notes
Copyright : This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted educational and non-commercial use, provided the original work is properly cited.
References
-
Adityo, H. B., Syaepudin., P., & Sunardi (2022) User Experience Analysis on Banking Contact Center Mobile Application Using The HEART Metrics and Eye Tracking. 2022 10th International Conference on Cyber and IT Service Management(pp.1-6).
[https://doi.org/10.1109/CITSM56380.2022.9936031]
-
Bazargan, K., Rezaeian, A., & Taheri, M. (2018). Theory and practice of social innovation to support open ICT ecosystems for improved user experience: The case of UDRC. In F. H. Nah & B. Xiao (Eds.), HCI in Business, Government, and Organizations. HCIBGO 2018. Lecture Notes in Computer Science, vol 10923. Cham: Springer.
[https://doi.org/10.1007/978-3-319-91716-0_45]
-
Borriraklert, a., & Kiattisin, S. (2021) User Experience Design (UXD) Competency Model: Identifying Well-Rounded Proficiency for User Experience Designers in the Digital Age. Archives of Design Research, 34(3), 61-79.
[https://doi.org/10.15187/adr.2021.08.34.3.61]
-
Chikweche, T., & Fletcher, R. (2013). Customer relationship management at the base of the pyramid: Myth or reality? Journal of Consumer Marketing, 30(3), 295-309.
[https://doi.org/10.1108/07363761311328964]
-
Chivukula, S. S., Watkins, C. R., Manocha, R., Chen, J., & Gray, C. M. (2020). Dimensions of UX practice that shape ethical awareness. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (CHI '20) (pp. 1-13).
[https://doi.org/10.1145/3313831.3376459]
-
Chung, S., Kim, J., & Yoo, H. (2018) 웹툰 서비스에 대한 카노 모델 적용 연구 [An Application Study of Kano Model on Webtoon Service]. Korea Service Management Society, 19(3), 107-131.
[https://doi.org/10.15706/jksms.2018.19.3.005]
-
Garrido, A., Firmenich, S., Grigera, J., & Rossi, G. (2017) Data-driven usability refactoring: Tools and challenges, 2017 6th International Workshop on Software Mining (SoftwareMining) (pp. 52-55).
[https://doi.org/10.1109/SOFTWAREMINING.2017.8100854]
-
Groening, C., & Binnewies, C. (2019). "Achievement unlocked!" - The impact of digital achievements as a gamification element on motivation and performance. Computers in Human Behavior, 97, 151-166.
[https://doi.org/10.1016/j.chb.2019.02.026]
-
Harna, T. G., Syaifurrahman, E., & Sunardi. (2022). User experience evaluation of building materials application using usability testing based on ISO 9241-11 standard and the USE questionnaire. In 2022 10th International Conference on Cyber and IT Service Management (CITSM) (pp. 1-6).
[https://doi.org/10.1109/CITSM56380.2022.9935903]
-
Hassenzahl, M. (2003). The Thing and I: Understanding the Relationship Between User and Product. In: Blythe, M.A., Overbeeke, K., Monk, A.F., Wright, P.C. (eds), Funology 2 (pp. 31-42). Dordrecht:Springer.
[https://doi.org/10.1007/1-4020-2967-5_4]
-
Hassenzahl, M., & Tractinsky, N. (2006). User experience - a research agenda. Behaviour & Information Technology, 25(2), 91-97.
[https://doi.org/10.1080/01449290500330331]
-
Irene, V. F., Sa'adah, U., Permatasari, D. I., & Rasyid, M. B. A. (2021). User Experience Design for Virtual Exhibition Platform Using Lean Startup Method. In 2021 International Electronics Symposium (IES) (pp. 690-695).
[https://doi.org/10.1109/IES53407.2021.9593975]
-
Jin, M. L., & Kim, J. E. (2019). 입원 아동 환자를 위한 로봇용 기능성 게임 앱 사용성 평가 [Usability Test of Serious Game Robot App for Hospitalized Children]. Journal of the Korea Academia-Industrial Cooperation Society, 20(2), 228-234.
[https://doi.org/10.5762/KAIS.2019.20.2.228]
-
Jo, J. H., & Park, B. (2019). A Study on Content Marketing for Travel Brand Focus on Youtube Vlog Formed Travel Video. Journal of Digital Convergence, 17(12), 445-450.
[https://doi.org/10.14400/JDC.2019.17.12.445]
-
Keskinen, T., Hakulinen, J., Heimonen, T., Turunen, M., Sharma, S., Miettinen, T., & Luhtala, M. (2013). Evaluating the experiential user experience of public display applications in the wild. In Proceedings of the 12th International Conference on Mobile and Ubiquitous Multimedia (MUM '13) (Article 7, pp. 1-10). Association for Computing Machinery.
[https://doi.org/10.1145/2541831.2541840]
-
Kim, Y., & Ryoo., H. (2010). 디지털 미디어 인터페이스에서 사용자 경험 차원 연구 [User Experience Attributes in Digital Media Interface]. Journal of Digital Design, 10(4), 565-574.
[https://doi.org/10.17280/jdd.2010.10.4.054]
- Kim, J. D., (2010). 양방향TV 사용자 인터페이스디자인의 평가요소 조작화 [The Operationalization of Evaluation Elements for User Interface Designs of Interactive TVs]. Archives of Design Research 23(5), 115-126. UCI(KEPA): I410-ECN-0101-2012-658-003791585.
-
Kim, Y., & Ryoo, H. (2017). 사물인터넷 환경에서의 사용자 경험 연구 동향[User Experience Research Paradigm in Internet of Things Environment]. Journal of Integrated Design Research, 16(3), 19-29.
[https://doi.org/10.21195/jidr.2017.16.3.002]
-
Lee, J., Im, C., Kim, N., & Kim, J. (2016). 근거 이론을 적용한 자율주행 자동차 환경에서의 운전자 경험 연구 [A Study on Driver Experience for Autonomous Vehicle using Grounded Theory Approach]. In Proceedings of HCI Korea 2016 (pp. 178-185).
[https://doi.org/10.17210/hcik.2016.01.178]
-
Lin, Y., Yu, S., Zheng, P., Qiu, L., Wang, Y., & Xu, X. (2017). VR-based product personalization process for smart products. Procedia Manufacturing, 11(2017), 1568-1576.
[https://doi.org/10.1016/j.promfg.2017.07.297]
-
Mackay, W. E., & Fayard, A. L. (1997, August). HCI, natural science and design: a framework for triangulation across disciplines. In Proceedings of the 2nd conference on Designing interactive systems: processes, practices, methods, and techniques (pp. 223-234).
[https://doi.org/10.1145/263552.263612]
-
Maharjan, R., Doherty, K., Rohani, D. A., Bækgaard, P., & Bardram, J. E. (2022). What's up with these conversational health agents? From users' critiques to implications for design. Frontiers in Digital Health, 4, 840232.
[https://doi.org/10.3389/fdgth.2022.840232]
-
Moore, R. J., Arar, R., Ren, G.-J., & Szymanski, M. H. (2017). Conversational UX Design. In Proceedings of the 2017 CHI Conference Extended Abstracts on Human Factors in Computing Systems (CHI EA '17) (pp. 492-497). Association for Computing Machinery.
[https://doi.org/10.1145/3027063.3027077]
-
Mkpojiogu, E., Okeke-Uzodike, O., Eze, C., & Emmanuel, E. (2022). A UX 3-Factor Hierarchical Model for Understanding, Designing and Evaluating the UX of Software Products. 2022 30th Southern African Universities Power Engineering Conference (pp. 1-7).
[https://doi.org/10.1109/SAUPEC55179.2022.9730740]
-
Moore, R. J., Arar, R., Ren, G.-J., & Szymanski, M. H. (2017). Conversational UX Design. In Proceedings of the 2017 CHI Conference Extended Abstracts on Human Factors in Computing Systems (CHI EA '17) (pp. 492-497). Association for Computing Machinery.
[https://doi.org/10.1145/3027063.3027077]
- Nam, T., Oh, B., Lee, S., Lee, Y., & Jung, U. (2021). 디자인 연구 논문 길잡이 [Design Research Paper Guide] (pp.103). Gyeonggi-do: Korean Society of Design Science. https://design-science.or.kr/37/10775003.
- Norman, D. A. (2004). Emotional Design: Why We Love (or Hate) Everyday Things (pp. 6-13). Newyork: Basic Books. https://www.nngroup.com/books/emotional-design/.
-
O'Brien, H., Toms, E., Kelloway, E., & Kelley, E. (2008). Developing and evaluating a reliable measure of user engagement. In Proceedings of the American Society for Information Science and Technology 45(1), 1-10.
[https://doi.org/10.1002/meet.2008.1450450258]
-
O'Brien, H., & Toms, E. (2008). What is user engagement? A conceptual framework for defining user engagement with technology. Journal of the American Society for Information Science and Technology 59(6), 938-955.
[https://doi.org/10.1002/asi.20801]
-
Oxman, R. (2008). Performance-Based Design: Current Practices and Research Issues. International Journal of Architectural Computing, 6(1), 1-17.
[https://doi.org/10.1260/147807708784640090]
-
Park, J., Han, S. H., Kim, H. K., Oh, S., & Moon, H. (2013). Modeling user experience: A case study on a mobile device. International Journal of Industrial Ergonomics, 43(2), 187-196.
[https://doi.org/10.1016/j.ergon.2013.01.005]
-
Polson, P., Lewis, C., Rieman, J., & Wharton, C. (1992). Cognitive walkthroughs: a method for theory-based evaluation of user interfaces. International Journal of Man-Machine Studies, 36(5), 741-773.
[https://doi.org/10.1016/0020-7373(92)90039-N]
-
Quan, S. J., Park, J., Economou, A., & Lee, S. (2019). Artificial intelligence-aided design: Smart Design for sustainable city development. Environment and Planning B: Urban Analytics and City Science, 46(8), 1581-1599.
[https://doi.org/10.1177/2399808319867946]
-
Ratnawati, S., Widianingsih, L., Anggraini, N., Marzuki Shofi, I., Hakiem, N., & Eka M Agustin, F. (2020). Evaluation Of Digital Library's Usability Using the System Usability Scale Method (A Case Study). In 2020 8th International Conference on Cyber and IT Service Management (CITSM) (pp. 1-5).
[https://doi.org/10.1109/CITSM50537.2020.9268801]
-
Richardson, B., Campbell Y. M., & Smit., M. (2021). Mobile Application User Experience Checklist: A Tool to Assess Attention to Core UX Principles. International Journal of Human-Computer Interaction, 37(13), 1283-1290.
[https://doi.org/10.1080/10447318.2021.1876361]
-
Ryu, H., & Yun, J., (2022) 목적형 지연 인터렉션에 대한 사용자 경험 연구 [User Experience Study of Purposely Delayed Interactions]. Archives of Design Research 35(2), 209-229.
[https://doi.org/10.15187/adr.2022.05.35.2.209]
-
Sauro, J., & Kindlund, E. (2005). A method to standardize usability metrics into a single score. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI '05) (pp. 401-409). Association for Computing Machinery.
[https://doi.org/10.1145/1054972.1055028]
-
Shin, Y., Park, S., Chung, J., & Jun, S. (2020). 디자인과 HCI 분야의 국제 감성디자인 연구 경향에 대한 메타분석 [A Meta-Analysis on International Research Trends of Emotional Design in Design and HCI]. Archives of Design Research, 33(4), 109-123.
[https://doi.org/10.15187/adr.2020.11.33.4.109]
-
Tsenova, V. (2021). Storybase: Towards Cultural Transformation Driven by Design. In: Shehade, M., Stylianou-Lambert, T. (eds) Emerging Technologies and the Digital Transformation of Museums and Heritage Sites. RISE IMET 2021. Communications in Computer and Information Science, vol 1432. Cham: Springer.
[https://doi.org/10.1007/978-3-030-83647-4_16]
- Yu, E. (2012). 멀티 디바이스 서비스의 일관된 사용자 경험을 위한 디자인 속성 연구[Design Attributes for Consistent User Experience of Multi Device Service]. Archives of Design Research, 25(1), 135-144. doi: https://api.semanticscholar.org/CorpusID:222473119.
-
Yue, S. X., & Kim, K. H. (2021). Maslow's hierarchy needs based comparison of artificial intelligence perception between Koreans and Chinese. The Journal of Internet Electronic Commerce Research, 21(5), 1-21.
[https://doi.org/10.37272/JIECR.2021.10.21.5.1]
-
Zahidi, Z., Lim, Y. P., & Woods, P. C. (2014). Understanding the user experience (UX) factors that influence user satisfaction in digital culture heritage online collections for non-expert users. In 2014 Science and Information Conference (pp. 57-63).
[https://doi.org/10.1109/SAI.2014.6918172]
-
Zhang, X., & Xie, X. (2023). Emotional Design Elements of Virtual Exhibition-Focusing on Revolutionary Theme. In Proceedings of the 2nd International Conference on Internet Technology and Educational Informatization, ITEI 2022 (pp.1-9).
[https://doi.org/10.4108/eai.23-12-2022.2329174]