디자인 직군과 경영 직군의 데이터 활용 방식 분석 연구 : 문제의 발견과 해결 과정에서의 데이터 제공 디자인(Data-informed Design) 관점으로

1. 연구의 배경 및 목적

빅 데이터 기반의 산업 구조 변화와 상호 시스템 연결이 중요한 스마트 기기의 확산에 의해 ‘디자인 분야의 데이터 활용’에 대한 포용적인 태도가 확산되고 있다(Kvan, 2020). 특히, 디지털 분야의 디자인 과정에서 데이터를 활용한 ‘고객에 대한 이해’와 ‘개인화된 사용자 경험 제공’이 주요해지며(Mirza, 2023), 디자이너의 데이터 활용을 통한 사용자 이해 및 문제점 파악, 트렌드 발굴, 비즈니스 성과 향상 등이 주요 역량으로 주목받고 있다(Bertoni, 2020). 이에, 디자인과 데이터의 관계(Roberto, 2021), 디자인에서 활용되는 데이터 종류(Bertoni, 2020), 고객 데이터 기반 디자인 프레임워크(Hou & Jiao, 2020), 디자이너를 위한 데이터 수집 도구(Kim, 2022), 데이터를 활용한 디자이너의 아이데이션 방안(Dove & Jones, 2014) 등 ‘제품’, ‘서비스’, ‘인터랙션’과 관련해 디자이너가 ‘데이터’를 디자인 재료로 활용하는 것에 대한 연구가 늘고 있다. 또한, 조직에서의 ‘데이터 중심의 상호연결과 협업의 중요성 증대(Seidelin et al., 2018)’와 ‘디자인 단계에 따른 디자이너의 역할 변화(e.g., 프로젝트 리더, 데이터 분석가, 공감자 등)(Lu et al., 2021)’로 인해, 디자이너가 데이터 전문가, 개발자, 비즈니스 전문가 등과 협력해야하는 경우가 늘고 있다(king et al., 2017). 즉 디자인 과정에서, 데이터를 중심으로 디자이너와 비디자이너의 협업이 증대되고 있다. 그러나, 디자인 과정의 데이터 활용에 대한 지침이 부족하여, 데이터에 관련한 디자이너의 인사이트가 제한적이기 때문에, 디자이너와 데이터 과학 분야 전문가의 협업 시 문제가 발생할 수 있다(Lu et al., 2021; King et al., 2017; Girardin & Lathia, 2017).

그러므로 본 연구는 디자이너와 비디자이너의 데이터 분석 및 아이데이션 과정을 실증적으로 조사하고, 이를 정량화하고자 하였다. 이를 통해, 디자이너와 비디자이너의 데이터 활용 경향에 대해 분석하여, 두 직군이 데이터 기반 코디자인을 수행 할 때, 필요한 고려사항을 도출하고자 한다.

2. 디자인과 데이터의 관계성 정의

킹 외(king et al., 2017)는 디자인 과정에서 데이터를 활용하는 정도와 방식에 따라 디자인과 데이터의 관계를 ‘데이터 주도(Data-driven)’, ‘데이터 기반(Data-informed)’, ‘데이터 인식(Data-aware)’으로 분류하였다. 베르더 외(Werder et al., 2020)는 데이터를 활용한 제품 혁신 사례를 통해, 프로젝트 단계별 디자인과 데이터의 관계를 ‘데이터 주도 탐색(Data-driven exploration)’, ‘데이터 활용 아이디어 발상(Data-argumented ideation)’, ‘데이터 기반 검증(Data-informed validation)’으로 제시하였다. 도이치와 리드(Deutsch & Leed, 2015)는 ACEO 업계 기업들의 데이터 활용 및 접근 방식을 ‘데이터 활용 가능(Data-enable)’, ‘데이터 제공(Data-informed)’, ‘데이터 주도(Data-driven)’로 제시하였다. 본 연구는 선행 연구에서 공통적으로 언급된 ‘데이터 주도(Data-driven)’와 ‘데이터 제공(Data-informed)’에 관해 파악하였다.

Table 1

Definitions of ‘Data-driven’

‘데이터 주도(Data-Driven)’는 ‘데이터’가 디자인 의사 결정을 주도하는 형태로, 해결하고자 하는 문제와 질문이 명확할 때 활용하기 유용하다(King et al., 2017). 데이터가 디자인의 재료가 되어 사용자의 환경과 상호작용 방식, 기능의 효과를 파악하고, 아이디어가 될 수 있는 문제 현상, 독특한 패턴 등을 추론할 수 있는 귀납적 접근 방식이다(Werder et al,. 2020). 하지만, 데이터만을 중심으로 하는 프로세스에서는 데이터 집계 및 분석을 위한 고도화된 기술과 지식이 필요하며, 근거 데이터의 종류, 기존 데이터 소스의 포함 여부 등을 결정하는 논의에서 핵심 이해관계자와 사용자가 제외되는 경우가 많기 때문에(Seidelin et al., 2020; Crawford, 2012; King et al., 2017), 디자이너의 고유의 인사이트가 의사결정에서 활용되기에는 어려운 방법론으로 보인다.

Table 2

Definitions of ‘Data-informed’

‘데이터 제공(Data-informed)’은 데이터를 의사결정에 활용하되, 데이터 기반 의사결정에 적합한 정보와 적합하지 않은 정보가 있음을 인정하고, 상황에 따라 선택이 달라질 수 있는 것을 받아들이는 접근 방식이다(Deutsch & Leed, 2015). 데이터 주도(Data-Driven)에 비해 다소 유연하며, 정량적 데이터와 정성적 데이터를 모두 활용하기 때문에(Purnimaa, 2020), 데이터의 조합을 통해 더 나은 인사이트와 비판적 사고를 향상할 수 있고(Nicholas, 2020), 타깃 사용자를 위한 디자인 의사결정을 내릴 수 있도록 돕는다(Purnimaa, 2020). SOM의 수석 디지털 설계담당인 로버트(Robert, 2014)는 데이터 제공(Data-informed) 접근 방식이 기업에서 데이터를 활용하기 위한 가장 이상적인 방안이며, 실무진이 데이터의 요소에 대해 인지하고, 언제 어느 데이터를 사용하는 것이 합리적일지를 이해하는 것이 가장 중요한 요소라고 언급하였다.

이를 통해, ‘데이터 제공(Data-informed)’의 개념이 ‘데이터 주도(Data-Driven)의 한계를 극복할 수 있고, 관찰, 사용자 인터뷰 등을 통한 정성적 분석에 익숙한 디자이너의 역량을 보다 잘 발휘할 수 있는 데이터 활용 방법론이라 판단하였다. 이에, 본 연구에서는 ’데이터 제공 디자인(Data-informed Design)‘에 조작적 정의를 하고(Table 3), 연구의 핵심 개념으로 활용하고자 하였다.

Table 3

Operational definition of the concept ‘Data-informed design’

3. 실증 연구 설계

3.2. 연구 대상

디자이너와 비디자이너의 ‘데이터 제공 디자인’을 위해, 관련 직군의 현업 종사자가 데이터를 활용하는 방안에 대해 관찰하고자 하였으며, 연구 대상으로 ‘디자인 직군’ 현업 종사자 10인, ‘경영 직군’ 현업 종사자 10인, 총 20인을 선정하였다.

디자이너의 경우, ‘디자인 직군’ 종사자 중 본 연구의 실험물인 구글 애널리틱스(GA, Google Analytics) 데이터를 디자인 재료로 활용하고 있는 UX/UI 디자이너로 참가자를 한정하였다.

Table 4

Classification of research subject - Practitioner in the Design

비디자이너는 ‘경영 직군’ 종사자 중, 문제 정의와 전략 구축 단계에서 구글 애널리틱스 데이터를 활용할 수 있는 전략 컨설턴트, 마케팅 데이터 분석가, 판매 전략 기획자, 서비스 기획자를 대상으로 하였다. 경영 직군을 실험군으로 선택한 이유는 제품 개발에 있어, 시장과 소비자의 니즈를 다루는 마케팅과 같은 경영 직군과 소비자의 니즈를 표현하는 디자인 직군의 원활한 정보 교환과 협업이 유효한 영향을 미치기 때문이다(Park, 2016; Gatignon & Xuereb, 1997; Souder, 1988; Cooer, 984).

Table 5

Classification of research subject - Practitioner in the Business

3.3. 자료 수집 방법

‘디자인 직군’과 ‘경영 직군’의 데이터 활용 과정을 파악하기 위해 실험 진행 시간과 데이터 종류, 실험 방식을 통제하여 실증 연구를 진행하였다.

Table 6

Experimental design for empirical research

실험은 개별적으로 진행되었으며, 실험 방식은 온라인 Zoom 미팅을 통해 진행되었다. 실험 시간 동안 피실험자의 PC화면이 공유되었으며, 피실험자는 사고 발화(Think aloud)를 통해, 어떤 데이터를 보면서, 어떤 문제점을 느끼고, 이에 대한 개선 아이디어가 무엇인지 발화(Speaking)하였다. 실험시간은 ‘30분’으로 통제되었다. 동일한 데이터를 기반으로, 동일한 웹사이트의 문제점을 발굴하고, 개선 아이디어를 제안하는 과정을 관찰하기 위해, 피실험자가 확인할 수 있는 데이터를 ‘Google Merchandise Store’ 웹사이트와 Google Merchandise Store의 Google Analytics 데이터로 통제하였다. 실험 결과는 Verbal/Think-aloud protocols’ 방법을 통해 분석하고자 하였다.

3.4. 데이터 분석 프로토콜 코딩 체계

본 연구에 사용된 ‘Google Merchandise Store의 웹사이트’와 ‘웹로그 데이터(Analytics data)’의 해석을 위한 프레임워크를 제작하기 위해, 관련 선행 연구를 참고하였다. 구체적으로, 정진용과 황종선(2005)의 ‘B2B웹사이트 평가요인 측정 지표’, Lee(2016)의 ‘이커머스 전자상거래 평가 모형’, 김창수 외(2004)의 ‘인터넷 쇼핑몰 서비스 품질 관련 연구’, 김유진(2022)의 데이터 제공 디자인 관련 연구에서 언급된 AARRR프레임워크의 ‘퍼널funnel) 단계별 지표’, 권영직(2016)의 ‘웹사이트 품질 평가 요인 빈도분석’ 연구를 조사하였다. 관련 연구를 기반으로, 본 연구에 적합한 주제를 비즈니스 관리(Business Management), 디자인 결과물(Design Output), 고객 반응(Customer Response), 인프라 & 구조(Infra & Structure)로 구분하고, 각 세부 주제로 분류하였다(Table 7 참조).

Table 7

E-commerce website data interpretation protocol

해당 분류를 통해, 디자인 직군과 경영 직군이 ‘웹사이트’와 ‘웹로그 데이터’ 해석 시, 활용하는 주제를 코딩하였다.

4. 실증 연구 결과

4.1. 데이터 해석의 프로토콜 분석

‘디자인 직군’과 ‘경영 직군’의 데이터 해석 경향을 분석하기 위해, 사고발화(Think aloud)방법을 활용하였다. 발화(發話)란, 소리를 내어 말하는 언어 행위 또는 그에 의하여 산출된 음의 연쇄체를 의미한다.¹⁾ 사고 발화는 피실험자가 생각, 문제해결 또는 학습 중에 큰소리로 말하도록 요청함으로써 인지 및 메타인지 프로세스를 식별하는 방법으로(Hu & Gao 2017; Pressley & Afflerbach, 1995; Ericsson & Simaon, 1993), 피실험자가 생각을 생성하고 처리(processing)하는 과정을 관찰할 수 있다. 이에, 연구자는 사고 발화 방법을 활용하여, 데이터 제공 디자인 과정 중의 ‘피실험자의 데이터 해석 경향’을 확인하고자 하였으며, 이를 위해 실험 과정에서 발화된 모든 내용을 녹음한 뒤, 전사하였다.

이후, 앞서 분류한 코드[Table 7]를 통해 프로토콜 분석[Table 8]을 진행하였고, 연구 주최자가 검토하였다. ‘디자인 직군’과 ‘경영 직군’의 주제별 발화에 대한 프로토콜 분석 내용은 [Table 9]와 같다.

Table 8

Protocol analysis process

Table 9

Comparison of number and time of speaking

발화 횟수의 경우, 30분 분석 시간 내에 디자인 직군이 디자인 결과물 주제를 6.9회 더 빈번하게 언급하였다. 평균 발화 시간의 경우, 경영 직군은 비즈니스 관리 주제를 디자이너 직군보다 약 246초 동안 길게 분석하며, 디자인 직군은 디자인 결과물 주제를 경영 직군보다 약 134초 길게 분석하였다. 주제별 데이터 분석 현황을 구체화하기 위한, 세부 주제별 해석 횟수와 시간은 [Table 10]과 같다.

Table 10

Number of speaking and time for analysis by topics

비즈니스 관리의 경우, 경영 직군의 발화 시간(5750초)이 디자인 직군의 발화 시간(3290초)보다 많았다. 특히 ‘매출(e.g., 수익, 구매 전환 등)’에 대한 발화 비중이 높았으며, 다른 주제 관련 발화에도 매출에 대한 내용이 함께 언급되는 경우가 빈번하였다. 반면 디자인 직군의 경우, ‘콘텐츠 내용(e.g., 사이트에서 제공하는 정보의 품질, 콘텐츠의 양과 질, 상세페이지 구성 내용 등)’에 대한 발화 시간이 경영 직군보다 약 60초 길었다. 디자인 결과물의 경우, 디자인 직군의 평균 발화 횟수가 6.9회 더 빈번하며, 발화 시간도 약 134초 길었다. 모든 세부 주제에 대해서 디자인 직군이 경영 직군보다 발화 횟수가 빈번하고 발화 시간이 길었다.

디자인 직군과 경영 직군의 데이터 해석 경향을 주제별로 확인하고자, [Table 11]과 같이 1회 분석 시 발화 시간을 주제별로 비교하였다.

Table11

Average speaking time per session (seconds)

모든 주제에 대하여, 경영 직군의 1회당 발화 시간이 디자인 직군에 비해 길었으며, 구체적으로는 비즈니스 관리 부분은 평균 10.6초, 디자인 결과물 부분은 평균 4.3초, 고객 반응 부분은 평균 2초, 인프라 & 구조 부분은 평균 6.5초 발화 시간이 길었다. 회당 발화 시간의 차이에 대해 발화 내용을 살펴본 결과, 경영 직군은 웹로그 데이터의 수치를 분석하고 해석하는 데 시간을 많이 소요하였고, 디자인 직군은 웹사이트의 기능과 형상을 보고 의견을 제시하여 경영 직군에 비해 발화 시간이 짧았다. 예를 들어 [Table 12]와 같이 디자인 직군과 경영 직군이 ‘홈 화면에 대한 사용자 반응’에 대한 내용을 언급할 때, 경영 직군은 웹로그 데이터의 이탈률, 유입률 등을 통해 유추하고 하였으나, 디자인 직군은 웹사이트의 기능(검색)과 형상, 일반적인 사용자들의 사용 패턴을 바탕으로 유추하였다.

Table 12

Different utterances by practitioners in the ‘Design’ and ‘Business’ fields on the same topic (e.g., User reaction to home screen)

주제별 디자인 직군과 경영 직군의 데이터 해석 경향에 대한 추가 분석을 위해, 주제별 발화 시간[Table 12]과 횟수[Table 13]을 비교하여, 직군별 데이터 분석 경향을 확인하였다.

Table 13

Speaking time by topic (proportion)/Unit: 10 seconds

Table 14

Number of speaking sessions per topic (proportion)

디자인 직군은 주제별 발화 시간의 비율이 비즈니스 관리(33%), 디자인 결과물(31%), 고객 반응(33%)에서 유사하게 나타났다. 그리고 발화 횟수의 비중 역시 비즈니스 관리(35%), 디자인 결과물(30%), 고객 반응(31%)이 유사한 비율이었다. 반면 경영 직군의 경우, 비즈니스 관리에 대한 발화 시간(53%)과 발화 횟수(48%)가 50% 내외(±3%)로, 비즈니스 관리에 대한 해석이 집중적으로 이루어졌다.

4.2. 데이터 기반 아이디어 분석 결과

실험을 통해 도출된 아이디어의 질(Quality)을 평가함으로써, 디자인 직군과 경영 직군의 데이터 기반 아이데이션의 경향에 대한 인사이트를 얻고자 하였다. 아이디어 평가는 이연준과 주재우(2017)의 연구에서 언급된 창의성 평가 항목을 활용하였다. 이는 신제품 개발, 디자인을 주제로 한 선행 연구를 기반으로 디자인 결과물의 품질 측정을 위한 항목이기 때문에, 실험을 통해 도출된 ‘데이터 제공 디자인’의 결과물의 품질을 측정하기에 적합한 지표라고 판단하였기 때문이다. 이에, [Table 15]와 같이 참신성(Novelty), 유용성(Usefulness), 상업적 매력도(Commercial Appeal)를 7점 리커트 척도로 평가하였다.

Table 15

Design outcome quality measurement indicators

아이디어 평가는 크리에이티브 디랙터(Creative Director) 전문가 2인이 진행하였다. 아이디어 결과 분석은 기초통계학적 분석과 더불어, A.아이디어 생산자(디자인 직군/경영 직군), B.근거 데이터의 종류(정량 데이터(Web-log Data)/시각적 데이터(웹사이트 형상)), C.아이디어 주제(비즈니스 관리, 디자인 결과물, 고객 반응, 인프라 & 구조) 세 가지 축을 활용하여 진행하였다. 직군별 아이디어 점수의 차이를 비교하기 위해서 T-검정 독립검증을 실시하였으며, 통계 프로그램은 IBM SPSS Statistics(version 29.0.1.0)를 활용하였다

(1) 아이디어 결과 기초 통계학적 분석 (A)

실험을 통해 도출된 디자인 직군 10인과 경영 직군 10인의 아이디어 개수와 아이디어의 참신성, 유용성, 상업적 매력에 관한 점수는 다음과 같다.

Table 16

Idea scores by designers and non-designers

디자인 직군과 경영 직군이 동일한 데이터를 기반으로 아이데이션할 때, 디자인 직군은 총 110개의 아이디어를 도출하였으며, 경영 직군은 52개의 아이디어를 도출하였다. 아이디어의 평가 점수로 볼 때, 디자인 직군의 아이디어가 경영 직군의 아이디어에 비해 유용성이 높은 것을 알 수 있었다.

(2) 근거 데이터 유형에 따른 아이디어 분석 (A-C)

디자인 직군의 경우, 총 110개의 아이디어를 도출하였으며, 이 중 정량 데이터(e.g., click rate, PV, session 등)를 바탕으로 도출한 아이디어는 32개이다. 그리고 시각적 데이터(e.g., 웹사이트 디자인, 콘텐츠, 이미지 등)를 기반으로 도출한 아이디어는 78개이다. 경영 직군의 경우, 총 52개의 아이디어를 도출하였으며, 이 중 29개의 아이디어를 정량 데이터를 기반으로 도출하였고, 23개의 아이디어를 시각적 데이터를 기반으로 도출하였다.

Table 17

Number of ideas with supporting data from designers and non-designers

각 아이디어에 대한 참신성, 유용성, 상업적 매력도에 대한 점수에 대한 직군 내 분석 결과는 [Table 18]과 같다.

Table 18

Idea score by type of supporting data (within-group comparison)

두 직군 모두 정량 데이터를 기반으로 도출된 아이디어의 점수가 시각적 데이터 기반의 아이디어 보다 높은 점수로 평가되었다. 디자인 직군의 경우, 정량 데이터 기반의 아이디어가 시각적 데이터 기반 아이디어에 비해 참신성(+0.41점), 상업적 매력도(+0.61점)가 높게 평가되었으며, 경영 직군의 경우 정량 데이터를 기반으로 하는 아이디어가 시각적 데이터 기반 아이디어에 비해 상업적 매력도(+0.55점)가 높게 평가되었다. 디자인 직군과 경영 직군 모두 정량 데이터 기반의 아이디어 점수가 더 높은 이유를 파악하기 위해, 두 직군이 두 가지 종류의 데이터(정량 데이터, 시각적 데이터)를 다루는 접근 방식에 관해 추가 인터뷰를 진행하였다.

첫째, 디자인 직군과 경영 직군 모두 정량 데이터를 더 오랜 시간 분석하였다. 이는 두 직군이 모두 시각적 데이터는 익숙하기 때문에 직관적으로 문제를 확인할 수 있으나, 정량 데이터는 분석된 수치와 연관된 요인을 파악하기 위해, 더 오랜 시간이 소요되었다고 답하였다.

Table 19

Comment on why it takes different amount of time to interpret visual and numerical data

둘째, 디자인 직군과 경영 직군 모두 사이트의 특성과 연관된 정량 데이터를 활용하였다. 실험을 위해 제공된 정량 데이터는 [Table 20]과 같이 트래픽 데이터, 행동 데이터, 전자 상거래 데이터 3가지였다.

Table 20

Segment numerical data

디자인 직군은 3가지 데이터 중, 전자상거래 데이터 기반 아이디어의 비중(38%)이 가장 높았으며, 행동 데이터 기반 아이디어(31%), 트래픽 데이터 기반 아이디어(28%)가 뒤를 이었다. 전자 상거래 데이터를 가장 빈번히 확인하는 이유는 실험물이 ‘이커머스 웹사이트’이기 때문에, ‘매출 증진’이 주요한 요소라고 판단하였기 때문이라고 답하였다. 경영 직군은 트래픽 데이터(38%)와 전자상거래 데이터(38%)를 동일한 비율로 확인하였고, 행동 데이터를 확인하는 비중(24%)이 상대적으로 낮았다. 전자 상거래 데이터와 트래픽 데이터를 빈번히 확인하는 이유는 실험물이 ‘이커머스 웹사이트’이기 때문에, ‘지속적인 고객 인입’과 이를 통한 ‘매출 증진’이 주요한 요소라고 판단하였기 때문이라 답하였다.

셋째, 경영 직군의 경우 정량 데이터 기반 아이데이션 과정에서, ‘고객의 트래픽을 분석할 때, 재방문 데이터와 구매 데이터를 연계하여 분석하는 것’과 같은 추가 분석 방안을 제시하는 경우가 빈번하였다. 디자인 직군은 총 32회의 정량 데이터 기반 아이데이션 중, 추가 분석 방안을 4회 언급하였으나, 경영 직군은 29회의 정량 데이터 기반 아이데이션 중 추가 분석 방안을 10회 언급하였다.

Table 21

Example of numerical data-based additional analysis proposal

정리하면, 디자인 직군과 경영 직군 모두 정량 데이터를 분석할 때, 1) 더 오랜 시간을 투자하고, 2) 사이트의 특성을 고려하여 분석 대상이 되는 정량 데이터를 설정하며, 3) 특히 경영 직군의 경우, 정량 데이터 간 연계 분석을 진행하기 때문에, 정량 데이터 기반의 아이디어가 더 높은 점수를 받을 수 있을 것으로 사료된다.

각 아이디어에 대한 참신성, 유용성, 상업적 매력도에 대한 점수에 대한 직군 간 분석 결과는 [Table 22]와 같다.

Table 22

Idea score by type of supporting data (between-group comparison)

디자인 직군과 경영 직군의 직군 간 아이디어 점수를 비교해본 결과, 정량 데이터를 기반으로 하는 아이데이션의 경우, 디자인 직군의 아이디어가 경영 직군의 아이디어에 비해 유용성(+0.49점), 상업적 매력도(+0.38점)가 높게 측정되었다. 시각적 데이터 기반 아이데이션의 경우, 디자인 직군의 아이디어가 경영 직군의 아이디어에 비해 유용성(+0.51점)이 높게 측정되었다. 디자인 직군과 경영 직군의 정량 데이터 기반 아이디어, 시각적 데이터 기반 아이디어의 점수 차이의 원인을 파악하고자, 두 직군이 시각적 데이터, 정량 데이터를 활용하는 방법에 대한 차이점을 찾기 위한 정성 분석을 진행하였다.

첫째, 문제 발견과 아이데이션 과정에서, 두 직군이 시각적 데이터와 정량 데이터를 활용하는 시점과 방법에 차이가 존재하였다. 디자인 직군은 시각적 데이터를 기반으로, 주관과 직관에 의해 문제를 파악한 후, 정량 데이터를 통해 문제를 검증하는 경우가 빈번하였다. 반면, 경영 직군은 정량 데이터를 통해 문제를 찾고, 문제가 있는 영역의 시각적 데이터를 확인하여 문제를 분석하였다.

Table 23

Data utilization method and process

둘째, 두 직군의 데이터 활용방식은 다르지만, [Table 24]와 같이 두 직군이 동일한 정량 데이터(e.g., 행동 데이터 중 세션 시간)를 활용하여 아이데이션을 할 때는 유사한 아이디어(e.g., 세션 시간이 짧기 때문에, 이를 늘릴 수 있는 아이디어가 필요하다.)를 도출하였다.

Table 24

Example of ideation based on the same numerical data

셋째, 두 직군의 데이터 활용방식은 다르지만, [Table 25]와 같이 정량/시각적 데이터 기반의 아이데이션에 대한 견해는 유사함을 알 수 있었다.

Table 25

Opinion on numerical/visual data-based ideation

시각적 데이터 기반의 아이데이션에 대해서, 디자인 직군과 경영 직군은 공통으로 빠르게 문제를 발견하고 아이디어를 발굴할 수 있지만, 주관성에 대한 우려를 표하였다. 정량 데이터 기반의 아이데이션에 대해서, 고객의 경험을 보다 총체적으로 이해할 수 있고, 아이데이션을 돕는 지표들이 더 풍부하다는 점에서 동의하였다.

종합하면, 디자인 직군과 경영 직군이 시각적, 정략 데이터를 기반으로 아이데이션할 때, 아이디어 결과의 차이가 발생하였다. 두 직군이 1) 데이터를 활용하는 방식과 프로세스가 다르다는 점, 2) 동일한 데이터를 기반으로 아이데이션할 때, 유사한 아이디어를 도출한다는 점, 3) 시각적, 정량 데이터에 대한 견해가 유사하다는 점에서 볼 때, 두 직군의 아이디어의 차이는 데이터를 활용하는 방식과 시기에 영향을 받았을 것으로 사료된다.

(3) 근거 데이터 유형과 주제에 따른 아이디어 분석 (A-B-C)

디자인 직군과 경영 직군의 아이디어를 근거 데이터 유형과 주제별로 분석한 결과이다(A-B-C). 분석 결과는 [Table 26], [Table 27]과 같다. 아이디어의 수가 5개 미만으로 대표성을 가지고 비교되기 어려운 항목은 회색으로 표기하였으며, 7점 리커트 척도를 기준으로 4점 이상의 점수를 높은 아이디어로 책정하였다.

Table 26

Scores for ideas based on ‘Numerical Data’

Table 27

Scores for ideas based on ‘Visual data’

‘비즈니스 관리 영역’의 경우, 디자인 직군이 정량 데이터를 기반으로 도출한 아이디어는 참신성(4.28점), 유용성(4.96점), 상업적 매력도(5.2점)가 높게 평가되었으며, 시각적 데이터를 기반으로 한 아이디어는 유용성(4.6점)과 상업적 매력도(4.66점)가 높게 평가 되었다. 경영 직군이 도출한 아이디어의 경우, 정량 데이터를 기반으로 도출한 아이디어의 유용성(4.46점), 상업적 매력도(4.77점)가 높게 평가되었으며, 시각적 데이터 기반으로 도출한 아이디어 역시 유용성(4.1점)과 상업적 매력도(4.4점)가 높게 평가되었다. 두 직군 간의 점수를 비교하면, 정량 데이터를 기반으로 도출한 아이디어와 시각적 데이터를 기반으로 도출한 아이디어 모두 디자인 직군 아이디어의 참신성(정량 데이터:+0.66점, 시각적 데이터:+0.24점), 유용성(정량 데이터:+0.5점, 시각적 데이터:+0.5점), 상업적 매력도(정량 데이터:+0.43점, 시각적 데이터:+0.34점)가 높게 측정되었다.

특히 디자이너의 경우, [Table 28]과 같이 정량 데이터를 통해 아이데이션할 때, 참신성이 더 높은 아이디어를 도출함을 알 수 있었다.

Table 28

‘Business Management’ idea scores (Practitioners in Design)

Table 29

An example of an idea with a high score for ‘Novelty’ related to ‘Business Management’

‘디자인 결과물’과 관련하여서는 디자인 직군과 경영 직군 모두 정량 데이터를 기반으로 도출한 아이디어의 개수가 모두 5개 미만으로(디자인 직군: 2개, 경영 직군: 1개) 비교가 어려웠다. 대부분의 아이디어가 시각적 데이터를 통해 도출되었으며, 디자인 직군의 시각적 데이터 기반 아이디어 점수는 유용성(4.83점), 상업적 매력도(4.23점)가 높게 측정되었고, 디자인 직군의 시각적 데이터 기반 아이디어 점수는 유용성(4.42점)이 높게 측정되었다.

Table 30

An example of an idea with a high score for ‘Usefulness’ related to ‘Design Output’

두 직군 간의 점수를 비교 시, 시각적 데이터를 기반으로 도출한 디자인 직군 아이디어의 참신성(시각적 데이터:+0.34점), 유용성(시각적 데이터:+0.41점), 상업적 매력도(시각적 데이터:+0.37점)가 높게 측정되었다.

‘고객 반응’과 관련하여서는 디자인 직군과 경영 직군 모두 시각적 데이터를 기반으로 도출한 아이디어의 개수가 5개 미만으로(디자인 직군: 3개, 경영 직군:0개) 비교가 어려웠다. 대부분의 아이디어가 정량 데이터를 통해 도출되었으며, 디자인 직군의 정량 데이터 기반 아이디어는 유용성(4.9점), 상업적 매력도(4.6점)가 높게 평가되었고, 경영 직군의 정량 데이터 기반 아이디어는 참신성(4.31점), 유용성(4.38점), 상업적 매력도(4.56점)가 높게 평가되었다.

Table 31

Examples of ideas with a high score for ‘Commercial Appeal’ related to ‘Customer Response’

두 직군 간의 점수를 비교 시, 정량 데이터를 기반으로 도출한 경영 직군의 아이디어의 참신성(정량 데이터:+0.51점)이 높게 측정되었으며, 디자인 직군의 유용성(정량 데이터:+0.52점), 상업적 매력도(정량 데이터:+0.04점)가 높게 측정되었다.

‘인프라 & 구조’에 관련된 아이디어는 경영 직군이 정량 데이터 기반으로 도출한 아이디어가 유용성(4.67점), 상업적 매력도(4.67점)가 높게 평가되었고, 디자인 직군은 해당 주제에 대한 아이디어를 거의 도출하지 못하였다(디자인 직군: 2개). 이를 통해, 인프라 & 구조와 관련된 아이디어의 경우 정량 데이터를 기반으로 도출되는 케이스가 많으며, 경영 직군이 유용성과 상업적 매력도가 높은 아이디어를 도출함을 발견하였다.

Table 32

An example of an idea with a high score for ‘Commercial Appeal’ related to ‘Infra & Structure’

종합하면, 디자인 직군의 총 110개 아이디어 중, 78 개의 시각적 데이터 기반 아이디어가 도출되었고, 이를 통해 디자인 직군이 주로 시각적 데이터 기반의 아이데이션을 익숙하게 하는 경향이 있다는 것을 알 수 있다. 주제별로 데이터 활용과 그 결과는 다음과 같다. 첫째, ‘비즈니스 관리’는 ‘정량 데이터 기반 아이디어 23개’와 ‘시각적 데이터 기반 아이디어 26개’의 차이가 크지 않아 디자인 직군이 두 유형의 데이터를 균형 있게 활용한다는 것을 알 수 있었다. 또한, 디자인 직군의 정량 데이터 기반 아이디어는 창의성 4.28점, 유용성 4.96점, 상업적 매력도 5.2점으로 평가되었으며, 이는 시각적 데이터 기반 아이디어에 비해 창의성 +0.49점, 유용성 +0.36점, 상업적 매력도 +0.54점이 높은 수치이다. 둘째, ‘디자인 결과물’의 경우, ‘정량 데이터 기반 아이디어 2개’와 ‘시각적 데이터 기반 아이디어 49개’로, ‘시각적 데이터’에 집중하여 아이데이션하는 경향이 있음을 알 수 있었다. 디자인 직군의 시각적 데이터 기반 아이디어는 창의성 3.72점, 유용성 4.83점, 상업적 매력 4.23점으로 평가되었다. 셋째 ‘고객 반응’의 경우, ‘정량 데이터 기반 아이디어 5개’와 ‘시각적 데이터 기반 아이디어의 3개’로, 정량 데이터를 활용하여 아이데이션하는 비중이 높았다. 디자인 직군의 정량 데이터 기반 아이디어는 참신성 3.8점, 유용성 4.9점, 상업적 매력도 4.6점으로 평가되었다. 넷째 ‘인프라 & 구조’의 경우, ‘정량 데이터 기반 아이디어 2개’와 ‘시각적 데이터 기반 아이디어 0개’로, 데이터 종류에 무관하게 해당 분야에 대한 디자인 직군의 아이디어가 도출되지 않았다.

경영 직군의 총 52개 아이디어 중, 정량 데이터를 기반으로 도출한 아이디어가 29개, 시각적 데이터를 기반으로 한 아이디어가 23개로, 정량 데이터를 더 익숙하게 확인하는 경향이 있지만, 디자인 직군에 비해 상대적으로 두 가지 유형의 데이터를 균등하게 활용하고 있음을 알 수 있었다. 주제별로 데이터 활용과 그 결과는 다음과 같다. 첫째, ‘비즈니스 관리’는 ‘정량 데이터 기반 아이디어 14개’와 ‘시각적 데이터 기반 아이디어 10개’의 차이가 크지 않아 두 유형의 데이터를 균형 있게 활용한다는 것을 알 수 있었다. 또한, 경영 직군의 정량 데이터 기반 아이디어는 창의성 3.62점, 유용성 4.46점, 상업적 매력도 4.77점으로 평가되었으며, 이는 시각적 데이터 기반 아이디어에 비해 창의성 +0.07점, 유용성 +0.36점, 상업적 매력도 +0.37점이 높은 수치이다. 둘째, ‘디자인 결과물’의 경우, ‘정량 데이터 기반 아이디어 1개’와 ‘시각적 데이터 기반 아이디어 12개’로, ‘시각적 데이터’에 집중하여 아이데이션하는 경향이 있음을 알 수 있었다. 경영 직군의 시각적 데이터 기반 아이디어는 창의성 3.38점, 유용성 4.42점, 상업적 매력 3.86점으로 평가되었다. 셋째 ‘고객 반응’의 경우, ‘정량 데이터 기반 아이디어 8개’와 ‘시각적 데이터 기반 아이디어 0개’로, 정량 데이터만을 활용하여 아이데이션하였다. 경영 직군의 정량 데이터 기반 아이디어는 참신성 4.31점, 유용성 4.38점, 상업적 매력도 4.56점으로 평가되었다. 넷째 ‘인프라 & 구조’의 경우, ‘정량 데이터 기반 아이디어 6개’와 ‘시각적 데이터 기반 아이디어 0개’로, 정량 데이터만을 활용하여 아이데이션하였다. 경영 직군의 정량 데이터 기반 아이디어는 참신성 3.67점, 유용성 4.6점, 상업적 매력도 4.67점으로 평가되었다.

5. 결론

5.1. 결론 및 논의

본 연구는 ‘데이터 기반 정보 제공 디자인(Data-informed Design)의 관점으로, ‘디자인 직군’과 ‘경영 직군’의 데이터 해석 과정과 아이데이션 과정을 실증적으로 조사하였다. 이후 프로토콜 분석과 아이디어 평가를 진행하여, 데이터 해석 과정과 아이데이션 과정의 주요 인사이트를 도출하였다. 데이터 해석 과정에 대한 주요 인사이트는 다음 3가지로 정리할 수 있다.

첫째, 주제별 디자인 직군과 경영 직군의 발화 횟수와 시간의 차이이다. 디자인 직군은 경영 직군에 비해 ‘디자인 결과물’에 대해 더 자주, 오랜 시간 언급하였다. 세부 주제 분석 시, 두 직군이 공통적으로 ‘사용성’을 가장 자주 언급하고 있다. 디자인 직군은 사용자의 편의 측면에서, 경영 직군은 사이트 활성화와 매출 향상 측면에서 사용성에 대한 문제를 정의하였다. 협업을 통해 디자인 직군과 경영 직군의 사용성에 대한 인사이트가 공유된다면, 편의와 매출을 고려한 사용성 개선이 이뤄질 수 있을 것이라 사료된다. 경영 직군은 디자인 직군에 비해 ‘비즈니스 관리’에 대해 더 오랜 시간 발화하였다. 특히, ‘마케팅’, ‘매출’, ‘고객 유치’에 대한 발화를 오랜 시간 동안 진행하였는데, 두 직군의 협업을 통해 디자인 직군에게 해당 부분에 대한 데이터 해석 방식을 전달할 수 있을 것으로 사료된다.

둘째, 문제 접근 방식 경향 차이이다. 경영 직군은 웹로그 데이터 기반으로 문제를 찾고, 디자인 직군은 웹사이트 기능과 형상, 기존의 지식을 기반으로 문제를 인식하는 경향이 있다. 이에, 지식 기반으로 빠르게 문제를 예측하는 디자인 직군의 문제 접근 방식과 데이터를 기반으로 원인을 정확하게 분석하는 경영 직군의 문제 접근 방식을 교류할 수 있는 방안이 필요할 것으로 사료된다.

셋째, 데이터 해석 시 주요하게 다루는 주제의 차이이다. 디자인 직군은 ‘비즈니스 관리’, ‘디자인 결과물’, ‘고객 반응’ 주제별 발화 비중이 유사하지만 경영 직군은 ‘비즈니스 관리’의 발화 비중이 높다. 이를 통해, 디자인 직군은 여러 주제에 대해 균형 있게 문제를 정의하며, 경영 직군은 비즈니스에 집중하여 문제에 접근함을 유추할 수 있다. 이에, 두 직군의 협업을 통해 디자인 직군의 ‘문제를 다양한 주제로 접근하는 태도’와 경영 직군의 ‘비즈니스 전문성’을 교류할 수 있을 것이다.

디자인 직군과 경영 직군이 정량/시각적 데이터를 기반으로 도출한 아이디어 대한 주요 인사이트는 다음 6가지로 정리할 수 있다.

첫째, 디자인 직군과 경영 직군의 정량 데이터 기반의 아이디어와 시각적 데이터 기반의 아이디어의 점수 차이이다. 두 직군 모두 정량 데이터 기반으로 도출된 아이디어의 점수가 높게 측정되었다. 시각적 데이터 기반의 아이데이션 비중이 높은 디자이너가 정량 데이터 기반의 아이데이션을 함께 진행할 때, 참신성과 상업적 매력도가 높은 아이디어를 더 높은 빈도로 도출할 수 있을 것이다.

둘째, 디자인 직군과 경영 직군이 정량 데이터, 시각적 데이터를 활용하는 방식의 차이이다. 근거 데이터 유형에 따른 아이디어 결과 분석 시, 디자인 직군의 정량 데이터 기반 아이디어의 유용성, 상업적 매력도, 시각적 데이터 기반 아이디어의 유용성이 경영 직군의 아이디어 보다 높게 측정되었다. 디자이너와 비디자이너의 아이디어 점수 차이의 원인을 파악하고자, 디자인 직군과 경영 직군이 시각적 데이터, 정량 데이터를 활용하는 방법에 대한 정성 분석을 진행하였다(Table 23 참조). 그 결과 디자인 직군과 경영 직군의 데이터 분석과 아이데이션 프로세스의 차이를 발견하였으며, 이를 [Table 33]으로 정리할 수 있었다.

Table 33

Process of data analysis and ideation by practitioners in ‘Design’ and ‘Business’ fields

두 직군이 동일한 정량 데이터를 활용하여 아이데이션할 때, 유사한 아이디어를 도출한다는 점(Table 24 참조), 두 직군이 정량 데이터, 시각적 데이터 기반 아이데이션에 대한 견해가 유사하다는 점(Table 25 참조)에 미루어 볼 때, 두 직군의 아이디어 점수 차이는 데이터를 활용하는 방식과 시기에 영향을 받았을 것으로 예상할 수 있다. 이에, 두 직군의 서로 다른 데이터 활용 방식의 차이점을 기반으로 코디자인이 이뤄진다면, 서로의 방법을 관찰하고 경험할 수 있을 것이다.

셋째, ‘비즈니스 관리’에 대한 아이데이션 특징과 경향이다. 디자인 직군과 경영 직군 모두 정량 데이터와 시각적 데이터를 활용한 아이데이션을 하였고, 두 직군이 공통적으로 유용성과 상업적 매력도가 높은 아이디어를 도출하였다. 특히, 디자인 직군이 정량 데이터를 기반으로 아이데이션 시, 참신성이 높은 아이디어를 도출하였다. 이를 통해, 두 직군의 협업 시, 디자이너가 참신성 높은 아이디어에 대한 인사이트를 제공할 수 있을 것이다.

넷째, ‘디자인 결과물’에 대한 아이데이션 특징과 경향이다. 디자인 직군과 경영 직군이 모두 시각적 데이터 중심의 아이데이션을 하며, 유용성과 상업적 매력도가 높은 아이디어를 도출하였다. 하지만 두 직군이 공통적으로 참신성이 높은 아이디어를 도출하지 못하였다는 점에서, 협업 시 참신성이 높은 아이디어를 도출할 수 있는 방안 모색이 필요할 것이다.

다섯 번째, ‘고객 반응’에 대한 아이데이션 특징과 경향이다. 디자인 직군과 경영 직군이 모두 정량 데이터 중심의 아이데이션을 하며, 유용성과 상업적 매력도가 높은 아이디어를 도출하였다. 특히, 경영 직군이 참신성이 높은 아이디어를 도출하였다. 이를 통해, 두 직군의 협업 시, 경영 직군이 참신성 높은 아이디어에 대한 인사이트를 제공할 수 있을 것이다.

여섯 번째, ‘인프라 & 구조’에 대한 아이데이션 특징과 경향이다. 디자인 직군은 아이디어를 도출하지 못하였으며, 경영 직군은 정량 데이터 중심으로 아이데이션을 통해, 유용성과 상업적 매력도가 높은 아이디어를 도출하였다. 이를 통해, 두 직군이 협업 시 지식과 아이디어 도출 방안에 대해서 학습할 수 있을 것이라 사료된다.

종합하면, 디자인 직군과 경영 직군의 ‘데이터 기반 정보 제공 디자인’ 협업을 통해, 각 직군의 지식과 장점을 습득함으로써, 개인의 역량과 결과물의 수준을 제고할 수 있을 것이다.

References

• Arya, P. (2020). Leveraging a data-informed design approach (https://uxdesign.cc/leveraging-data-informed-design-approach-1fe564407656).
• Baig, M. I. (2023). Data-driven Design: Everything You Should Know. (https://www.linkedin.com/pulse/data-driven-design-everything-you-should-know-mirza-irfan-baig/).
• Bertoni, A. (2020). Data-driven design in concept development: systematic review and missed opportunities. In Proceedings of the Design Society: DESIGN Conference, Vol. 1 , 101-110. Cambridge University Press. [https://doi.org/10.1017/dsd.2020.4]
• Camburn, B., Viswanathan, V., Linsey, J., Anderson, D., Jensen, D., Crawford, R., ... & Wood, K. (2017). Design prototyping methods: state of the art in strategies, techniques, and guidelines. Design Science, 3, e13.. [https://doi.org/10.1017/dsj.2017.10]
• Dove, G., & Jones, S. (2014). Using data to stimulate creative thinking in the design of new products and services. In Proceedings of the 2014 conference on Designing interactive systems, 443-452.. [https://doi.org/10.1145/2598510.2598564]
• Deutsch, R., & Leed, A. P. (2015). Leveraging data across the building lifecycle. Procedia engineering, 118, 260-267.. [https://doi.org/10.1016/j.proeng.2015.08.425]
• Feinberg, M. (2017). A design perspective on data. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, 2952-2963.. [https://doi.org/10.1145/3025453.3025837]
• Henseler, J., & Guerreiro, M. (2020). Design and marketing: Intersections and challenges. Creativity and innovation management, 29, 3-10.. [https://doi.org/10.1111/caim.12412]
• Hu, J., & Gao, X. A. (2017). Using think-aloud protocol in self-regulated reading research. Educational Research Review, 22, 181-193.. [https://doi.org/10.1016/j.edurev.2017.09.004]
• Jiang, H., & Yen, C. (2009). Protocol analysis in design research: a review. Journal Paper, 78(24), 16..
• Jones, A., Thoma, V., & Newell, G. (2016). Collaboration constraints for designers and developers in an agile environment. In Proceedings of the 30th International BCS Human Computer Interaction Conference 30, 1-9.. [https://doi.org/10.14236/ewic/HCI2016.37]
• Julier, G., & Kimbell, L. (2016). Co-producing social futures through design research. University of Brighton.
• Jung, J., & Hwang, C. (2005). A research of extracting B2B website evaluation factors and development for standard evaluation measurement. In Proceedings of the Korea Information Processing Society Conference, 491-494..
• Kimbell, L., & Bailey, J. (2017). Prototyping and the new spirit of policy-making. CoDesign, 13(3), 214-226.. [https://doi.org/10.1080/15710882.2017.1355003]
• Kim, C., Kim, H., & Koh, Y. (2004). A Study on the Customer Relationship Activation based on Service Quality of Internet Shopping Mall. International Commerce and Information Review, 6(1), 25-50..
• King, R., Churchill, E. F., & Tan, C. (2017). Designing with data: Improving the user experience with A/B testing. O'Reilly Media, Inc...
• Kim, Y. (2022). A Proposal of User Data Collection Planning Tool for Data-informed Design . (Master's thesis). Graduated School of Seoul Women's University, Seoul, South Korea..
• Kraff, H. (2018). A tool for reflection-on participant diversity and changeability over time in participatory design. CoDesign, 14(1), 60-73.. [https://doi.org/10.1080/15710882.2018.1424204]
• Kramer, N. (2020). Data-Informed Thinking: How-to incorporate data into your design process (https://uxplanet.org/data-informed-thinking-how-to-incorporate-data-into-your-design-process-348bc8c840fe).
• Kvan, T. (2020). Data-Informed Design: A Call for Theory. Architectural Design, 90(3), 26-31. [https://doi.org/10.1002/ad.2564]
• Kwon, Y. (2016). A Study on Frequency Analysis of Websites Quality Evaluation Factors. Journal of the Korea Industrial Information Systems Research, 21(4), 55-66.. [https://doi.org/10.9723/jksiis.2016.21.4.055]
• Lee, M., & Lee, Y. (2023). A Study on the Data Interpretation Approaches of Designers and Non-Designers for Problem Definition: Focusing on Protocol Analysis of Web Log Data. KSDS Conference Proceeding, 170-175..
• Lee, Y. (2016). Study on E-commerce Evaluation Model: Focused on. Journal of Distribution Science, 14(1), 85-91.. [https://doi.org/10.15722/jds.14.1.201601.85]
• Lee, Y., & Joo, J. (2017). Using design methods to improve design Quality: Verbalizers vs Visualizers. The Design Journal, 20(sup1), S1471-S1484.. [https://doi.org/10.1080/14606925.2017.1352672]
• Lu, J., Ortega, A. G., Gonçalves, M., & Bourgeois, J. (2021). The Impact of Data on the Role of Designers and their Process. Proceedings of the Design Society, 1, 3021-3030.. [https://doi.org/10.1017/pds.2021.563]
• Maciver, F. (2016). Reversing the design-marketing hierarchy: Mapping new roles and responsibilities in 'designer-led'new product development. The Design Journal, 19(4), 625-646.. [https://doi.org/10.1080/14606925.2016.1176340]
• Mason, M. (2015). Prototyping practices supporting interdisciplinary collaboration in digital media design for museums. Museum Management and Curatorship, 30(5), 394-426.. [https://doi.org/10.1080/09647775.2015.1086667]
• Maudet, N., Leiva, G., Beaudouin-Lafon, M., & Mackay, W. (2017). Design breakdowns: designer-developer gaps in representing and interpreting interactive systems. In Proceedings of the 2017 ACM Conference on Computer Supported Cooperative Work and Social Computing, 630-641.. [https://doi.org/10.1145/2998181.2998190]
• Pacheco, J., Garbatov, S., & Goulão, M. (2021, October). Improving collaboration efficiency between UX/UI designers and developers in a low-code platform. In 2021 ACM/IEEE International Conference on Model Driven Engineering Languages and Systems Companion (MODELS-C),138-147.. [https://doi.org/10.1109/MODELS-C53483.2021.00025]
• Palviainen, J., Kilamo, T., Koskinen, J., Lautamäki, J., Mikkonen, T., & Nieminen, A. (2015). Design framework enhancing developer experience in collaborative coding environment. In Proceedings of the 30th annual acm symposium on applied computing, 149-156.. [https://doi.org/10.1145/2695664.2695746]
• Park. H. (2016). (A)study on guideline for good communication with marketing and design departments : focused on new product marketing strategy in the large company (Master's thesis). Graduated School of Hongik University, Seoul, South Korea..
• Prestes Joly, M., Teixeira, J. G., Patrício, L., & Sangiorgi, D. (2019). Leveraging service design as a multidisciplinary approach to service innovation. Journal of service Management, 30(6), 681-715.. [https://doi.org/10.1108/JOSM-07-2017-0178]
• Reay, S., Collier, G., Kennedy-Good, J., Old, A., Douglas, R., & Bill, A. (2017). Designing the future of healthcare together: prototyping a hospital co-design space. CoDesign, 13(4), 227-244.. [https://doi.org/10.1080/15710882.2016.1160127]
• Saracco, R. (2021). Data Driven Culture. (https://cmte.ieee.org/futuredirections/2021/03/05/data-driven-culture/).
• Seidelin, C., Dittrich, Y., & Grönvall, E. (2018). Data Work in a Knowledge-Broker Organization: How Cross-Organizational Data Maintenance shapes Human Data Interactions. In British Human Computer Interaction Conference 2018 (pp. 1-12). BCS Learning and Development Ltd.. [https://doi.org/10.14236/ewic/HCI2018.14]
• Taffe, S. (2015). The hybrid designer/end-user: Revealing paradoxes in co-design. Design studies, 40, 39-59.. [https://doi.org/10.1016/j.destud.2015.06.003]
• Trischler, J., Dietrich, T., & Rundle-Thiele, S. (2019). Co-design: from expert-to user-driven ideas in public service design. Public Management Review, 21(11), 1595-1619.. [https://doi.org/10.1080/14719037.2019.1619810]
• Werder, K., Seidel, S., Recker, J., Berente, N., Gibbs, J., Abboud, N., & Benzeghadi, Y. (2020). Data-driven, data-informed, data-augmented: How ubisoft's ghost recon wildlands live unit uses data for continuous product innovation. California Management Review, 62(3), 86-102.. [https://doi.org/10.1177/0008125620915290]