Home > Vol. 36, No. 4

제품-서비스시스템을 위한 아이디어 생성과정에서 ChatGPT를 활용한 탐색적 실험
An Exploratory Experiment Using ChatGPT in the Idea Generation Process for Product-Service System
  • Younghyeon Yi : Department of Smart XD, Student, TED, Kookmin University, Seoul, Korea
  • 이 영현 : 국민대학교 테크노디자인전문대학원 스마트경험디자인학과, 학생, 서울, 대한민국
  • Myeongheum Yeoun : Department of Smart XD, Professor, TED, Kookmin University, Seoul, Korea
  • 연 명흠 : 국민대학교 테크노디자인전문대학원 스마트경험디자인학과, 교수, 서울, 대한민국

연구배경 인공지능 기술은 산업 전반에서 활용이 확대되고 있으며, 디자인 분야에서도 AI 기반의 툴 및 개발 연구가 활발히 진행되고 있다. 그 중 생성형 AI(ChatGPT-4, Bard 등)는 디자인 프로세스 중 아이디어 발산 단계의 활용 가능성이 있으며, 기존 방법의 한계를 극복하고 양질의 아이디어를 신속하게 생성하는 데 도움을 줄 수 있을 것으로 기대된다. 따라서, 본 연구는 생성형 AI의 아이데이션 효과를 체계적으로 검증하고 탐색하는 것을 목적으로 한다.

연구방법 각각 4명의 디자이너로 구성된 2개의 팀을 나눠 기존의 전통적인 아이데이션 방식과 생성형 AI를 활용한 아이데이션 방식의 비교 실험을 진행하였다. “Z세대를 위한 새로운 서비스의 헬스케어 웨어러블 기기”라는 주제로 4시간 동안 양질의 아이디어를 도출하도록 하였으며, 그 과정을 비개입 관찰하였다. 실험 종료 후 참가자 FGI 및 IDI를 통해 AI 활용 가능성을 확인하였고, 전문가 평가를 통해 도출된 아이디어의 창의성을 평가한 후 논의를 통해 인사이트를 얻었다.

연구결과 전통적인 방식보다 생성형 AI를 활용한 방식의 아이디어 개수가 약 1.67배 더 많았다. 질 평가에서도 전통적 아이데이션 방식 못지않은 수준의 결과물을 도출하였다. 생성형 AI는 고착화된 디자이너의 사고를 확장하는 데 효과적이며, 시간 단축 부분에서 분명한 효율성이 있었다. 하지만 맥락의 정합성이 부족하고, 구조적 완성도가 떨어져 전문가의 검증과 수렴은 필수적이었다.

결론 생성형 AI를 활용하여 더 좋은 결과를 얻기 위해서는 사전 정보를 명확하게 전달하고, 구체적이며 구조화된 질문과 프롬프트를 사용하는 것이 중요하다. 또한, AI와 효과적으로 소통하는 기술, 디자이너의 판별력과 통찰력, 그리고 수준 높은 의사결정이 요구된다. 이를 통해 AI가 제시하는 아이디어를 기준에 따라 적절히 평가하고 개선한다면, 우수한 솔루션과 디자인으로 발전할 수 있을 것이다. 향후 AI와 인간의 협업을 통해 디자인 분야에서 더욱 풍부하고 고도화된 결과물을 도출할 것으로 기대한다.

Abstract, Translated

Background Artificial Intelligence(AI) technology is expanding its utilization across various industries, and in the design field, research and development based on AI tools are actively underway. Among them, generative AI tools, such as ChatGPT-4 and Bard, possess potential applicability in the ideation phase of the design process. They are anticipated to overcome the limitations of conventional methods, facilitating the rapid generation of high-quality ideas. Hence, this study aims to systematically verify and explore the effects of generative AI on ideation.

Methods Two teams, each composed of four designers, were formed to conduct a comparative experiment between the conventional ideation method and the ideation method utilizing generative AI. They were tasked to generate high-quality ideas over a 4-hour span on the topic of “Healthcare Wearable Devices for Generation Z”. The process was observed without intervention. Following the experiment, the feasibility of AI utilization was confirmed through participant FGI(focus group interview) and IDI(in-depth interview). Expert evaluations were conducted to assess the creativity of the ideas generated, and insights were obtained through discussions.

Results The method utilizing generative AI produced 6 more ideas than the traditional method, showing an increase of approximately 1.67 times when compared to the conventional method. The quality assessment also showed that the outcomes of the generative AI method were on par with those from the conventional ideation method. Generative AI effectively broadened the confined thinking of designers and clearly displayed efficiency in terms of time-saving. However, there were shortcomings in contextual consistency and structural completeness, making expert validation and convergence essential.

Conclusions In order to achieve optimal outcomes using generative AI, it is imperative to provide clear preliminary information and to employ specific, structured questions and prompts, as well as effective communication skills when interacting with AI. Discernment and insight on the part of the designer, and high-level decision-making are essential. By rigorously evaluating and refining the ideas proposed by AI based on established criteria, we can pave the way for superior solutions and designs. It is anticipated that future collaborations between humans and AI will yield increasingly rich and sophisticated results in the field of design.

Keywords:
Generative AI, ChatGPT, AI Design, Ideation, Human-AI Collaboration, Product-Service System, 생성형 AI, 인공지능디자인, 아이데이션, 인간-AI협업, 제품-서비스시스템.
pISSN: 1226-8046
eISSN: 2288-2987
Publisher: 한국디자인학회Publisher: Korean Society of Design Science
Received: 29 Aug, 2023
Revised: 06 Oct, 2023
Accepted: 22 Oct, 2023
Printed: 30, Nov, 2023
Volume: 36 Issue: 4
Page: 271 ~ 289
DOI: https://doi.org/10.15187/adr.2023.11.36.4.271
Corresponding Author: Myeongheum Yeoun (yeounmh@kookmin.ac.kr)
PDF Download:

Funding Information ▼
Citation: Yi, Y., & Yeoun, M. (2023). An Exploratory Experiment Using ChatGPT in the Idea Generation Process for Product-Service System. Archives of Design Research, 36(4), 271-289.

Copyright : This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted educational and non-commercial use, provided the original work is properly cited.

1. 서론
1. 1. 연구 배경 및 목적

인공지능(Artificial Intelligence, 이하 AI) 기술은 산업 전반에 걸쳐 활용이 확대되고 있으며, 디자인 분야에서도 AI 기반의 툴 및 개발 연구가 활발히 진행되고 있다. 최근에는 생성형 언어 모델(Generative Language Models, GLMs)인 ChatGPT-4, Google Bard 등의 발전으로 창의적인 분야에서 인간-AI의 협업이 가능해질 것으로 전망되고 있다(Gero et al., 2022). 이와 유사한 관점에서 디 페데 외(Di Fede et al., 2022)는 사람이 아이디어를 생성하는 과정에서 대규모 언어 모델(LLMs)을 탐구하고 활용 가능성을 제안하였다. 아이디어 발산은 구성원의 창의적 사고능력, 경험, 지식수준, 문제 해결 능력 등에 따라 크게 달라질 수 있으며, 사람이 아이디어를 생성해 내는 수량과 범위 및 깊이에는 한계가 있다. 디자이너가 창의적인 아이디어를 지속적으로 생성하는 것은 자동화할 수 없는 인간 고유의 영역이기 때문에 노동집약적이고, 시간과 비용이 많이 드는 단점이 있다. 따라서 본 연구에서는 기존의 한계를 극복하는 방법으로 생성형 AI 툴을 활용한 아이디어 발산 과정을 비교하여 차이점을 분석하고, 양질의 결과를 도출하는 데 어떻게 도움을 줄 수 있는지에 대한 실증적 연구와 실험을 통해 탐색하는 것을 목표로 한다.

1. 2. 연구 범위 및 방법

본 연구는 제품-서비스디자인 개발에 사용하는 더블 다이아몬드 디자인 프로세스 모델(Double Diamond Design Process Model)의 4단계(Discover, Define, Develop, Deliver) 중 문제 해결과 솔루션을 찾기 위해 창의적인 아이디어 발산이 이루어지는 ‘Develop’ 단계에 초점을 맞추어 진행하였다. 이는 ‘Ideation (아이데이션)’에서 생성형 AI가 중요한 역할을 수행하는 데 적합하다고 판단하였기 때문이다. 생성형 AI 중에서도 현재 대중적으로 사용되는 대규모 언어 모델(Large Language Model, LLM)인 ChatGPT-4를 중심으로 연구하였으며, 추가로 Google Bard와 이미지 생성 AI 툴인 Midjourney를 활용하여 가능성과 효율성을 파악하고자 하였다.

연구방법 및 진행 과정은 아래의 Figure 1과 같다. 첫째, 기존의 전통적인 아이데이션 방법과 생성형 AI를 활용한 방법 비교를 위해 피험자들을 두 팀으로 나누어 서로 다른 조건과 방법으로 실험하였고, 진행 과정을 관찰하였다. 둘째, 실험 종료 후 참가자들과의 FGI 및 IDI를 통해 두 아이데이션 방법의 차이점과 활용 방안에 대한 유효한 발견점들을 파악하였다. 셋째, 전문가 평가를 통해 실험 결과물에 대한 아이디어 창의성을 확인하고, 실험 전반에 대한 깊은 통찰과 다양한 관점에서 인사이트를 도출하였다. 이를 바탕으로 아이디어 발산 단계에서 생성형 AI의 활용 가능성과 아이데이션을 보다 효과적이고, 효율적으로 진행할 수 있는 방향성을 제시하였다.


Figure 1 Experiment & Review Process
2. 이론적 배경
2. 1. 제품-서비스시스템 디자인의 아이데이션

제품-서비스시스템(Product Service System, PSS)은 고드쿠프 외(Goedkoop et al.,1999)에 의해 제안된 개념으로, 제품과 서비스가 밀접하게 통합되어 고객의 욕구를 충족하기 위해 만들어진 경쟁력 있는 시스템을 의미한다. 이러한 제품-서비스시스템의 개발과 구현을 위해서는 창의적인 아이데이션 과정이 필수적이다. 아이데이션의 사전적 의미는 아이디어 생산을 위해 행하는 모든 활동을 뜻하는 용어로, 본 연구에서는 새로운 제품이나 서비스를 구상하는 초기 단계에서의 아이디어 발산 및 개념을 구체화하는 과정을 의미한다. 창의적 사고를 바탕으로 새로운 아이디어를 발굴하는 아이데이션 단계는 전체 디자인 프로세스 중에서 중요한 부분을 차지하며(Gonçalves et al., 2014), 제품과 서비스의 상호작용을 고려한 아이디어 발산은 필수적이다. 기존의 전통적 아이데이션 방법은 주로 인간의 경험과 지식에 기반하므로 한정적인 아이디어 또는 유사한 패턴으로 도출될 가능성이 높다. 하지만, 맴머트와 타바나푸어(Memmert & Tavanapour, 2023)에 의하면, 생성형 AI는 다양한 데이터와 알고리즘을 활용해 넓은 범위에서 새로운 관점으로 아이디어를 탐색하는 데 도움이 될 수 있다. 따라서, 제품-서비스시스템 아이데이션에 생성형 AI를 활용함으로써, 다양하고 혁신적인 솔루션을 제안할 수 있는 가능성이 기대된다.

2. 2. 디자인 프로세스에 따른 AI 활용 연구

디자인 프로세스는 산출물의 종류, 디자인 분야, 사용자의 요구 및 특성 등 다양한 요소에 따라 유연하게 달라질 수 있다. 그중에서도 영국 디자인 카운슬(British Design Council)에서 개발한 더블 다이아몬드 디자인 프로세스 모델 4단계에 따라 발견(Discover), 정의(Define), 발전(Develop), 전달(Deliver)로 나누어 AI 기술과 툴 활용에 관한 선행 연구를 조사하여 아래의 Table 1로 정리하였다.

Table 1
AI Application Studies in the Double Diamond Model

단계 과정 내용 출처
1.발견
(Discover)
Desk Research 리서치 단계의 제품 디자인 전략 수립 방향 설정에 대한 ChatGPT 가능성과 한계 탐색 이시창(Lee, 2023)
Needs Discovery AI를 활용한 감성 분석을 바탕으로 실제 고객의 니즈와 새로운 요구사항이 도출 가능한 프로세스를 개발 윤재경 외(Yoon et al., 2017)
2.정의
(Define)
Customer Journey Insight 사용자 여정 데이터를 분석하여 사용자 경험 향상을 위한 인사이트를 도출하고 디자인 개선 방안을 제안 정지현 외(Jung et al., 2022)
3.발전
(Develop)
Ideation 브레인스토밍 시 개인의 한 사람이 생성형 AI와 함께하는 것에 대한 인식과 그룹 효과에 대해 연구 맴머트, 타바나푸어(Memmert, Lucas & Tavanapour, Navid, 2023)
Graphic Visualization 스케치 이미지를 렌더링 이미지로 생성하는 AI 모델 개발 윤도형 외(Yoon et al., 2019)
Conceptualization 40가지 AI 디자인 휴리스틱을 제시하고, 이를 통해 아이디어 자극 및 생성의 효과성을 검증 샤오넝 외 (Xiaoneng et al., 2021)
Concept Scenario 사용자 텍스트 기반의 콘셉트 제안 및 아이디어 제공을 통한 디자이너의 창의적 사고 지원 윤경원, 남택진(Yoon & Nam, 2021)
4.전달
(Deliver)
Prototyping AI 도구를 활용한 디자인과 전통적인 방법으로 디자인한 로고 비교 실험 진행 연명흠, 정의태(Yeoun & Jung, 2021)
Provide 딥러닝 AI 기반으로 개인별 선호도 예측과 추천이 가능한 프레임워크 제안 이성희, 강남우(Lee & Kang, 2020)

제품 디자인 프로세스 중 자료수집 분석 단계의 도구로 ChatGPT-3.5를 활용한 이시창(Lee, 2023)은 ‘발견 (Discover)’ 단계에 해당하는 리서치 기초 및 분석, 제품 디자인 전략 수립 방향 설정에 대한 가능성과 한계를 탐색하고 디자이너의 역할에 대하여 연구하였다. 이를 통해 디자인 프로세스의 한 영역에서 생산성을 극대화할 수 있는 점을 확인하였지만, 아직 ChatGPT의 결과물을 그대로 활용하기에는 창의성과 다양성이 떨어져 세밀한 부분이나 결과에 대한 검증은 디자이너가 해야 하는 한계점도 존재한다고 주장하였다. 정은희, 최정민(Chung & Choi, 2022)에 의하면, 창의적인 아이디어 발상 등 다양하고 풍부한 관점이 필요한 업무와 객관적인 판단이 필요한 업무에서 AI 디자인 툴의 도움을 상대적으로 더 필요로 하는 것으로 파악되었다. Memmert & Tavanapour(2023)는 ‘발전 (Develop)’ 단계에서 브레인스토밍을 진행할 때 개인이 생성형 AI와 함께하는 것에 대한 인식과 그룹 내에서의 효과에 대해 연구하였다. 이는 AI가 메타 수준의 퍼실리테이터로서 전문가 혹은 동료와 같은 기여자로 협력이 가능한 점을 확인하였다.

그 외에도 연명흠, 정의태(Yeoun & Jung, 2021)는 AI 도구를 활용하여 디자인한 로고와 전통적 방법으로 디자인한 로고, 비전문가가 AI로 제작한 로고 세 가지 유형을 비교하는 실험 연구를 수행하였으며, 윤도형, 이원철 그리고 박진호(Yoon, Lee, & Park, 2019)는 AI가 디자이너의 스케치 이미지로부터 제품 렌더링 이미지를 생성하여 많은 자원과 시행착오를 줄여주는 모델을 개발하는 등 다양한 선행 연구를 통해 AI가 디자인 프로세스의 여러 단계에서 활용될 수 있음을 확인하였다. 특히 ‘발전(Develop)’ 단계에서의 연구가 활발히 진행되고 있으며, 그 가능성과 효율성을 중점적으로 다루고 있다. 그러나 실제로 기존 방식과의 차이나 실질적인 이점이 무엇인지에 대한 실증적 연구는 부족해 보인다. 이를 바탕으로 본 연구에서는 발전 단계의 아이데이션 과정에서 AI 도구 활용에 대한 구체적인 인사이트를 제공하고자 한다.

2. 3. 생성형 AI를 활용한 아이데이션 프롬프트 가이드라인

다양한 분야에서 생성형 AI를 활용하는 방법에 대한 관심이 증가하면서, 사용자에게 효율적인 경험을 제공하기 위한 프롬프트가 지속적으로 개발되고 있다. 하지만 아이데이션 과정에서 일반적인 가이드라인을 적용하기에는 한계가 있다. 따라서, 선행 연구를 토대로 창의력과 심층적 통찰이 요구되는 아이디어 생성 단계에서 활용할 수 있는 매뉴얼 및 프롬프트를 재구성하여 Table 2와 같이 제안하였다.

Table 2
Generative AI Prompt Guidelines for Ideation

구분 가이드라인 적용 방법 출처
1 목표 설정 얻고자 하는 최종 결과물 및 데이터, 원하는 목표를 명확히 분명하게 한다. 어떤 데이터를 원하는지?
• 폼팩터/서비스의 형태
• 문제 인식 / 해결책
• 리스트/표 구조
• 발산적/수렴적 사고
Song, J.-Y. (2023)
2 입력 프로세스 질문순서는 전체적인 상황에서 세부적인 범위로 좁혀간다. 주제이해 → 목표 설정 → 세부사항 → 기회탐색 → 아이디어 확장 → 구체화
3 Priming 특정한 방향으로 대화를 유도하기 위한 정보나 문맥을 미리 제공해 응답의 품질을 높인다. • 역할 프라이밍: 당신은 10년차 디자이너로 이 분야의 전문가입니다
• 대화 프라이밍 : 전문적, 학문적 문체로 대화해줘
4 명령어 프롬프트 명령어로 상황을 설정하여 질문한다. 예)#temperature: 0에서 1 사이의 값을 입력하며, 값이 높을수록 창의적인 응답을 생성(#temperature: 0.8) Choi, C. (2023)
5 사전 콘텍스트 사전 정보(상황, 선호 등) 맥락을 제공하여 정확도를 높인다. 우리는 4명의 디자이너가 모여서 제품서비스에 대한 아이디어를 내고 있어
6 멀티턴 사용자와 생성형 AI 간에 연속적으로 대화를 주고 받으며 원하는 결과로 질문을 이어간다. Q. 요즘 20대가 가장 좋아하는 헬스케어 용품은?
A. 20대가 선호하는 용품은 웨어러블 트래커⋯
Q. 웨어러블 트래커에 대해 좀 더 자세히 알려줘
A. 웨어러블 트래커는 손목에 착용하는 기기로⋯
Song, J.-Y. (2023)
7 휴먼 터치 사람이 개입할 포인트를 정해야 하며 결과를 평가할 기준이 있어야 한다. 꼬리 질문을 통해 답변을 충분히 얻었다면 디자이너가 직접 개입하여 아이디어를 개선하고 발전 Song, J.-Y. (2023)
8 언어 사용 영어와 한글로 모두 사용해본다. 플러그인 ‘프롬프트 지니’를 사용하여 정확도를 높임

또한, 제품-서비스시스템 디자인 영역의 아이데이션 과정에서 결과의 정확도를 높이기 위해 해당 연구에 적합한 프롬프트 구조로 개선하고 최적화하여 참가자들에게 제공하였다. 프롬프트 문장 구조는 크게 주제와 형식으로 나뉘며, 타깃과 목표를 어떤 형식으로 결과를 도출할 것인지 요구사항을 포함하여 Table 3과 같이 나타내었다.

Table 3
Optimized Prompt Structures for Ideation

주제 형식
Target Goal Form Command
Target
Persona
Object
Things
아이디어 도출
솔루션 제안
문제 파악
인사이트 도출
표 리스트
트리구조
시나리오
마크다운
수치적 표현
(5가지, cm, 10개 등)
문체 설정
(5살/전문가, 개조식 등)
언어 설정⋯
(한국어, 영어 등)
• 예시1) Gen-Z의 안전한 레저 스포츠를 위한 10가지 창의적인 해결책을 표로 제시해줘
• 예시2) 40대 여성을 대상으로 한 도심 내 휴식공간을 활용한 힐링 경험 시나리오를 트리구조로 제시해줘
• 예시3) 30대 여성들을 대상으로 한 친환경 패키지 디자인 전략에 관한 7가지 핵심 요소를 시나리오 형식으로 상세하게 제시해줘.

3. 실험 설계 및 진행
3. 1. 실험 설계

본 연구의 실험 설계에서 A팀은 전통적인 아이데이션 방식으로, B팀은 생성형 AI를 활용하는 아이데이션 방식으로 구성하였다. 제품-서비스디자인에 대한 이해도가 높은 20대 디자이너 총 8명 중 AI 툴 활용 경험이 70% 이상, 사용 능력이 중상급 이상인 4명은 B팀으로, 나머지 4명은 A팀으로 구성하여 실험을 진행하였다. 실험 참가자의 상세 프로파일은 Table 4와 같다.

Table 4
Experiment Participant Profiles

구분 참가자 성별 연령 학력 분야 Ideation 경험
A팀

(Basic Ideation)
참가자1 20대 석사과정 UX디자인 많음
참가자2 20대 석사과정 UX디자인 많음
참가자3 20대 석사과정 제품디자인 많음
참가자4 20대 학사 제품디자인 많음
B팀

(Ideation with AI)
참가자5 20대 석사 제품디자인 많음
참가자6 20대 석사 UX디자인 많음
참가자7 20대 석사과정 UX디자인 많음
참가자8 20대 학사 시각디자인 다소 많음

실험 주제는 참가자들의 연령대와 전문 분야의 연관성을 고려하여 “Z세대를 위한 새로운 서비스의 헬스케어 웨어러블 기기”로 선정하였다. 해당 주제는 두 팀 모두에게 주어졌으며, 실험 전 Z세대의 요구사항과 라이프스타일에 대한 이해도 차이를 최소화하기 위해, 모든 참가자에게 Z세대 관련 리서치 자료를 제공하였다. A팀은 전통적인 방식을 유지하여 자유롭게 아이디어 회의를 진행할 수 있도록 하였고, B팀은 Table 2Table 3의 생성형 AI 활용 아이데이션 가이드라인을 바탕으로 ChatGPT-4 또는 Google Bard를 사용하여 아이디어를 도출하도록 하였다.

실험 시간은 모두 공통적으로 240분(4시간)을 제공하였다. 해당 시간 동안 참가자들의 행동, 반응, 분위기, 상호작용 등을 비개입 관찰하였으며, Think-aloud 기법을 통해 생각과 반응을 실시간으로 파악하였다. 참가자들은 4시간 동안 최대한 많은 양의 아이디어를 도출한 후, 팀 내 토론을 통해 ‘가장 창의적이다’라고 생각한 아이디어 3개를 최종적으로 선정하도록 하였다. 이후 선정된 아이디어는 서비스를 포함한 제품 디자인 형태로 제목, 서비스 설명, 시나리오 그리고 썸네일 스케치를 포함하여 구체화 및 시각화하도록 하였다. 이 과정에서 B팀은 콘셉트를 표현하기 위한 모든 이미지를 Midjourney로 활용하여 생성하였다. 최종 결과물은 제공된 예시 이미지와 같은 수준 이상으로 표현하도록 하였다. 실험이 종료된 후에는 참가자들을 대상으로 FGI(Focus Group Interview, 표적집단면접)를 실시하였으며, B팀에 대해서는 추가로 AI 도구 사용 경험과 참가자 개인의 느낌, 그리고 심층적인 의견을 파악하기 위해 IDI(In-Depth Interview, 개별심층면접)를 진행하였다. 실험에 앞서 A팀, B팀 실험 참가자 8인 모두에게 해당 연구의 취지를 설명하였으며, 실험 진행 후 전문가 평가를 통해 서로 다른 조건에서 산출된 실험 결과물로 아이디어의 양과 질을 평가할 것임을 공지하였다.

3. 2. 실험 진행 및 관찰
3. 2. 1. 실험 진행 시간

본 연구에서 A팀은 2023년 7월 4일, B팀은 2023년 7월 2일에 실험을 진행하였으며, 두 팀의 창의적 자유도를 높이기 위해 총 240분을 자체적으로 분배하여 사용할 수 있도록 하였다. 실험 진행 시간을 관찰한 결과, 각 팀의 진행 상황과 속도에 따라 아이데이션 방식 및 순서는 상이하게 나타났다. 실험 시간에 따른 세부적인 진행 과정은 Table 5로 정리하였다.

Table 5
Time Progression Between Teams

구분 시간 진행 내용 방식
A팀
(Basic Ideation)
30분 교육 및 사전 리서치 자료 공유
45분 각자 주제에 대해 리서치하며 의견 공유 공동
53분 타이머를 활용한 아이디어 발산 공동/개별
30분 발산과 수렴을 반복하며 공동 아이데이션 공동
12분 최종 아이디어 3가지 선정 공동
70분 아이디어 구체화 및 시각화 공동/개별
B팀
(Ideation with AI)
30분 교육 및 사전 리서치 자료 공유
32분 생성형 AI 개별 사용 후 인사이트 공유 공동/개별
57분 생성형 AI를 통한 아이디어 발산 개별
63분 도출된 아이디어 공유 후 개별 아이데이션 공동/개별
28분 최종 아이디어 3가지 선정 공동
30분 Midjourney(미드저니) AI 툴을 활용한 콘셉트 시각화 공동/개별

3. 2. 2. 아이데이션 진행 방식

비개입 실험관찰 및 Think-aloud 기법을 통해 팀별 아이데이션 진행 방식을 파악하였다. 이러한 결과는 도식화하여 Table 6과 같이 나타내었다. 연구자는 리서치 자료를 공유한 후 실험실에 함께 앉아서 참가자들의 아이데이션 과정을 관찰하였으며, 질문 외에는 진행 방식에 대해 어떠한 개입도 하지 않았다.

Table 6
Visualization of Ideation Process Flow

구분 Basic Ideation (A팀) Ideation with AI (B팀)
진행 모습
진행 방식

전통적 아이데이션 방법으로 A팀은 주제에 대한 의견과 리서치 자료 및 레퍼런스를 실시간으로 공유하며 활발하게 커뮤니케이션을 진행하였다. 리더(P2)를 중심으로 타이머를 이용하여 정해진 시간 내 아이디어 발산을 제한하기도 했으며, 즉시 아이디어를 공유하여 발산과 수렴을 자연스럽게 반복하며 완성도를 높여나갔다. 그러나 활발한 대화 속에서 본래의 목표와 다른 주제로 흐름이 이어져 아이디어의 발산과 집중도에서 효율성이 감소하였고, 논의 시간이 지체되기도 하였다. 팀의 의견이 상충하는 경우에는 목표에 맞는 의사결정과 갈등해결에 따른 리더십이 중요하게 작용하였다.

반면, B팀의 경우 총 4명의 참가자로 구성되었으나, 각 참가자가 ChatGPT를 이용하여 개별적으로 아이디어를 발산하는 형태로 진행되었다. 따라서, A팀에 비해 팀원 간의 상호작용 및 커뮤니케이션을 통한 의견 공유 과정이 현저히 적었으며, 아이디어를 설명하더라도 즉시 이해하기 어려운 경우가 존재했다. 또한, ChatGPT와의 대화 과정에서 기회 요소 및 개선 아이디어를 발견할 때마다 각자 별도의 메모지에 기록하고 정리하였다. 추후 팀원 간의 대화와 협의를 통해 아이디어를 재발산하고, 수렴하여 완성하였다. AI가 제시한 아이디어와 생각이 다를 경우, 팀원들은 ChatGPT에게 세부적인 질문을 추가로 하거나, 팀원 간의 아이데이션 및 소통을 통해 최종적으로 결정하였다. 생성형 AI의 활용은 팀 내의 의사소통 과정에 많은 변화를 가져왔으며, 아이데이션 진행 방식에도 영향을 미쳤다.

3. 2. 3. 아이디어 도출과정

A팀은 특정 사용자 및 사용 맥락을 기준으로 헬스케어 관련 키워드를 분류하였으며, 공동작업 플랫폼인 ‘피그잼(FigJam)’을 통해 정리하고 아이디어를 발전시켰다. 그 과정에서 자신이 경험하지 못한 분야나 주제에 대해서는 적극적으로 의견을 제시하지 못하였다. 이에 따라 SNS나 뉴스 기사 등 다양한 플랫폼과 콘텐츠를 통해 정보를 취사선택 후 데이터를 참고하여 아이디어를 발산하기도 하였다. 참가자들의 대화와 아이디어들은 주로 자신의 개인적 지식과 경험에 근거하다 보니 아이디어 발산의 깊이와 범위가 제한되는 경향을 발견하였다. 따라서, 다양한 시각을 가지고 창의적인 아이디어를 도출하는 것에 있어서 해결책이나 대안적 접근 방식을 모색하는 것이 필요해 보인다.

B팀은 아이디어 발산 전 초기 단계에서, ChatGPT에게 플러그인을 통해 Z세대 리서치 자료를 제공하였으며, 절차와 진행 방법에 대해 질문하였다. 이후 구축된 ChatGPT는 Z세대의 욕구인 ‘1순위 자랑하고 싶은 욕구’, ‘2순위 즐기고 싶은 욕구’, ‘3순위 함께하고 싶은 욕구’를 기반으로 아이데이션할 것을 제안하였다. 해당 키워드를 바탕으로 참가자들은 경험과 분야에 관계없이 다양한 아이디어를 발산하였다. 또한, 각 아이디어를 발산하는 데 필요한 ChatGPT와의 대화 턴(turn) 수를 분석해보았다. 결과적으로 프롬프트 구조 또는 사용자의 성향 등 다양한 요인에 따라 달라질 수 있으나, 본 연구에서는 평균적으로 약 4.73회 대화를 주고받았다. 이 과정에서 사용된 실험 참가자들의 프롬프트 일부분을 발췌하여 Figure 2로 정리하였다.


Figure 2 Extracted Prompts from Experiment Using ChatGPT

모든 과정에서 생성형 AI를 활용하여 총 15개의 아이디어를 산출하였고, AI 활용 정도와 디자이너 기여도는 자체적으로 판단하여 백분율로 기입하였다(Table 7). 평균 AI 활용 정도는 74.0%, 디자이너 기여도는 26.0%로 나타났다. 이러한 주관적 평가는 참가자와 AI 간의 상호작용 정도와 AI가 제시한 아이디어의 비중을 파악함으로써, 아이디어의 품질과 창의성을 평가하기 위함이다.

Table 7
B-Team's Idea Analysis Composition and Average Turns


4. 실험 결과 분석 및 인터뷰
4. 1. 최종 아이데이션 결과

실험 결과 A팀은 전통적인 방법으로 총 9개의 아이디어를 제시하였고, B팀은 AI를 활용하여 총 15개의 아이디어를 도출하였다. B팀의 최종 선정된 아이디어는 Table 7의 2번, 8번, 15번이다. 두 팀 간에는 6개의 아이디어 차이가 났으며, B팀은 A팀에 비해 약 1.67배 많은 아이디어를 도출한 셈이다. 각 팀에서 선정된 아이디어 3개씩 총 6가지의 결과물은 Table 8과 같다.

Table 8
Final Selected Ideas by Each Team

구분 A팀 B팀
개수 9개 15개
최종 선정된 아이디어
A1 : 클라이밍을 위한 웨어러블 글라스. 사용자의 레벨과 목표에 맞춘 홀드 동선 정보 제공, 자세와 클라이밍 능력 분석, 동료 클라이머와 인터랙션을 통한 동선 추천 서비스

B1 : Z세대의 라이프스타일을 반영한 스마트 반지. Bump 제스처를 통해 사용자의 정보, 관심사를 공유하며, 내장 LED로 개성을 살린 패션 아이템으로 커뮤니티를 통해 건강한 라이프스타일 추구
(AI : 20% / 디자이너 : 80%)

A2 : 러닝 및 공용자전거 이용을 위한 밴드 타입 웨어러블 기기. 사용자의 동선을 촉각적으로 안내하고, 외부 태그를 통해 러닝 데이터를 저장하며, 다른 사용자와의 동선 공유와 추천 서비스를 제공

B2 : GPS와 센서가 탑재된 운동화와 앱. 사용자의 러닝 데이터를 기반으로 개인화된 AR 버츄얼 캐릭터를 생성하고, 친구와의 경쟁을 통해 지역별 랭킹을 나타내어 건강을 유지함
(AI : 50% / 디자이너 : 50%)

A3 : 홈트레이닝을 위한 웨어러블 바디수트 서비스. 운동 수행 정확도와 근전도를 체크하며, 교육 영상에 맞춰 자신의 수행 정확도 측정 및 근육 부위에 진동과 압력을 통한 촉각 큐레이션을 제공

B3 : 실시간 운동 데이터 캡처와 분석을 가능하게 하는 센서가 내장된 핸드/웨이트 그립. 안정성 중심의 디자인과 모듈식 구조를 통해 손목 보호와 사용자의 효율적인 운동과 루틴을 개선
(AI : 100% / 디자이너 : 0%)

B팀에서 최종 선정된 아이디어의 AI 활용 비중은 20%, 50%, 100%로 각각 다르게 나타났다. 이 결과는 창의적인 아이디어를 선정하는 과정에서 AI 활용도가 항상 일정하지 않았음을 의미한다. 의도하지 않았음에도 불구하고 다양한 활용 비중을 갖는 아이디어가 선정된 점은 주목할 만하다.

4. 2. 실험 시간 비교 및 분석

두 팀의 실험 시간을 비교해보았을 때, 실험 전 교육 시간 30분을 제외한 아이디어 발산, 선정, 구체화 및 시각화 단계에서 모두 명확한 차이를 확인할 수 있었다(Figure 3).


Figure 3 Time Distribution During Ideation Experiment

A팀은 제한된 시간 내 아이디어 발산을 마치고 시각화 작업까지 완료해야 하기 때문에 구체화 및 시각화 과정에서 많은 시간을 분배하여 진행하였다. 특히, 콘셉트 발굴에 주안점을 두어 아이디어 선정 후 구체화하는 과정에서 회귀적으로 재발산하여 많은 시간이 소요된 것으로 해석된다. 반면, B팀은 아이디어 발산 및 선정 과정에서 시간이 비교적 많이 소요되었는데, 각자 아이디어를 발산한 후 팀원 간에 즉각적인 대화나 피드백을 나누지 않아 서로의 아이디어를 이해하고 공동으로 발전시키는 수렴단계가 상대적으로 오래 걸렸기 때문이다. 하지만, AI 툴을 사용하여 구체화하고 시각화하는 시간은 짧을 것으로 예상하여 적게 분배를 하고, 아이디어 개수를 최대한 늘리기 위한 발산 과정에 많은 시간을 투자한 것으로 보인다.

총 아이디어 개수와 발산 소요 시간을 계산하였을 때, A팀은 아이디어 1개를 도출하는데 평균 14분 13초가 걸렸으며, B팀은 약 10분 8초가 소요된 셈이다. 아이디어 선정과정에서의 차이는 A팀의 아이디어 개수가 상대적으로 적은 것도 영향이 있지만, 발산 과정에서 지속적인 교류와 수렴을 통해 참가자들 모두 아이디어에 대한 이해도가 높은 상태였기 때문에 선정이 쉬웠다고 볼 수 있다. 최종 선정된 아이디어의 구체화 및 시각화 단계를 비교한 결과, A팀은 70분이 소요되어, 전체시간의 약 33%가 할애되었다. 반면 B팀은 AI 툴을 활용하여 아이디어 제목, 서비스 설명, 시나리오, 이미지 시각화 등 콘셉트 표현에 30분이 소요되어, 실험 시간 중 약 14%를 사용하였다. 결과적으로 B팀은 A팀보다 40분을 단축하여 작업시간을 약 57% 감소시킴으로써 아이디어의 구체화 및 시각화 단계를 더욱 빠르게 진행할 수 있었다. 이러한 결과를 통해, AI 도구의 적절한 활용은 아이디어 발산, 구체화 및 시각화 과정에서의 시간 효율성을 높일 수 있음을 확인하였다.

4. 3. 실험참가자 사후 FGI

실험 종료 후 A팀, B팀 실험 참가자 모두 온라인 플랫폼(Zoom)을 통해 FGI를 진행하였다. 각 팀의 아이데이션 과정과 결과에 대한 피드백을 공유함으로써 다양한 관점에서 통찰을 얻고자 하였다. 실험 전 서로에게 미치는 영향을 최소화하기 위해, 각 팀의 결과물은 공유하지 않은 상태로 실험을 진행하였으며, 모든 실험을 종료한 후 FGI를 통해 공개하였다. 참가자들은 자신이 사용한 아이데이션 방식에 대한 의견을 제시하였으며(Table 9, 회색 셀 영역), 자신이 사용하지 않은 방식에 대해서는 관찰을 통한 추측성 의견을 제시하였다(Table 9, 흰색 셀 영역). 인터뷰는 녹음 및 문서화 후 Table 9로 정리하였다.

Table 9
Summarized Insights from FGI Responses

논의 주제 A팀 의견 B팀 의견
결과물 차이점 전통적 방식 서비스 플로우와 실용성 측면에서는 충분한 설득력을 갖추고 있지만, 시각화 부분에서는 부족함 기능과 서비스 플로우가 논리적으로 표현되어 있어 전반적으로 이해하기 쉬움
AI를 사용한 방식 통합적이고 다양한 분야에서 솔루션을 제공함 시각화 부분에서 밀도가 높고, 전체적으로 통일되어 잘 정리된 것처럼 보임 세부 기능의 표현은 약하지만, 제한된 시간 내 많은 아이디어를 도출하고 시각화 과정에서는 GPT가 효과적임
중요한 요소 전통적 방식 개인의 경험 및 지식을 바탕으로 아이디어를 발산하기 때문에 주제에 대한 깊은 이해가 필요함 아이데이션 과정에서는 리더의 역할과 방향성이 중요하다고 생각함
AI를 사용한 방식 발산과 수렴의 기준 및 방향 설정을 명확히 하는 것이 중요하다고 생각함 AI가 제안한 아이디어를 디자이너가 수렴하고 검증하는 능력이 필요함
아쉬운 점/개선점 전통적 방식 팀원 간의 다양한 경험과 관심 분야가 다르므로 아이디어의 통일성을 이루는 것이 어려움 아이디어를 구체화하고 시각화하는 과정에서 디자이너의 능력에 따른 결과물 차이가 나 보임
AI를 사용한 방식 AI와의 대화로 아이디어를 발산하다 보니 팀원 간의 의사소통이 부족하고, 아이디어를 이해하는 데 어려움이 있어 보임 ChatGPT로 도출된 아이디어는 표면적이고 일부 모호한 표현들로 구성되어 있어 즉각적으로 구체화하기 어려움

첫 번째, 결과물에 있어 A팀과 B팀은 아이디어 수준에서 큰 차이를 느끼지 못했으나, 표현 방식에서는 명확한 차이를 확인하였다. A팀은 ChatGPT 활용이 시각화 퀄리티와 통일성 면에서 우수하다고 평가하였다. 반면, B팀은 전통적 방법이 서비스 플로우나 실용성에서 뛰어나다고 평가했지만, 주어진 시간 내 시각화 측면에서는 ChatGPT가 효과적이라고 보았다. 두 팀 모두 AI 도구 활용은 세부 표현에서는 부족할 수 있으나, 대략적인 개념 전달과 통합적 솔루션 제공 측면에서는 우수하다고 평가하였다.

두 번째, 아이데이션 과정에서 A팀은 주제에 대한 깊은 이해와 개인 경험을 바탕으로 한 아이디어 발산의 중요성을 강조하며, 생성형 AI 활용 시에는 방향성과 기준 설정의 중요하다고 생각하였다. 반면 B팀은 아이디어를 수렴하는 과정에서 디자이너와 리더의 역할이 중요하다고 하였으며, 디자이너가 AI를 활용하여 다양한 분야에서 많은 아이디어를 발산하더라도 수렴하고 검증하는 능력, 그리고 주제에 대한 높은 이해도를 갖추어야 완성도가 높아질 수 있다고 판단하였다.

세 번째, 아이데이션을 진행하며 아쉬운 점과 개선점은 A팀의 경우 팀원 간의 관심 분야나 경험이 달라 단시간 내 아이디어의 통일성을 이루기 힘들었고, 아이디어의 생산력은 일정 수준 이상으로 확장되지 못하였다는 점이다. 반면, B팀은 ChatGPT를 통해 얻은 아이디어 중 일부는 광범위하고 모호하여, 참가자들이 수렴하고 구체화하는 단계에서 즉각적으로 아이디어를 표현하는 데 어려움을 느꼈다.

4. 4. Ideation with AI(B팀) IDI

생성형 AI를 활용한 B팀을 대상으로 IDI를 추가로 진행하여, AI 도구 사용에 관한 개인적인 느낌과 경험을 심층적으로 파악하고, 인사이트를 도출하고자 하였다. 심층 인터뷰를 통해 도출된 응답은 친화도법으로 분류하여(Figure 4), 질문에 따른 키워드로 정리하였다(Table 10).


Figure 4 Affinity Diagram of IDI Responses from Team B
Table 10
Classification of IDI Responses from Team B

논의 주제 A팀 의견
AI의 역할 아이디어 발산 도구 “AI는 아이디어 발산을 자극하고, 그 과정을 지원하는 도구로서 활용하기 좋았어요”(P5)(=P6, P8)
“아이디어 발산 도구로의 활용도는 좋지만, 수렴단계에서의 역할은 부족하여 디자이너 개입이 필요해요”(P6)
디자이너의 일원 “아이디어 확산 영역에 비중이 크게 사용되어 브레인스토밍하는 단계에서는 한 명의 일원으로 보아도 무방한 것 같아요”(P7)
“단순하지만 시간이 많이 소요되는 일을 빠르게 해결해주는 인턴 역할 같았어요”(P8)
효과적인 프롬프트 사용 방법 구조적인 프롬프트 “구체적인 요구사항과 구조적인 질문을 할수록 답변의 정확도가 높게 나왔어요”(P6)(=P7)
사전 정보 제공
(Priming, Context)
“현재 상황을 Priming하고, Context를 세밀하게 제공해 정확도와 몰입도를 높였어요”(P5)(=P8)
“ChatGPT Plug-in을 통해 사전 정보 및 데이터를 PDF 파일로 제공함으로써 답변의 정확도가 높아졌어요”(P8)
대화 방식
(멀티턴)
“지속적인 꼬리 질문으로 깊은 대화를 나누고, 주도적으로 아이디어를 도출하는 방식이 효과적이었어요”(P5)(=P8)
전통적 방식과 비교한 장점 다양한 분야에서의 사고 확장 “내가 생각하지도 못한 혹은 모르는 분야에서도 아이디어를 제시해주고, 폭넓은 지식으로 사고를 확장할 수 있도록 도와줬어요” (P5)(=P6, P7, P8)
시간 단축 및 속도 향상 “제한된 시간 내 빠르게 많은 정보를 수집할 때 정말 용이하고, 효율적이에요”(P5)(=P7)
“ChatGPT로 사전 정보를 습득하고 견해가 넓어진 상태에서는 아이디어를 빠르게 도출할 수 있었어요”(P6)
다각도의 커뮤니케이션 “어떤 주제로도 대화가 가능하고, 우리가 무엇을 궁금해 하는지 알아서 설명해줬어요”(P5)(=P8)
생성형 AI 활용 방식의 개선점 정보 신뢰성 부족 “정보의 정확도가 떨어져 신뢰하기 힘들기 때문에 디자이너의 개입과 판단이 필요해요”(P5)(=P7, P8)
시각적 표현 필요 “ChatGPT가 제시해준 아이디어를 구체적으로 발전시키기 위해서는 추가적으로 시각적인 표현을 하는 과정이 필요해요”(P6)
“휘발성이 높아 좋거나 발전시키고 싶은 아이디어는 따로 메모를 해둬야 해요”(P7)
사고의 제한 “ChatGPT가 알아서 답변을 해주니 스스로 생각할 필요가 없다고 느껴져서 편했지만, 너무 의존하다 보면 창의적 사고가 제한되고 완성도 높은 결과물을 내지 못할 것 같아요”(P5)(=P8)
수렴단계의 중요성 “수렴하는 과정에서 AI가 또 다른 발산을 시켜, 다시 확산이 되는 과정이 있었어요.”(P6)
“다른 참가자와 다른 프롬프트에도 불구하고, 중복된 아이디어가 나와 디자이너의 수렴 과정이 중요한 것 같아요.”(P5)
사용자에 따른 결과물 차이 “똑같은 AI를 사용하더라도 누가 사용하느냐에 따라 결과가 달라지기 때문에 프롬프트를 누가 어떻게 쓰는지 영향을 미칠 것 같아요.”(P8)
GPT와 Bard의 차이 응답의 논리성 “GPT는 논리성이 뛰어나고 생동감이 넘쳐서 정말 똑똑한 사람과 대화하는 느낌이 드는데, Bard는 구글 데이터 기반으로 최신 정보와 한국어 패치가 잘 되어 있음에도 불구하고, 대화의 질이나 논리가 부족해요.”(P5)(=P6)
UX/UI “ChatGPT는 한 번에 하나의 텍스트 응답을 제공하는 반면, Bard는 다양한 답변 옵션을 제공하여 선택의 폭이 넓었어요.”(P6)
최종 아이디어 선정 기준 실현가능성 “구체적이고 실현가능성 높은 아이디어를 위주로 선정했어요”(P6)(=P7)
창의성 “기존과는 다른 차이가 있고, 새로운 아이디어를 기준으로 선정했어요”(P5)(=P8)

심층 인터뷰를 통하여, 파악한 통찰점은 다음과 같다. 아이데이션 과정에서 AI의 역할은 아이디어 발산 도구로서 새로운 아이디어를 제공하고, 이를 더욱 확장하는 데 중요한 역할을 하였다. 또한, AI는 디자이너의 일원으로서, 시간이 많이 소요되는 단순한 작업을 빠르게 처리하며 인턴과 유사한 역할을 수행 가능할 것으로 예상하였다.

프롬프트의 사용 방법은 구체적인 요구와 구조화된 질문을 제시하고, 사전 Context 제공 및 Priming하여, 지속적인 꼬리 질문을 통해 AI를 주도적으로 아이디어 생성에 참여시키는 것이 답변의 정확도를 높이고 응답을 개선하는 데 효과적이라는 결과가 도출되었다.

전통적인 방식과 비교한 AI를 활용한 아이디어 발산은 다양한 분야에서 사고 확장이 가능하며, 작업시간을 단축하여 긍정적인 영향을 미치지만, 정보의 신뢰성을 검증하는 데는 여전히 어려움이 있었다. 이 과정에서 참가자들이 서로 다른 프롬프트를 사용하였음에도 불구하고, 아이디어가 중복되는 현상이 발생하였다. 이로 인해 팀 내에서 원활한 소통이 필요하고, 아이디어가 한 방향으로 집중되고 수렴되는 과정의 중요성이 야기되었다. 따라서 사용자가 모든 데이터를 맹목적으로 신뢰하고 의존하는 것이 아닌, 스스로 판별하고 발전시키는 능력이 중요하다는 사실을 확인하였다. ChatGPT가 제시한 아이디어를 구체적으로 발전시키기 위해서는 체계적인 수렴 과정과 시각적인 표현이 추가로 필요하여 디자이너들의 개입과 판단이 필수적이었다. 이러한 평가는 이시창(Lee, 2023)의 실험 결과와도 일치하며, 아이데이션 단계에서도 ChatGPT의 결과물을 그대로 활용하기에는 한계가 있어 디자이너의 손을 거쳐야 한다는 점을 확인하였다.

생성형 AI 중 ChatGPT와 Bard를 비교하였을 때, 참여자들은 대화의 질이나 논리성 측면에서 생동감이 넘치고, 똑똑한 사람과 대화하는 느낌이 드는 GPT를 선호하였다. 최종적으로 아이디어를 선정할 때는 실현 가능성과 창의성이 중요한 기준이 되었다. 구체적이고 실현가능성이 높은 아이디어, 또는 기존과 다른 창의적인 아이디어를 선택하여 평가할 수 있도록 하였다.

5. 전문가 평가 및 논의
5. 1. 전문가 평가를 통한 아이디어 질 측정

본 연구에서는 아이디어 질 평가를 위해 제품-서비스디자인 분야에서 5년 이상의 경력을 가진 6명의 전문가를 선정하였다(Table 11).

Table 11
Expert Profiles

구분 성별 연령 경력 업무 분야
전문가1 50대 27년 교육 및 연구 제품UX디자인
전문가2 50대 25년 교육 및 연구 제품UX디자인
전문가3 40대 20년 교육 및 연구 제품디자인
전문가4 30대 11년 디자인 PM UX/UI디자인
전문가5 20대 6년 UX UX디자인
전문가6 30대 5년 IT UX/CX컨설팅

창의성을 평가하기 적합한 지표를 연구한 이상진 외(Lee et al., 2019)가 분류한 총 4가지 항목인 독창성, 혁신성, 가치성, 실현가능성을 기반으로 질문 문항을 Table 12와 같이 재구성하였다. A, B팀의 실험 결과와 평가지를 전문가들에게 개별 발송하였고, 각 전문가는 응답지를 작성하여 제출하였다. 아이디어 콘셉트에 대한 창의성 평가뿐만 아니라 서로 다른 조건에서 도출된 두 팀의 아이데이션 진행 과정, 결과 등 실험 전반에 대한 깊은 통찰과 다양한 관점에서 의견을 수집하였다.

Table 12
Expert Evaluation Criteria and Questions

평가 항목 질문 문항
창의성 참신함 독창성 이 아이디어는 얼마나 독특하고 새로운 접근법을 제공하나요?
혁신성 이 아이디어는 기존 방법들과 비교했을 때 얼마나 혁신적인가요?
유용함 가치성 이 아이디어는 사용자나 비즈니스에 얼마나 가치 있는 결과를 가져다 줄 수 있나요?
실현가능성 이 아이디어는 실제로 구현되고 실행될 가능성이 얼마나 있나요?

5. 2. 전문가 평가 결과

아이디어 창의성 평가 항목별로 전문가 6명이 7점 리커트 척도를 사용하여 평가한 결과를 평균점으로 계산하여 Table 13으로 나타내었다. 전문가의 수가 적어 통계적 의미를 도출하기는 어려우나, 제품-서비스디자인 아이디어의 창의성을 판단하기 위한 것으로 전문가들의 의견 일치 여부와 평가의 신뢰도에 대한 의미가 있다고 판단하여 분석한 데이터이다.

Table 13
Expert Evaluation Results

평가 항목 독창성 혁신성 가치성 실현 가능성 평균 전체 평균
A팀 A1 4.33 3.83 3.83 4.50 4.13 3.89
A2 2.67 2.67 3.17 5.67 3.54
A3 4.00 3.67 4.83 3.50 4.00
B팀 B1 4.17 3.67 3.00 2.33 3.29 3.65
B2 3.67 3.33 3.83 3.83 3.67
B3 3.67 3.67 4.33 4.33 4.00

A팀과 B팀의 아이디어 질 평가 결과를 종합적으로 분석한 결과, A팀의 ‘A1’ 아이디어가 4.13으로 가장 높게 평가되었다. 그다음으로 ‘B3’과 ‘A3’이 각각 4.00의 평균 점수를 기록했다. 반면 B팀의 ‘B1’이 가장 낮은 점수 3.29를 받았으며, 특히 실현가능성 부분에서 2.33으로 가장 낮게 평가되었다. 두 팀 간의 전체 평균 점수 차이는 0.24로 크지 않았으나, 각 평가 항목의 점수 분포에는 다소 차이가 있었다. 이러한 결과를 바탕으로 두 팀의 아이디어에 따른 평가 항목별 점수 분포를 Figure 5와 같이 4개의 축을 기준으로 도식화하였다.


Figure 5 Analysis of Expert Evaluation Results

A팀의 아이디어는 특히 ‘실현가능성’ 항목에서 가장 높은 평가를 받았다. 아이디어가 현실적 구현 가능성을 갖추고 있으며, 해당 서비스와 제품의 시나리오 플로우를 구체적으로 제공했기 때문인 것으로 보인다. 하지만 일부에서는 이미 상용화되거나 기술적 완성도 추구 단계에 있는 아이디어/기술이라는 측면에서 콘셉트의 의외성이 부족하여 독창성과 혁신성이 미흡하다고 판단되기도 하였다.

반면, B팀은 ‘독창성’ 및 ‘혁신성’에서 높게 평가되었는데, 이는 사회적 이슈나 가상현실 등 다양한 분야에서 발산되고 차별화된 아이디어를 제시하였기 때문이다. 그러나 일부는 필요 이상으로 분산되었고, 기존 상용화된 제품 콘셉트와 유사하며, 단순한 기능이 조금 추가되어 약간의 변형만 있는 것처럼 보인다고 하였다. 이것은 생성형 AI를 활용한 아이데이션의 한계점으로, 기존의 정보와 데이터에 기반하기 때문에 그 자체로 완전히 새로운 아이디어나 개념을 도출하는 데에는 어려움이 있다는 것을 반영한다.

5. 3. 단체 FGI 및 논의

전문가 평가 진행 후 실험에 대한 심층적 이해를 돕고, 직접 소통을 위해 전문가 3인(전문가1, 전문가3, 전문가6) 그리고 각 팀의 실험 참가자 2인(A팀 참가자3, B팀 참가자6)과 연구자가 모여 온라인(Zoom) FGI를 진행했다. 아래에 내용을 주제별로 정리하였다.

5. 3. 1. 전통적 방법과 생성형 AI 기반 아이디어의 차이

전통적 아이데이션 방법으로 도출된 A팀의 아이디어는 ‘실제로 구현되는 사용 시나리오의 흐름이 명확하게 연결되어 있어, 아이디어의 활용성을 쉽게 이해할 수 있었다’고 하였으며, ‘아이디어 도출 배경 및 설명이 구조적이고 맥락적으로 잘 구성되어 있어서 정합성이 높았고, 그로 인해 아이디어의 근거와 연결성을 명확히 파악할 수 있는 점이 장점’이라고 하였다. 반면 B팀의 아이디어는 ‘초기 완성도 측면에서 시각적으로 우수해 보였으나, 폼팩터(Form-factor)에 대한 낮은 이해와 3차원 형상의 표현과 현실 가능성에 대한 문제가 있다’는 의견이 있었다. 이러한 문제는 이시창(Lee, 2023)이 언급한 ChatGPT의 단점으로, 정확하게 치수를 정해주는 것이 아닌 포괄적으로 범위를 지정해주기 때문에 치수에 대한 답변을 얻기 어렵다는 내용과 일치하는 것으로 보인다. 따라서, 제품 디자인에서 활용하는 AI 툴의 경우는 폼팩터에 필요한 공학적 데이터를 변수에 잘 반영할 수 있어야 한다(Chung & Choi, 2022). 또한, 내용적인 평가에서는 ‘B팀의 아이디어 설명이 분절적이고, 전반적인 맥락에서 연속성과 일관성이 부족하다’고 지적하였으며, 이로 인해 ‘정합성이 없고, 구조적 완성도가 떨어진다’는 의견이 공통적으로 제시되었다.

5. 3. 2. 생성형 AI를 활용한 디자인의 판별

전문가들에게 시각적인 결과물을 제외한 아이디어 설명과 시나리오만으로 생성형 AI를 활용한 디자인을 판별할 수 있는가에 대한 질문에 대해, ‘어떠한 선입견을 가지고 강하게 추측해서 오히려 틀렸을 것 같다’고 응답하였다. 반면 일부 전문가는 ‘초기에는 구별하기 어려웠으나, 깊은 분석을 통해 그 차이를 인지할 수 있었다’고 응답하였다. 특히, AI 특유의 논리적 오류나 문장의 연결성 부족, 그리고 ‘할루시네이션 (Hallucination)’ 현상 등의 부분에서 판별 가능할 것이라고 예상하였다. 여기서 ‘할루시네이션’은 AI가 학습 데이터에 기반하지 않은, 예상치 못한 또는 비논리적인 출력을 생성하는 현상을 의미한다. 다만 ‘이러한 문제점이 개선되어 보완되면, 전문가들조차 AI 디자인을 판별하는 데 어려움을 겪을 것’이라고 예상하였다.

5. 3. 3. 생성형 AI를 활용한 아이데이션의 활용 가능성

생성형 AI는 빠른 속도와 효율성에서 큰 장점을 보였다. 이를 통해 ‘사고의 확산 수단으로 유효하며, 디자이너의 창의력을 확장하거나 한계를 넘어서는 도구로서의 가능성이 크다’고 하였으며, 또 다른 관점에서는 ‘사고능력의 내재화를 방해하는 요소로 적용될 수 있다’고 의견을 제시하였다. 공통적인 의견으로는 ‘다양한 산업과 기업에서 효율성을 중시하기 때문에 생성형 AI의 활용은 불가피할 것이다’고 하였다. 하지만 현재는 ‘과도기로서 검증의 단계가 필수적’이며, 신뢰도 또한 높지 않기 때문에 ‘사용자가 원하는 결과물을 얻기 위한 매뉴얼화’, ‘AI를 효과적으로 활용하기 위한 기술 습득’, ‘필요한 정보를 선별적으로 활용하는 능력이 요구된다’고 하였다.

6. 결론 및 제언
6. 1. 연구의 의의

고도화된 인공지능의 발전에 따라, 인간 고유의 영역으로 여겨졌던 디자인 분야에서도 AI 도구의 활용 영역이 확장되고 있다. 특히, 아이디어 발상과 전개 단계에서 많은 가능성이 제기되어 연구되고 있다. 본 연구에서는 전통적인 방법과 비교를 통해 ChatGPT를 효과적이고, 효율적으로 활용할 수 있는 방안을 탐색함으로써, 생성형 AI의 역할과 방향성을 구체화하는 것에 의의가 있다. 결과적으로, 제한적이고 고착화된 디자이너의 사고를 확장하는 수단으로 효과적이었으며, 시간 단축 부분에서 분명한 효율성이 있었다. 아이디어 개수의 차이가 유효하게 났으며, 질 평가에서도 전통적 아이데이션 방식 못지않은 수준의 결과물을 도출하였다. 하지만 생성형 AI를 활용한 아이데이션 방법은 사용자의 역량에 따라 크게 달라질 수 있으며, 여전히 전문가의 검증 및 수렴이 필수적임을 인식하였다. 구체적이고 구조화된 질문과 프롬프트를 통해 AI가 제시하는 많은 아이디어를 기준에 따라 잘 평가하고 개선하여, 더 좋은 결과를 도출하기 위한 디자이너의 판별력과 통찰력, 그리고 수준 높은 의사결정의 역량이 요구된다.

6. 2. 연구의 한계 및 제언

본 연구의 한계점으로는 실험 의도를 사전에 공유하였기 때문에, 참가자의 행동 및 응답에 특정 기대와 편향이 작용했을 수 있다는 점을 들 수 있다. 또한, A팀과 B팀의 디자인 산출물 형식을 통일하지 않았기 때문에, 두 팀 간의 결과물을 비교하는 과정에서 객관적인 평가와 일관된 기준으로 비교하는 것이 제한적이었다는 점을 고려해야 한다. 해당 내용을 다룬 케이스가 적기 때문에 본 연구 결과는 잠정적으로 수용되어야 한다. 따라서, 수렴단계에서의 생성형 AI 활용 가능성과 폼팩터의 정합성이 요구되는 세분화된 주제로 실험을 진행하는 등 다양한 조건의 실험 환경과 참가자를 구성하여 설계한 후속 연구를 통해 외적 타당도를 높일 필요성이 있다. 이러한 연구는 AI의 효과적인 활용 방법을 탐색하고, 그 방향성을 제시하는 데 중요한 역할을 할 것으로 전망된다. 향후 AI와 인간의 협업은 디자인 분야에서 더욱 풍부하고 고도화된 결과물을 도출할 것으로 기대한다.

Acknowledgments

이 논문 또는 저서는 2023년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임 (NRF-2023S1A5A2A03084950)

This work was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea (NRF-2023S1A5A2A03084950)

References
  1. 1 . Choi, C. (2023). Mastering ChatGPT-4 Prompts for Writers: The Ultimate Guide to Unlocking Your Creativity and Boosting Your Writing Skills with ChatGPT-4. Amazon.com Services LLC.
  2. 2 . Chung, E. H., & Choi, J. M. (2022). AI 디자인 툴의 디자인 업무 지원 방향성 제안 [Directions for AI-based Tools to Support Designers' Work Process]. Archives of Design Research, 35(4), 269-283. [https://doi.org/10.15187/adr.2022.11.35.4.269]
  3. 3 . Di Fede, G., Rocchesso, D., Dow, S. P., & Andolina, S. (2022). The Idea Machine: LLM-based Expansion, Rewriting, Combination, and Suggestion of Ideas. Creativity and Cognition, pp. 623-627. New York, NY, USA: ACM. [https://doi.org/10.1145/3527927.3535197]
  4. 4 . Gero, K. I., Liu, V., & Chilton, L. (2022, June). Sparks: Inspiration for science writing using language models. In Designing interactive systems conference (pp. 1002-1019). [https://doi.org/10.1145/3532106.3533533]
  5. 5 . Goedkoop, M. J., Van Halen, C. J., Te Riele, H., & Rommens, P. J. (1999). Product service systems, ecological and economic basics. Report for Dutch Ministries of Environment (VROM) and Economic Affairs (EZ), 36(1), 1-122.
  6. 6 . Gonçalves, M., Cardoso, C., & Badke-Schaub, P. (2014). What inspires designers? Preferences on inspirational approaches during idea generation. Design Studies, 35(1), 29-53. [https://doi.org/10.1016/j.destud.2013.09.001]
  7. 7 . Jung, J., Lee, S., Park, M., & Lee, J. (2022). 데이터 기반 사용자 여정 분석 도구 UX 디자인 개선 방안 제안 - 뷰저블 애널리틱스(Beusable Analytics)를 중심으로-[Directions of UX Design Improvement for Data Informed User Journey Analysis Tools -Focused on Beusable Analytics-]. Journal of Integrated Design Research, 21(4), 9-26.
  8. 8 . Lee, S., Lee, M., Hwang, G., Choi, H., & Kim, K. (2019). 브레인스토밍에서 아이디어의 창출기법 활용이 창의성에 미치는 영향 [The Effects of Idea Generation Techniques on Creativity in Brainstorming]. Korean Journal of Business Administration, 32(1), 1-26. [https://doi.org/10.18032/kaaba.2019.32.1.1]
  9. 9 . Lee, S. (2023). 제품디자인 프로세스 중 자료수집 분석 단계의 도구로서 ChatGPT-3.5의 활용 가능성 탐색 [Exploring the Possibility of using ChatGPT-3.5 as a Tool in the Data Collection and Analysis Stage of the Product Design Process]. Journal of Integrated Design Research, 22(2), 23-36.
  10. 10 . Lee, S., & Kang, N. (2020). 딥러닝 기반 디자인 선호도 예측 및 추천시스템 : 자동차 휠 설계 사례 [Deep Learning-based Design Preference Prediction and Recommendation System : A Case Study of Car Wheel Design] [Master's thesis]. The Graduate School of Sookmyung Women's University, Seoul, Korea.
  11. 11 . Memmert, L., & Tavanapour, N. (2023). Towards human-AI-collaboration in brainstorming: Empirical insights into the perception of working with a generative AI. ECIS 2023 Research Papers, 429.
  12. 12 . Song, J.-Y. (2023). ChatGPT User Manual. Yeouido Bookstore.
  13. 13 . Xiaoneng, J., Mark, E., Hua, D., & Anqi, Y. (2021). Design Heuristics for Artificial Intelligence: Inspirational Design Stimuli for Supporting UX Designers in Generating AI-Powered Ideas. 2021 CHI Conference on Human Factors in Computing Systems, 219, 1-8.
  14. 14 . Yeoun, M., & Jung, E. (2021). 인공지능 기반 로고디자인 툴의 가능성에 대한 탐색적 실험 [An Exploratory Experiment on the Possibility of AI-Powered Logo Design Tool]. Journal of Design Convergence Study, 20(2), 113-128. [https://doi.org/10.31678/SDC87.7]
  15. 15 . Yun, G., & Nam, T. (2021). LampBox : 디자이너의 창의적 사고를 돕기 위한 텍스트 기반 인공지능 디자인 생성 도구 [LampBox: Text-based AI Design Generation Tool for Supporting Designer's Creative Thinking Process]. Proceedings of HCIK 2021, 249-254.
  16. 16 . Yoon, D., Lee, W., & Park, J. (2019). 스케치 이미지 기반 제품 디자인 자동 생성 기법 [Sketch Image based Automatic Product Design Generation]. Journal of Proceedings of HCIK, 1124-1127.
  17. 17 . Yoon, J., Se, S., Kim, M., Kim, D., Kim S., & So, Y. (2017). 머신러닝 기법을 활용한 제품기획 프로세스 개발[Development of product planning process using machine learning techniques]. Proceedings of the Fall Conference of the Korean Society of Industrial Engineers, 3183-3197.