디자인 콘셉트 형성 과정에서의 추론과 오류에 관한 프로토콜 분석
초록
연구배경 본 연구는 디자인 콘셉트 형성 과정을 디자인 추론으로 이해하는 관점을 바탕으로, 논증이론 및 인지심리학 분야에서 발달한 오류 연구에 대한 분석 과정을 거쳐, 디자이너의 추론 전략과 그에 수반되는 다양한 오류의 양상들을 규명하고 그 판별 가능성을 탐색하는 것을 목적으로 한다.
연구방법 디자이너의 사고발화 사례를 토대로 회고적 프로토콜 분석하였다. 먼저 디자인 추론에 대한 국내외 선행 연구를 고찰하여 디자인 콘셉트 형성 프로세스별 디자인 활동요소에 관한 코딩체계를 도출하였다. 다음으로, 논증이론 분야의 오류 유형 목록으로부터 디자인 추론 특성을 고려하여 1차 추출한 후, 다시 RSA 논증 평가모형에 따라 세분화한 분류도식을 통해 디자인 추론과 오류를 정성적·정량적으로 분석하였다.
연구결과 본 논문에서는 디자이너 스스로 오류를 탐지하고 추론 과정을 검토할 수 있는 준거틀을 구축하고, 디자인 현장에 적용하여 다양한 오류의 양태들을 경험적으로 파악하였다. 연구 결과에 따르면 디자이너들은 디자인 콘셉트 형성 과정에서 선호하는 접근 방식에 따라 서로 다른 추론 전략을 구사하며 자신의 추론에 대한 피드백을 수행하였다. 추론 전략의 차이가 오류 유형별 발생 비중의 차이에도 유의미하게 작용한다는 것 또한 확인하였다. 추론 오류 분류도식에 따라 디자인 추론상의 오류를 식별할 수 있었으며, 이는 이러한 개념적 준거틀이 피드백 과정을 체계적으로 운영하는 데 활용될 수 있음을 시사한다.
결론 디자인 추론상의 오류를 체계적으로 식별하고 분석할 수 있는 준거틀을 정립하였고, 디자인 현장에서의 실효성을 탐색적으로 확인하였다.
Abstract
Background To understand the design concept generation process inference, this study aims to identify the designer's reasoning process and the various aspects accompanying the fallacy. We tried to develop the classification scheme of fallacy applied schemes in argumentation rhetoric and cognitive psychology to explore the discriminability in designers’ reasoning.
Methods Retrospective protocols were collected to analyze. First, two coding schemes of design activity elements and fallacies of designers’ reasoning in the design concept generation process were derived by examining domestic and foreign studies on design reasoning. Second, the designers’ fallacy classification system was proposed to embrace the characteristics of design reasoning, selectively resorting to the typological list. Third, we analyzed qualitatively and quantitatively the protocol data of design activities and fallacies classified according to the coding schemes.
Results In this study, various aspects of design errors were empirically identified by applying the fallacy classification system to the design field. According to the results of the study, designers were using different reasoning strategies according to their preferred approach and engaging in the various fallacies, the design concept generation process. The difference in reasoning strategy also had a significant effect on the difference in the proportion of logical fallacy types.
Conclusions The criteria and classification schemes established in this study systematically detected and identified the fallacies or errors in design reasoning, and their effectiveness in the design field was exploratively confirmed. These conceptual frames and schemes can be used effectively in the feedback to improve the quality of the designers' reasoning.
Keywords:
Design Reasoning, Fallacy, Fallacy-classification Scheme, Design Concept Generation, Retrospective Protocol, 디자인 추론, 추론 오류, 오류 분류도식, 디자인 콘셉트 형성, 회고적 프로토콜1. 연구의 배경 및 목적
인간은 누구나 오류와 실수를 저지른다. 개인이 지닌 기술 혹은 지식수준, 경력이나 훈련 정도에 관계없이 오류는 언제든지 발생할 수 있다. 인지적으로 제한된 합리성을 가진 인간의 본성에 벗어나지 않는 디자이너 또한 예외가 될 수 없다. 숙련된 디자이너라고 해서 전혀 실수나 오류를 저지르지 않는 것은 아니다(Lee et al., 2003). 페트로스키(Henry Petroski)는 2008년 논문에서 “디자인의 성공과 실패는 동전의 양면과 같다”고 단언한 바 있다. 디자인의 진화를 실수나 오류에 대한 인식과 그것을 극복하려는 노력의 결과로 본 것이다. 이런 점 때문에 많은 디자인 연구자들이 순환 반복적인 피드백 과정의 불가피성을 역설하기도 했다. 디자인 과정이란 실패학습 혹은 오류기반의 성찰적 추론이 일상화된 영역임을 의미한다. 달리 말하면 디자이너들에게 스스로의 추론을 성찰하고 오류를 식별하여 인식의 전환을 유도하는, 메타인지적 제어장치가 필요함을 시사한다.
이처럼 창의적 문제해결을 위한 오류 기반의 탐색적이고 성찰적인 디자인 사고가 강조되고 있음에도, 디자인 추론의 오류에 대한 연구나 이를 전략적으로 전환하는 방법에 대한 연구는 찾아보기 쉽지 않다. 디자인 추론에서 언제 어떤 오류가 어떻게 발생하는지를 식별하고 판단할 수 있는 준거틀이 정립되어 있지 않기 때문이다. 이와 같은 문제의식에서 본 연구는 다양한 선행 연구를 검토하여 디자인 추론 오류에 관한 개념과 구성체계를 정립하고 디자인 과정에 적용 가능한 추론 오류 분류도식을 체계화하고자 하였다. 더 나아가 디자인 콘셉트 형성 과정에서 수집된 사고발화 자료로부터, 디자이너들이 어떠한 추론 전략을 취하는지, 개념적으로 정립된 추론 오류 분류도식이 그들의 추론 행위에 수반되는 오류의 다양한 양상을 판별할 수 있는지, 그리고 오류의 활용 양상에서 나타나는 디자인 추론의 특수성을 고찰하고자 하였다. 이러한 연구를 토대로, 디자인 추론 오류의 특성을 포착하여 디자인 추론의 개선 및 디자인 교육에 주는 시사점을 논의할 것이다.
2. 문헌 고찰
2. 1. 디자인 추론과 콘셉트 형성 과정
추론(reasoning)은 인간이 삶의 모든 측면에서 상황을 어떻게 이해하고 반응해야 하는지 결정하는 인지 활동이자 사고 작용을 일컫는다(Cramer-Peterson et al., 2015). 일반적으로는 이미 알려진 사실이나 알고 있는 것을 바탕으로 알지 못하는 것을 미루어 생각하는 의식적인 사고 작용이라고 정의된다(이성범, 2001). 디자인 분야에서도 디자이너의 추론 방식은 디자인 사고의 핵심이며 디자인의 질을 좌우하는 결정적인 요소임을 인식해왔다. 디자인 문제를 설정하고 솔루션의 발상 및 구체화로 이어지는 일련의 판단과 정당화의 과정으로 이해하면, 디자인 과정은 곧 디자이너의 끊임없는 추론의 연속이라고 말할 수 있다(Rittel, 1987; Dorst, 2011).
그 중에서도 디자인 콘셉트 형성 과정은 디자인 추론을 가장 많이 요하는 활동이다(Goldschmidt et al., 1998). 란다와 고넬라(Landa & Gonnella, 2001)에 따르면, 디자인 콘셉트는 그것이 구현된 결과물 뒤에 숨겨진 근본적인 사고나 관념을 가리킨다. 콘셉트 형성은 불확실성이 높은 디자인 초기 단계에서 디자이너 개개인의 내적 인지 활동에 거의 전적으로 의존하여 이루어진다(Goel, 2014). 디자이너의 추론 행위에 대한 프로토콜 분석을 수행해 온, 골드슈미츠(Goldschmidt, 1991)는 디자인 작업과 관련된 디자인 행동을 일종의 논증적 추론 행위(an act of reasoning)로 간주하면서, 그러한 추론 행위를 구성하는 데 활용되는 가장 작은 단위의 의미 있는 진술들을 디자인 논거라고 말한다. 즉 디자인 추론을 구성하는 논증요소인 디자인 논거는 '디자인에 관한 제약조건, 요구사항, 아이디어 및 목표 등 각종의 쟁점에 관한 대화(혹은 사고발화 내용)'로 이루어져 있다(Lee et al., 2003).
이와 같은 디자인 추론에서 디자이너의 성찰적 행위나 정신적 반복(mental iteration)은 불가피한 것으로 간주되어 왔다(Schön. 1983; Adams, 2001). 성찰적인 반복은 인지 처리상의 오류를 발견하여 개선하려는 의도적인 노력이며 자기 피드백 활동이다(Kelley et al., 2001). 이러한 정신적 순환 과정은 도스트와 크로스(Dorst & Cross, 2001)가 지적한, 문제 공간과 솔루션 공간의 공진화(co-evolution) 개념으로 이어진다. 관념적으로 존재하는 두 “디자인 공간” 사이에서 추론과 분석, 종합 및 평가의 프로세스가 순환 반복되면서 디자인 콘셉트가 도출된다고 보는 것이다. 베크맨과 베리(Beckman & Barry, 2007)는 디자인 프로세스의 순환 모델을 공식화하여, 문제 발견과 문제 선택, 솔루션 발견과 솔루션 선택이라는 네 단계의 지속 반복적인 순환 과정으로 묘사하기도 했다.
이상의 논의를 토대로 할 때, 디자인 콘셉트 형성 과정은 디자인 요구사항에 따라 문제를 설정하고 솔루션 아이디어를 개발하고 평가하는, 일련의 추론이 반복적으로 이루어지는 순환 과정이다(Figure 1).
이 순환 과정은 단일한 절차에 따라 순차적으로 진행되는 것이 아니라 디자이너의 인지 스타일이나 추론 역량에 따라 다양한 변이를 보인다. 특히 사전지식이나 경험이 부족할수록 자신이 수행한 디자인 추론을 검토하는 데 많은 어려움을 겪는다(Cross, 2001, 2004). 이는 성찰적 피드백 과정이 디자이너의 경험과 배경지식에 의존하고 있음을 시사한다. 많은 경우 디자이너 개인이 알고 있는 것, 즉 디자인하는 방식에 대한 디자이너의 배경지식이나 경험법칙(rules of thumb)을 인지적 지름길로 활용하는 휴리스틱 추론에 의존하게 된다(Yilmaz et al., 2016). 그리고 휴리스틱은 학습된 문제해결 방식이나 성공 경험 등을 그대로 따르려는 답습 경향으로 인해, 디자인 추론의 고착화를 유발한다(Jansson et al., 1991). 또한 디자이너들은 종종 과도한 자기 확신이나 확증편향으로 상황 변화나 다양성을 고려하지 못해 추론의 오류에 빠지기도 한다(Petroski, 2008). 직관적으로 생성된 어떠한 아이디어에 도달하게 되면, 초기의 직관을 재평가하고 수정하는 것이 아니라 정당화하는 증거에 집중하기 때문이다(Evans, 1996; Lucas & Ball, 2005).
따라서 디자이너 개인의 성찰적 추론 역량을 향상시키기 위해서는 스스로 인지적 변환을 촉진하고 활용할 수 있도록 하는 교육과 훈련이 필요하다(Pahl & Beitz, 2006). 같은 맥락에서 많은 연구자들이 디자인 과정에서 일어나는 인지적 편향이나 추론의 오류를 식별하고 그 특성을 이해하기 위한 성찰적 피드백을 강조한 바 있다(Schön, 1983; Gero, 1990; Adams, 2001). 이러한 논의들은 디자인 교육이나 학습과정에서, 디자이너의 추론 오류의 식별과 영향에 대한 체계적인 이해가 필요함을 시사한다.
2. 2. 디자인 추론의 오류
디자인 사고나 디자인 인지에 관한 연구들은 대부분 문제해결이나 성공적인 디자인 프로세스를 위한 효과적인 방안을 모색하는 데에 초점을 맞추기 때문에, 디자인 추론의 오류에 대한 연구는 상대적으로 소홀히 다루어졌다. 다만 디자이너의 인지편향에 대한 인지심리학적 관점의 연구(Pfarr et al, 2010; Cheong et al., 2013), 혹은 유추적 추론에서 발생되는 비유대상 설정의 오류에 관한 연구(Casakin, 2004, 2010; Ozkan et al., 2013) 등이 보고되고 있을 뿐이다. 또한 공학디자인 분야에서는 디자인 과정에서의 실수나 잘못, 오차와 실패의 역할과 영향, 관리 방안에 주목해 왔다(Reason, 1990; Foster, 2015; Day, 2017).
이와 같은 연구의 부족은 디자인 추론 과정에서 발생하는 오류가 아직 개념적으로 확립되어 있지는 않은 탓이 크다. 동일한 개념에 대해서도 국내 연구자들마다 서로 다른 용어를 사용하고 있어 혼란을 초래하고 있다. 노만(Norman, 1983)이 심리학적 연구 결과를 반영하여, 디자인 오차(error)―기대에 불일치하는 결과-를 초래하는 원인을 의도의 개입 여부에 따라 구분하였다. 즉 부주의나 소홀함과 같이 의도성이 없는 실수와, 지식기반의 착오와 같은 의도성이 내포된 실수에 의해 오차가 발생한다는 것이다(Reason, 1990). 이러한 부주의, 소홀함, 착오 등에 의한 실수나 잘못이 디자이너의 추론 활동에서 나타나는 것이 추론의 오류(fallacy)라고 할 수 있다. 디자인 오차나 실패가 디자인 활동의 결과적 측면에 관한 것이라면, 추론 오류는 과정적 측면에 주목하는 개념이다. 디자인 추론의 오류는 디자이너 개인의 심리적, 인지적 차원에 초점을 맞추어, 디자인 과정에서 이루어지는 사고나 판단에서의 편향성과 실수들을 가리키는 것으로 추론의 오류가 누적되면서 디자인 오차와 실패의 가능성도 높아진다.
디자인 추론 오류의 개념과 유형을 체계적으로 정립하기 위해서는 이에 관한 연구를 오랫동안 지속해 온 비형식 논리학이나 논증이론 분야에서 정리된 내용을 참조할 필요가 있다. 비형식 논증이론 분야에서는 일상적인 상황에서 일어나는 추론 행위의 오류를 구분하고 다양한 오류 유형들을 제시해 왔다(Walton, 2010). 추론상의 오류는 논거들을 제시할 때 발생하는데, 비형식 논증이론가들은 이를 크게 두 가지 양상으로 구분한다. 논거들에는 논리적 추론규칙에서 벗어난 엉뚱한 실수 혹은 단순한 잘못이거나, 또 다른 경우에 의도적으로 수행되는 궤변적인 논거들이 포함되기도 한다. 결국 논증 이론적 관점에서 추론의 오류는 어떤 주장에 대한 논거의 타당성 여부―맞고 틀림, 옳고 그름―만을 가리키는 것이 아니라, 그 주장을 뒷받침하는 논거 추론의 정당성 부족이나 신뢰성 저하와 관련된다. 이를 디자인 관점에서 재해석하면, 디자인 행동과 관련된 주장을 뒷받침하는 논거 추론에서 의식적 혹은 무의식적인 실수나 잘못에 의해 논거의 적절성, 충분성, 수용성을 위배하는 것을 디자인 추론의 오류라고 할 수 있다.
본 연구에서는 논증이론 분야에서 개발된 추론 오류 유형들 중에서 디자인 추론에 적용 가능한 것을 선별하기 위해서 비형식 논증이론가인 김광수(2007)와 다머(Damer, 2009)의 논의를 주로 참조하였다. 특히 다머는 추론의 적정성을 체계적으로 판단하기 위한 세 가지 기준을 제안한 존슨과 블레어(Johnson & Blair, 1977)의 RSA―삼각형 모델에 따라 추론 오류를 분류하였다. 그에 따르면 추론의 적정성을 평가하는 3요소라 할 수 있는 삼각형의 세 꼭지는 추론된 논거의 적절성(relevance)과 논거의 충분성(sufficiency), 그리고 논거 내용의 수용성(acceptability)으로 구분된다. 즉 주장을 뒷받침하는 논거들이 적절성, 충분성, 수용성을 위배할 때에 추론의 오류가 발생한다는 것이다. 이와 같이 논증이론 분야에서 개발된 오류 분류체계는 디자인 추론 행위를 이해하고, 그 과정에서 발생하는 추론 오류에 대한 체계적인 분류를 위해서 유용하게 적용될 수 있다. 동시에 디자인 추론의 오류가 갖는 특수한 측면을 포착하는 데에도 유용하다.
전통적으로 디자인 과정에서 발생하는 추론 오류에 대한 부정적 인식은, 오류를 사전에 회피하거나 예방해야 한다는 통제적 관점에서 비롯되었다. 이러한 경향성은 공학디자인 분야에서 특히 강하게 나타난다(Norman, 1983; Lee et al, 2003). 반면에 디자인 사고 및 창의적 문제해결 방식을 강조하는 최근의 논의들은, 오류의 생산적 효과에 주목하고 있다. 이른바 실패학습 혹은 생산적 오류에 기반한 성찰적 작업방식이 디자인 추론의 혁신기반이 될 수 있음을 강조한다(Foster, 2012). 주로 학습이론적 관점을 원용하여, 이미 발생한 실수나 잘못을 수습하고 오류를 파악해 수정 보완하면서 새로운 대안을 수립해 가는 일련의 전환 과정이 창의와 혁신을 자극하는 긍정적 역할을 수행할 수 있음을 강조한다(Argyris & Schön 1978; 1996).
디자인 추론 오류의 측면에서 보면, 이는 기존 규칙이나 작업방식에 대한 의도적이고 전략적인 위반행동(violations)과 연관되어 있다. 위반행동은 외견상 논리적인 오류에 해당되며 종종 규칙을 위배한 행동으로 제재의 대상이 된다(Reason, 1990). 하지만 동시에 기존의 통념이나 전통적인 규범에서 벗어나 참신하고 독창적인 아이디어를 발상하기 위한 전략적 추론 행위로 이어지기도 한다. 전략적인 인지적 전환 능력을 강조하는 관점(Goel, 2014; Leahy et al., 2018)에서는, 특히 디자인 초기 단계에 해당하는 콘셉트 형성 단계에서 이러한 변환이 빈번하게 요구된다고 주장한다. 발산적이고 수평적인 사고에 의한 논리비약(일종의 논리적 오류)이 오히려 사고의 확장, 기발하고 우연한 연상 작용 등으로 나타날 수 있다(Suwa et al., 2001). 때로는 복잡하고 역설적인 상황을 전혀 새로운 관점에서 재규정하는 리프레이밍(reframing)으로 이어지기도 한다(Dorst, 2011, 2015).
그렇지만 이러한 의도적이고 전략적인 인지적 전환을 위해서는 무엇보다 디자이너가 자신의 추론 행위를 성찰적으로 재검토하고 거기에 개입된 오류를 인식하고 식별하는 과정이 선행되어야 한다. 디자인 추론의 오류가 실패의 표지라기보다 오히려 디자인의 창의적 전환을 위한 전략적 사고의 출발점이 될 수 있다는 것이다.
3. 연구 방법
3. 1. 연구 대상 및 자료수집
본 연구는 디자인 콘셉트를 형성하는 과정에서 수행되는 디자이너의 추론 방식과 오류 양상을 탐색적으로 고찰하는 데에 목적을 두었다. 이를 확인하기 위해 디자이너의 사고발화 사례를 수집하여 프로토콜 분석을 실시하였다. 디자인 콘셉트 형성 과정에 관련된 풍부한 회고적인 사고발화 자료를 수집하기 위해서, 서울의 S대학교 디자인과 3·4학년 재학생들을 대상으로 한 디자인 전공실기 수업에 참관하였다. 과제 수행에 대한 발제 내용과 그 전사자료는 자신이 무엇을 생각하고 왜 그러한 결론(디자인 콘셉트)에 이르게 되었는지에 대한 추론 과정을 드러내는 논증 자료에 해당한다(Stumpf et al., 2002).
연구자가 수강생들이 매주 콘셉트 형성 과제를 발표하는 것을 녹취하는 방식으로 자료를 수집하였다. 참관 수업과 관련하여 사전에 3·4학년 전공실기 교수님들께 연구 목적과 방법을 상세하게 설명하였으며, 자발적 협조와 동의 의사를 밝힌 경우에만 연구 대상으로 선정하였다. 참관은 전체 강의 일정 중 디자인 콘셉트를 구축하는 4~5주간에 걸쳐 진행되었으며, 연구자가 자연스러운 수업 진행에 최대한 방해가 되지 않도록 관찰 및 녹취를 수행하였다.
본 논문에서는 디자인 추론에서 오류 분류도식을 통한 오류 식별 가능성을 탐색하기 위하여, 연구 참여자들 중 성별, 학년, 디자인 추론과제 등이 상이한 조건을 가진 2명의 연구 참여자의 사고발화 자료를 수집하여 전사한 뒤, 프로토콜화하여 비교·분석하였다. 이러한 상이사례 연구설계 방법(Przeworski et al., 1970)은, 문헌 고찰을 통해 정립된 추론 오류 분류도식이 다양한 조건에서 적용 가능한지를 파악하려는 의도에 적합하다. 또한 코딩과 분석 절차의 신뢰성을 확보하기 위해서, 연구자 외에 논증분석 경험을 가진 또 다른 코더(박사학위 소지)가 참여하여 복수코딩을 진행하였고 별도의 코딩 결과를 비교하고 상호 협의하에 합의된 코딩 결과를 도출하여 분석에 적용하였다. 연구 참여자는 익명으로 처리하고 코딩된 데이터의 분석 결과를 분절적으로 예시함으로써 연구윤리와 절차적 신뢰성을 확보하고자 하였다.
3. 2. 사고발화 프로토콜 코딩체계와 분석 절차
본 연구에서는 통제되지 않은 자연스러운 상황에서 디자이너의 사고발화가 진솔하게 이루어지도록 하는, 개방적이고 회고적인 접근방식을 취하였다. 회고적 사고발화 프로토콜 데이터는 자료량이 매우 풍부하지만 구조화되어 있지 않다(Dorst & Dijkhuis, 1995). 따라서 이를 적절하게 구분해 줄 수 있는 코딩체계가 중요하다. 디자이너의 진술문들 사이에 논리적인 연계성을 제공할 뿐 아니라, 방대한 프로토콜 자료들을 효과적으로 관리하고 분류하는 기본적인 토대가 되기 때문이다(Stumpf & Mcdonnell, 2002).
연구 참여자의 발표로부터 수집된 사고발화 텍스트 자료를 전사한 뒤에 해당 내용을 충실하게 검토하여 숙지한 후, 단일한 의미단위를 갖는 구문 중심으로 분절하였다. 각각의 의미단위는 추론 행위라는 측면에서 별개의 독립적 작용―전제 혹은 주장―을 수행하는 것으로 간주되기 때문이다(Goldshmidt, 1991, 1996). 예를 들어 “촉각적으로 스킨십을 많이 하고 그 느낌이 좋았을 때/ 더 끈끈해지는 느낌이 있는데/ 그런 경험을 (콘셉트에) 대입시켜 보고 싶었어요”라는 발화 자료에서 앞의 두 단락은 전제에 해당하는 의미단위들(ex. 촉각적 스킨십 느낌/끈끈해지는 느낌)로, 마지막 단락은 주장(ex. 경험대입)으로 구분하여 분절하였다. 이렇게 분절된 의미단위들은 A의 사례에서 4회 발표에 걸쳐 136개, B의 사례에서는 5회 발표에 걸쳐 335개로 분절된 프로토콜이 코딩되었다.
아래의 Table 1은 콘셉트 형성 프로세스별 디자인 활동요소에 관한 코딩체계를 요약적으로 제시한 것이다. 콘셉트 형성을 위한 디자인 활동의 요소로서, 콘셉트 형성 프로세스별로 문제설정을 위한 추론 활동과 솔루션 탐색을 위한 추론 활동으로 구분하였으며, 전자는 다시 문제진단, 문제정의 및 재정의로, 후자는 솔루션 아이디어의 발상 및 아이디어 평가와 선택으로 구분하여 코딩하였다.
한편 디자인 추론의 오류를 식별하고 유형별로 분류하기 위한 코딩체계는 아래 Table 2에 제시된 바와 같다. 논증이론 분야에서 제시된 추론 오류 유형들을 중에서 디자인 추론 행위에 유의미하게 적용될 수 있는 비형식 오류들을 선별 정리하고, RSA 모형의 세 가지 범주에 따라 재분류하여 오류 코드를 부여하였다.
분류도식을 개발하기 위해 기존에 비형식 오류 연구 분야에서 제안된 다양한 오류 유형을 참조하였다. 특히 비형식 논리학 문헌인 김광수의 <논리와 비판적 사고>와 다머(Damer, 2009)의 비형식 오류 유형 분류 체계를 참조하여 50여개 이상의 오류 유형들을 수집하였고, 그 개념과 추론 사례를 검토하였다. 그리고 오류 유형 중에서 디자인 추론 특성을 고려해 적용이 가능한 오류들을 선별하였다. 선별된 오류 유형의 공통점과 차이점을 비교하여 디자인적 활용이라는 측면에서 11개의 항목으로 그룹화한 뒤에 디자인 추론과의 연관성에 따라 5개의 오류범주―주관적 편향, 전략적 위반, 추론규칙 착오, 지식기반 착오, 단순 실수―로 나누었다. 디자인 특성에 따른 5개 오류 범주들은 의도성(혹은 의식성 수준)의 개입 수준에 따라 의도성이 높은 전략적 위반과 상대적으로 낮은 주관적 편향으로 구분하였으며, 다분히 의식하지 못한 채 이루어지는 추론규칙 착오와 지식기반 착오, 단순 실수를 구분하였다. 이렇게 구별된 오류들은 다시 RSA 모형에서 제시된 논거의 적절성, 충분성, 수용성, 3가지 상위범주로 재분류하였다.
논거의 적절성과 충분성은 전제에 해당하는 이유나 근거들이 결론(주장)을 적절하고도 충분하게 뒷받침하는지에 관한 것이고, 수용성은 전제된 논거들이 널리 받아들여질 만큼 설득력이 있는가에 관한 것이다. 즉 논거 적절성을 위배한 오류는 주로 감정이나 주관적 믿음에 의존하거나 전략적으로 기존의 통념이나 규범에서 벗어나는 방식의 논거를 도출하고자 할 때 발생한다. 논거 충분성을 위배한 오류는 근거를 도출하는 과정에서 이루어지는 추론의 규칙들을 위반함으로써 발생한다. 마지막으로 논거 수용성 위배의 오류는 근거에 관련된 개념이나 지식들이 부족하거나 혼란스러울 때, 그리고 이를 구두로 표현할 때 의도치 않게 발생되는 실수나 잘못들을 가리킨다. 이에 디자인 추론 오류를 식별하는 분류도식은 크게 3개 상위범주의 11가지 항목의 코드로 재구성되었으며, 각각은 디자인 추론에서의 오류 특성에 따라 5개 범주로 구분되었다.
이러한 디자인 추론 오류 분류와 코딩 절차의 신뢰성을 높이기 위해서, 디자인 과제 추론에 관해 수집된 디자이너들의 사고발화 자료들을 충분히 숙지하였다. 또한 코더 간 오류 판단 및 유형 분류의 기준과 근거에 대해 공통된 이해를 도출하기 위하여 오류 유형 분류도식에 대한 충분한 학습과정을 선행하였다. 그러고 나서 추론 내용과 의도 등을 종합하여 복수 코더가 개별적으로 오류 분류 코드를 부여한 뒤에, 분류 결과에 대해 코더 간 협의 절차를 거쳤다. 각자 프로토콜 분석 및 오류 분류를 진행하여 코딩된 결과와 오류 판단의 근거와 이유를 반복적으로 비교하고, 합치 여부를 점검하였다. 불일치 내용에 대해서는 상호간의 협의를 통해 합의를 도출하는 방식으로 코딩과 분석의 신뢰성을 제고하였다.
4. 사고발화 프로토콜 분석 결과
4. 1. 콘셉트 형성 과정에서의 디자인 추론 전략
연구 참여자들(남녀 각 1명)의 발표자료를 전사하여 최소 의미 단위로 분절한 회고적 사고발화 프로토콜을 토대로, 참여자들의 추론 내용과 전략의 차이를 파악하기 위해서 정량적 분석과 정성적 분석을 병행하였다. 정량적인 분석을 통해 시점에 따라 문제 공간과 솔루션 공간별로 추론의 비중이 어떻게 변화되고 있는지를 파악할 수 있었다. 또한 콘셉트 형성을 위한 디자인 활동, 즉 문제설정(p)과 솔루션 아이디어 탐색(s) 활동별로 사고발화 프로토콜의 내용을 분석하여 추론의 내용적 변화와 전개방식을 검토하였다. 연구사례에 대한 정량적 분석 결과는 Table 3에 간략하게 제시하였다.
참여자 A의 사고발화의 양적 분석에 따르면, 1~2주차에서 전체 사고발화 빈도(136개) 중 55.9%에 이르는 76개를 제시하였으며, 문제설정과 관련된 사고발화는 57개(42%)이고 솔루션 탐색과 관련된 사고발화는 79개(58%)로 대략 4:6의 비중을 보이고 있다. 특히 문제설정 활동이 1주차에 집중적―16.9%―으로 이루어졌는데, 초기 단계에 결정된 문제정의를 중심으로, 이후 3번의 발화시점에서는 솔루션 아이디어에 관한 추론 전환을 시도하였다(Figure 2 참조).
반면에 참여자 B의 사례에 대한 정량적 분석 결과에서는, 문제설정과 관련된 사고발화는 101개(약 30%)이고, 솔루션 탐색 활동은 234개(약 70%)로 나타나 3:7의 비중으로 솔루션 탐색에 더 집중하고 있음을 보여준다. 특히 상대적으로 후반부에 해당하는, 즉 아이디어 정교화 시점인 4주차에서 전체 사고발화 빈도(335개) 중에 155개(46.3%)를 제시하고 있으며, 문제 재설정을 통해 솔루션의 정교화에 집중하는 양상을 띤다(Figure 3 참조).
한편 프로토콜 내용에 대한 정성적 분석 결과에서는 연구 참여자들의 추론 내용의 전개방식이나 전환이 좀 더 명확하게 드러난다. 참여자 A의 프로토콜 내용 분석 결과에 따르면, 과제요구(‘나’와 관련된 디자인 컨셉 도출)에 맞추어 자신의 과거 경험에 기반한 문제진단(ex. “뻔한 모듈러 가구가 아니라”)을 바탕으로 문제정의(ex. “애착인형 같은 가구”)를 수행하고 있다. 이러한 문제정의는 추론의 전개 시점별로 사소한 변형을 거칠 뿐 세 가지 솔루션 아이디어(ex. “반커스터마이징 가구”, “만듦새 가구”, “촉감 디자인 가구”)를 순차적으로 탐색해 가는 토대가 되고 있다.
이러한 접근 방식은 일종의 ‘문제정의 정박형 추론 전략’이라고 부를 수 있다. 초기에 설정된 문제정의를 고정시킨 채 문제진단의 초점만을 부분 변경하여 재정의하는 방식으로, 솔루션 아이디어 발상 전환의 정당화 논거로써 활용하고 있다. 그리고 문제진단을 재정의할 때에도 주로 의미론적이고 감성에 기반한 추론 전략을 수행하였다. 비유와 대조 등을 이용한 유추 기법(ex. 모듈러 가구=쉽게 버리는 가구, 오래 사용=애착=좋은 상호작용(유대)=핵=핵심파트 등)을 바탕으로 감성적인 측면(ex. 좋은 감정, 촉감, 애착, 매력, 공감 등)에 초점을 맞추어 아이디어를 전환시키는 추론 방식을 수행하였다.
반면에 참여자 B 사례에 대한 정성적 분석 결과에 따르면, 과제요구(코로나 상황에 부합하는 디자인 콘셉트)에 대하여, 이와 관련된 대략적인 문제설정과 동시에 솔루션 아이디어를 동시에 발상하여 세 가지 콘셉트(ex. “노트북 디자인”, “소형운송수단”, “배달오토바이 온장고”)를 도출하였다. 그 주요 내용과 방향성을 간략하게 비교 탐색한 뒤에 선택된 특정 콘셉트(ex. “노트북 디자인”)를 집중적이고 수렴적으로 구체화시켜 가는 ‘솔루션 정교화 추론 전략’을 취하고 있다.
문제를 정의하는 방식에서도 근본적인 관점의 전환을 시도하기 보다는 기능과 구조적 측면에서 문제를 진단(ex. “목 통증”, “휴대 불편” 등)한 뒤 이를 해결하는 기능적 대안(ex. 휴대성, 스크린 높낮이, 패드의 위치 등)을 모색하는 콘셉트를 점진적으로 구체화해가고 있다. 이 과정에서 앞 단계에서 식별된 솔루션 아이디어의 개별적 요소들에 대한 평가적 추론을 반복하는 자기성찰 과정을 통해 실행 가능성을 높이려는 추론에 집중하는 모습을 보였다.
4. 2. 콘셉트 형성 과정에서의 추론 오류 양태
콘셉트 형성 과제를 수행한 두 명의 연구 참여자 사고발화 자료에서는 모두 178개의 오류가 식별되었다. 이는 사고발화 진술문 전체 대비 37.8%의 오류율에 해당한다. 디자인 활동별로는 문제설정 활동에서 발생된 오류는 62개로 39.2%의 오류율을 보였고, 솔루션 탐색 활동에서는 116개의 오류가 발생하여 37.1%의 오류율로 파악되어 미세하게나마 문제설정 활동에서의 오류율이 상대적으로 높았다.(Table 4 참조).
또한 오류 유형별로 보면 적절성 위배 오류가 전체 오류 중 48.3%를 차지하면서 상대적으로 높은 비율로 분석되었다. 다음으로 논거의 수용성 위배 오류가 32%였고, 논거의 충분성을 위배한 오류는 19.7%로 가장 낮았다. 디자인 추론 과정에서 결론을 뒷받침하기 위해 제시된 논거들의 논리적 적절성이 상대적으로 취약하거나 논리 비약이 자주 일어난다고 보인다.
한편 연구 참여자들의 오류 유형별 발생 비율을 살펴보면, 참여자 A 사례에서는 논거 적절성 오류(65.8%)가 압도적이었고, 참여자 B의 사례에서는 세 가지 오류의 발생 비율이 큰 차이가 없었으나 그 중에서 수용성 오류의 발생 비율(41.2%)이 상대적으로 높게 나타났다(Figure 4 참조). 이러한 오류 발생 비율의 상대적 차이는 디자이너의 추론 방식이나 전략에서의 차이와 연관되어 있음을 시사한다.
다음으로는 디자인 추론의 오류 유형에 따른 사례 간 차이를 좀 더 구체적으로 비교 분석하였다. 우선 Table 5에서 제시된 것처럼, 논거 적절성(R)을 위배하는 오류 중에서는 은유적 수사 등 다의적이고 모호한 표현을 사용하는 애매성 오류(R3)나 의도적으로 특정 의미로 한정 짓는 자의적 재정의(R4), 혹은 의식적으로 특정 요소를 배제하기 위해 부정적 의미로 재정의(R5) 하는 추론 방식과 같이, 전략적 위반에 해당하는 유형이 다수였다. 전략적인 위반 행동을 통해 참신하고 독창적이 관점을 전환을 시도하는, 일종의 파괴적 혁신을 위한 창의적 추론 전략이자 그것을 정당화하는 논증적 수사 전략이 활용되고 있음을 의미한다(Dong, 2007).
하지만 논거 적절성을 위배하는 오류 유형들이 활용되는 양상을 사례 간 비교하면 다소간의 특징적인 차이를 보인다.
실제로 감성적이고 의미론적인 추론 방식에 의존하는 참여자 A의 사례에서, 사고발화 진술문에서 식별된 전체 오류 빈도 대비 R위배 오류율이 65.8%로 상대적으로 높은 비중일 뿐만 아니라 주관적 편향 항목 중에서도 감성 의존적인 편향성이 상대적으로 높았다. 다소 애매하고 이중적인 의미를 갖는 개념들을 사용하는 다의적 표현 전략들이 높은 비율로 활용되고 있다(Figure 5 참조). 일례로 그는 ‘좋은’이라는 다의적이고 애매한 개념을 이용하여 ‘좋은 감정>좋은 상호작용>애착 형성>오래 유지>시간을 타는 재료>촉감적 상호작용’ 등으로 의미론적 사고 확장을 시도하는 추론 방식을 콘셉트 형성에 적극 활용한다.
반면에 참여자 B의 경우에는 감성보다는 타인의 의견이나 다른 사례(예시)를 탐색하는 경향을 보였으며, 전략적 위반 행동에서는 합리적인 이유나 근거 없이 자의적(33.3%)이고 부정적(30.6%)으로 의미를 규정짓는 재정의 전략을 상대적으로 빈도 높게 활용하고 있다.(Figure 5 참조). 이는 일종의 프레이밍 전략에 해당하는 것으로 추론 대상의 특정한 측면이나 부정적 측면에만 초점을 맞추는 방식을 가리킨다. 예를 들어 ‘휴대 불편’, ‘공간 차지’, ‘너무 미래로 멀어지면’, ‘좀 귀찮은’ 등과 같이 부정적 의미화를 시도하거나 ‘머플러=열에너지 낭비’, ‘가장 이상적 자세’, ‘하이퍼포먼스’ 등과 같이 개인적 관점에서의 자의적인 논거를 통해 자신의 콘셉트를 정당화하고자 하였다.
이와 같은 다의성 혹은 재정의에 의한 전략들은 디자인 추론의 유연한 사고 확장에 유용하지만, 한편으로 그 모호성과 자의성으로 인해 의미론적 혼란에 빠질 위험성도 높다. 또한 팀이나 집단 수준으로 이루어지는 디자인 커뮤니케이션에서 이러한 추론 전략은 애초의 의도와 달리 소통과 인식의 공유에 지장을 초래하여 오히려 디자인 실패의 원인이 될 수 있다는 점에서 전략적 활용에 유의할 필요가 있다.
다음으로는 디자인 추론규칙에 대한 이해가 부족하여 충분한 근거나 자료의 뒷받침이 없거나 합당한 이론과 규칙에 의거하지 않은 채 성급하게 결론을 도출하는 논거의 충분성(S) 위배의 오류 유형이나 디자인 관련 지식이 부족하거나 인지적인 혼란으로 인해 개념과 범주 적용에서의 착오를 일으키고 사실과 원칙을 혼동하거나, 구두적 보고 과정에서의 문법적, 수사적 실수 등으로 인해 추론의 신뢰성을 떨어뜨리는 수용성(A) 위배의 오류 유형도 빈번하게 식별되었다(Table 6).
오류 유형의 발생 비율에서 사례 간 차이를 비교해보면 다음과 같다. 참여자 A 사례에서는 충분성 위배 오류의 경우는 주로 가추추론 규칙을 위배한 오류(S3)의 발생 비율이 30.8%로 상대적으로 높게 나타났으며, 참여자 B의 경우에는 연역추론 규칙을 위한 오류(S2)의 발생 비율(22.7%)이 높았다(Table 6). A의 경우에는 특정 단서만으로 그러할 것이라는 지레짐작의 오류(ex. 구조가 독특->높은 가격지불, 핵심부분->원하는 분위기 조성 등)가 빈번하게 나타났다. 이에 비해 B의 경우는 연역적인 결론을 도출하기 위한 전제로서의 선결요건을 충분히 제시하지 않는 경우가 많았다. 예를 들어 충분한 이유나 근거 없이 ‘불편’하다고 주장하거나 왜 이상적인지에 대한 근거 없이 디자인 행동을 주장한다.
또한 수용성(A) 위배의 오류 유형 중에서, 참여자 A 사례에서는 사실과 원칙, 인과관계와 상관관계의 혼동으로 인한 허위관계의 오류(A2)가 상대적으로 높게 식별되고 있다. 예를 들어 ‘실용가구=애착 없음’, ‘촉감=애착’, ‘손때=특별한 감정’과 같이 본질적 요소에 대한 검토 없이 두 개념 사이의 관련성을 확대 해석해나간다. 이에 비해 참여자 B의 사례에서는 문법적으로 어긋난 구어체의 빈번한 사용에 의한 단순 실수가 많이 식별되었다.
이상의 분석 결과를 종합하면 논거 적절성을 위배한 전략적 위반의 오류 사례가 가장 빈번하게 식별되었으며, 이는 일반적인 추론과 달리 디자인 추론이 지닌 특수한 양상으로 보인다. 이른바 오류 기반 학습을 촉진하는 데 있어서 이러한 전략적 위반의 오류가 밀접하게 연관되어 있으며, 성찰적 피드백이 어떻게 이루어지느냐에 따라 단순히 오류에 그치지 않고 디자인의 창의성 제고라는 측면에서 생산적으로 활용될 여지가 있음을 암시한다.
5. 결론 및 제언
본 연구는 디자인 추론 과정의 오류를 식별할 수 있는 준거틀을 정립하고, 이를 디자인 추론 현장에 적용하여 오류의 양태를 탐색적으로 고찰하고자 하였다. 콘셉트 형성을 위해, 두 명의 연구 참여자들이 수행한 디자인 추론이 담긴 회고적 사고발화 자료를 수집하여, 이를 전사한 프로토콜을 정성적·정량적으로 분석하였다. 연구 결과에 따르면 디자이너의 추론 전략과 선호하는 접근 방식에 따라 디자인 추론과 오류 활용 양상에서의 개인적 차이가 비교적 분명하게 구별되었다. 추론 오류와 관련해서는 논리적인 실수나 잘못 외에도 의도적이고 전략적인 오류가 상대적으로 빈번하게 발생하고 있었으며, 활용되는 비중에서 추론 전략에 따라 연구 참여자 간 차이가 두드러짐을 알 수 있었다. 하지만 이러한 차이의 요인이 디자인 과제의 특성 때문인지, 디자이너 추론 전략 때문인지, 혹은 우연의 영향인지 검증하기 위해서는 보다 엄밀한 통제 조건 하에서 재검토될 필요가 있다. 소수 사례에 의존한 비교분석 결과이므로 그 결과를 일반화하는 데에는 한계가 있기 때문이다.
그럼에도 불구하고 이 연구 결과는 디자이너 스스로 오류를 식별하고 추론 과정을 성찰적으로 재구성할 수 있도록 유도하는 출발점으로서, 오류 분류 체계 및 분류도식을 정립하여 그 실효성 여부를 탐색적으로 확인하였다는 점에서 의의가 있다. 특히 디자인 교육의 측면에서 추론 오류에 관한 개념적 준거틀을 활용하여 성찰적 피드백 과정을 교육하고 학습할 수 있는 교육적 도구로 활용될 수 있을 것이다. 그러나 디자이너의 추론 과정에서 식별된 오류가 디자인 결과, 특히 콘셉트 형성의 질적 개선에 어떤 영향을 미치는지는 검증하지 못하였다. 이는 후속 연구를 통해 보완 해결되어야 하는 과제라고 할 수 있다.
Notes
Copyright : This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted educational and non-commercial use, provided the original work is properly cited.
References
- Argyris, C., & Schön, D. (1996). Organizational learning II: Theory, method and practice. MA: Addison-Wesley.
- Beckman, S. L., & Barry, M. (2007). Innovation as a Learning Process: Embedding Design Thinking. California Management Review, 50(1), 25-56. [https://doi.org/10.2307/41166415]
- Casakin, H. (2004). Metaphors in the design studio: Implications for education. The 7th international conference on engineering and product design education, Delft, the Netherlands, 265-273.
- Cheong, H., Hallihan, G. M., & Shu, L. H. (2013). Confirmation and Cognitive Bias in Design Cognition. Journal of Integrated Design and Process Science, 17(4), 19-35. [https://doi.org/10.3233/jid-2013-0019]
- Cramer-Peterson, C. L., & Ahmed-Kristenson, S. (2015). Reasoning in Design: Idea Generation Condition Effects on Reasoning Processes and Evaluation of Ideas. Proceedings of the 22nd Innovation and Product Development Management Conference, Copenhagen, Denmark.
- Day, R. W. (2017). Design Error: A Human Factors Approach. Boca Raton: Taylor & Francis, CRC Press.
- Damer, E. (2012). 논리의 오류 [Attacking Faulty Reasoning : A Practical Guide to Fallacy-Free Arguments] (Kim, H. Trans.). Seoul: Jungwon Culture. (Original work published in 2009).
- Dong, A. (2007). The enactment of design through language. Design Studies, 28(1), 5-21. [https://doi.org/10.1016/j.destud.2006.07.001]
- Dorst, K. (2011). The core of 'design thinking' and its application. Design Studies, 32, 521-532. [https://doi.org/10.1016/j.destud.2011.07.006]
- Dorst, K., & Cross, N. (2001). Creativity in the Design Process: Co-evolution of Problem-solution. Design Studies, 22, 425-37. [https://doi.org/10.1016/S0142-694X(01)00009-6]
- Dorst, K., & Dijkhuis, J. (1995). Comparing Paradigms for Describing Design Activity. Design Studies, 16, 261-274. [https://doi.org/10.1016/0142-694X(94)00012-3]
- Foster, C. R. (2015). Failure Based Design Process. Proceedings of ASME 2015 International Design Engineering Technical Conferences & Computers and Information in Engineering Conference, Boston, Massachusetts, USA. [https://doi.org/10.1115/DETC2015-46733]
- Gero, J. S. (1990). Design Prototypes: A Knowledge Representation Schema for Design. AI Magazine, 11(4), 26-36.
- Goel, V. (2014). Creative Brains: Designing in the Real World. Frontiers in Human Neuroscience, 8(1), 241. [https://doi.org/10.3389/fnhum.2014.00241]
- Goldschmidt, G. (1991). The Dialectics of Sketching. Creativity Research Journal, 4(2), 123-143. [https://doi.org/10.1080/10400419109534381]
- Goldschumidt, G., & Weil, M. (1998). Contents and Structure in Design Reasoning. MIT Design Studies, 14(3), 85-100. [https://doi.org/10.2307/1511899]
- Hay, L., Duffy, A. H. B., McTeague, C., Pidgeon, L. M., Vuletic, T., & Grealy, M. (2017). A systematic review of protocol studies on conceptual design cognition: Design as search and exploration. Design Science, 3(10), 1-36. [https://doi.org/10.1017/dsj.2017.11]
- Jansson, D., & Smith, S. (1991). Design Fixation. Design Studies, 12(1), 3-11. [https://doi.org/10.1016/0142-694X(91)90003-F]
- Kelley, T., Littman, J., & Peters, T. (2001). The Art of Innovation: Lessons in Creativity from IDEO, America's Leading Design Firm. HarperCollinsBusiness.
- Kihlander, I. (2011). Managing Concept Decision making in product development practice(ISSN 1400-1179) [Doctoral thesis, KTH, Royal Institute of Technology]. Stockholm.
- Kim, G. (2007). 논리와 비판적 사고 [Logic and Critical Thinking]. Seoul: Philosophy and Real History.
- Lee, G., Eastman, C. M., & Zimring, C., (2003), Avoiding design errors: A case study of redesigning an architectural studio. Design studies, 24(5), 411-435. [https://doi.org/10.1016/S0142-694X(03)00002-4]
- Leahy, K., Daly, S. R., Murray, J. K., Mckilligan, S., & Seifert, C. M. (2019). Transforming early concepts with Design Heuristics. International Journal of Technology and Design Education, 29(4), 759-779. [https://doi.org/10.1007/s10798-018-9473-0]
- Loibl, K. & Rummel, N. (2014). Knowing what you don't know makes failure productive. Learning and Instruction, 34, 74-85. [https://doi.org/10.1016/j.learninstruc.2014.08.004]
- Lucas, E. J., & Ball, L. J. (2005). Think-aloud Protocols and the Selection Task: Evidence for Relevance Effects and Rationalisation Processes. Thinking & Reasoning, 11, 35-66. [https://doi.org/10.1080/13546780442000114]
- Norman, D. A. (1983). Design Rules based on Analyses of Human Error. Communications of the ACM, 26(4), 254-258. [https://doi.org/10.1145/2163.358092]
- Park, J. (2012). 논증의 오류 [The Fallacy of Argument]. PAN-KOREAN PHILOSOPHY, 64(1), 251-279. G704-001234.2012.64.1.002.
- Petroski, H., (2008). Success through Failure: The Paradox of Design. Princeton University Press.
- Przeworkski, A., & Teune, H. (1970). The Logic of Comparative Social Inquiry. New York: John Wiley and Sons,.
- Johnson, R., & Blair, A. (1977). Logical Self-Defense. New york: McGraw-Hili.
- Reason, J. T. (1990). Human error. UK: Cambridge University Press. [https://doi.org/10.1017/CBO9781139062367]
- Rittel, H. W. J. (1987). The Reasoning of Designers: delivered at the International Congress on Planning and Design Theory. Institut für Grundlagen der Planung in der Architektur Stuttgart: IGP.
- Schön, D. A. (1983). The Reflective Practitioner. New York: Basic Books.
- Stumpf, S. C., & Mcdonnell, J. T. (2002). Talking about team framing: using argumentation to analyse and support experiential learning in early design episodes. Design Studies, 23, 5-23. [https://doi.org/10.1016/S0142-694X(01)00020-5]
- Suwa, M., Tversky, B., Gero, J., & Purcell, T. (2001). Seeing into sketches: regrouping encourages new interpretations. In J. Gero, & B. Tversky (Eds.), Visual and spatial reasoning in design. Australia: University of Sydney, Key Centre of Design and Computing and Cognition, 207-219.
- Walton, D. (2010). Why Fallacies Appear to be Better Arguments Than They Are. Informal Logic, 30(2), 159-184. [https://doi.org/10.22329/il.v30i2.2868]
- Yilmaz, S., Seifert, C., Daly, S. R., & Gonzalez, R. (2016). Design Heuristics in Innovative Products. Journal of Mechanical Design, 138(7), 1-12. [https://doi.org/10.1115/1.4032219]