국내 디자인 연구의 피인용 패턴 분석
초록
연구배경 연구배경 산업계와 학계 모두에서 중요도가 점점 올라가는 ‘디자인학’ 이지만, 현재 국내 ‘디자인’ 연구의 동향을 파악하려는 사전 연구들은 특정 세부 연구 주제에 한정되어 있거나 전반적인 연구 동향을 파악하기에는 소규모로 진행되어 왔다. 따라서 본 연구는 국내 ‘디자인’ 연구의 전반적인 동향을 살펴보되, 주로 연구 영향력을 나타내는 피인용 측면에서 살펴보고자 한다.
연구방법 본 연구에서는 국내 ‘디자인’ 연구의 동향을 파악하기 위한 목적으로 KCI에 등재됨으로써 그 학문적 영향력을 인정받은 13개의 학술지에 출간된 10,786편의 논문을 대상으로 계량서지학적(Bibliometric Analysis) 방법론을 활용하여 각 학술지와 논문의 피인용 패턴을 다양하게 분석하였다.
연구결과 국내 ‘디자인’ 분야의 피인용 반감기는 2018년을 기준으로 5.1년이고 그에 따라 인용 기간(citation window)을 정한 후 인용 패턴을 분석하였다. 13개 분석 대상 학술지 중 연평균 피인용 비율은 ‘한국디자인문화학회지,’ ‘브랜드디자인학연구,’ ‘한국실내디자인학회 논문집,’ ‘디지털디자인학연구’ ‘디자인학연구’ 순으로 그 비율이 높았고 학술지당 출간 논문 수와 피인용 비율은 약 70%의 유의미한 상관관계가 있었다. 또한 출간된 후 5년간 전혀 피인용되지 않은 논문이 37%, 5번 이하 혹은 10번 이상 피인용된 논문은 전체 연구 대상 논문의 각각 57%와 2%였다. 국내 ‘디자인’ 연구 중 많이 피인용된 논문 Top 30을 살펴 본 결과 소셜네트워크 서비스, 디자인의 융합 및 창의 교육, 인포그래픽스, 브랜드 혹은 브랜딩 관련 연구가 참고문헌으로 많이 피인용되었다.
결론 약 일만 편이 넘는 대규모의 국내 ‘디자인’ 연구를 대상으로 출간된 논문 수뿐만 아니라 학문적 영향력을 나타내는 대표적인 지표인 피인용 패턴을 연구하는 최초의 연구라는 점이 본 논문의 의의이다.
Abstract
Background Design is increasingly gaining importance in industry and academia. Yet few studies exist that have analyzed the bibliometric trend of South Korean (hereafter, Korean) design research. Moreover, related studies on the overall research trends are too old or use a small sample size to accurately reflect the current trend of Korean design research. This study aims to fill the gap by analyzing the overall trend of Korean design research, primarily from the perspective of research impact (i.e., citation counts).
Methods The present study selected 10,786 target articles published across 13 journals. The 13 journals have been qualified and accredited by the Korean Citation Index from the perspective of research impact. To derive diverse citation patterns, this study applied various bibliometric analysis methods to the target articles.
Results Specifically, this study found that the cited half-life of Korean design research is 5.1 years as of 2018, and according to the half-life, it examined the distribution of citation accounts of each journal and each article. The journals yielding the highest citing ratio were ‘Journal of the Korean Society of Design Culture,’ ‘Journal of Brand Design Association of Korea,’ ‘Korean Institute of Interior Design Journal,’ ‘Journal of Digital Design,’ and ‘Archives of Design Research.’ There was a significantly positive correlation between the number of published papers and the citation ratio for each journal. The list of top 30 most cited articles showed that articles about social networking service, design education, info-graphics, and brand or branding were the most impactful topics.
Conclusions The main contribution of this study is that it is the first endeavor to show meaningful citation patterns and to explain the overall research impact of Korean design research on a large scale.
Keywords:
Design Research, Bibliometric Analysis, Citation Counts, Research Impact, 디자인, 디자인 연구, 계량서지학 연구, 피인용, 연구 영향력1. 서론
‘디자인’은 예술적 요소를 인간의 삶 전반에 걸쳐 폭넓게 실체화하는 결과로서 미적인 요소와 기술∙기능적인 요소를 조화롭게 녹여내어 인간의 생활에 기여하려는 것이다. 더욱이 19세기 산업혁명에 따라 대량생산이 가능해지면서 디자인은 산업 전반에서 중요한 비중을 차지하게 되었다(Doosan Encyclopedia, 2020). ‘디자인학 (디자인學)’ 또한 ‘디자인’의 폭넓은 정의에 맞춰, 시각, 산업 및 제품, 환경 및 공간, 사용자 경험, 교육 등 다양한 분야에서 디자인 기반, 기초, 응용 등의 연구가 활발히 진행되었다(Kim, 2004). 이러한 산업적, 학문적 중요성에 따라 ‘디자인’관련 연구가 어떻게 진행되어 왔는지 그 연구 동향을 파악하려는 다양한 노력들이 있었다. 예를 들어, 김덕수(2019), 김종덕(2004), 최출헌 & 장필식(2019), 문은정 & 나건(2014), 박소현(2013), 양유진 & 오창섭(2012), 조은아, 이진민, 장미정(2016), 진진아 & 이철영(2017)이 ‘디자인’ 연구 동향을 분석한 사전 연구들이다. 이 논문들은 크게 두 그룹으로 나눌 수 있다. 첫 번째 그룹은 특정 ‘디자인’ 관련 연구가 어떻게 진행되어 왔는지 살펴보는 연구이고, 두 번째 그룹은 국내, 외 ‘디자인’ 전반의 연구가 어떻게 진행되어 왔는지 살펴보는 연구이다.
김덕수(2019), 문은정 & 나건(2014), 박소현(2013), 조은아, 이진민, 장미정(2016) , 진진아 & 이철영(2017)이 첫 번째 그룹에 해당되는 연구들로서, 우선, 김덕수(2019)는 최근 들어 점점 강조되는 디자인에서의 융합 연구 동향을 한 학술지에 출간된 논문 208편을 대상으로 논문별 저자 수, 연구비 지원 대상 여부, 연구의 유형(예를 들어, 양적 연구 혹은 질적 연구 등)을 분석하였다(Kim, 2019). 문은정 & 나건(2014)은 ‘디자인 정책’에 관해 연구한 박사학위 논문 116개와 학술지 논문 460편을 대상으로 연구 규모, 연구 주제, 연구 목적, 연구 방법 등을 분류, 분석하였다(Moon & Nah, 2014). 박소현(2013)은 ‘브랜드디자인학연구’ 학술지에 10여 년간 출간된 447편의 논문을 대상으로 그 연구의 중심어와 연구자에 대한 특성을 분석하였다(Park, 2013). 조은아 등(2016)은 ‘비주얼 머천다이징 디자인’ 관련 학위 논문과 학술지 논문 307편을 ‘태동 및 확장기,’ ‘전개 및 성숙기,’ ‘성숙 및 복합기’의 시기로 나누어 그 연구 특성(예를 들어, 연구 분야, 연구 주체, 연구 대상 등)을 분석하였다(Cho, Rhie, & Jang, 2016). 진진아 & 이철영(2017)은 ‘광고 디자인’을 연구한 11개 학술지 316편의 논문을 대상으로 내용을 분석하여, 연구 주제, 연구 방법, 연구 방법에 따른 시기별 분류, 연구 대상 매체 등을 분류, 분석하였다(Jin & Lee, 2017).
위와 같이 특정 ‘디자인’ 관련 세부 주제에 대한 연구 동향 분석을 실시한 연구도 있지만 본 논문과 같이 특정 주제에 한정되지 않고 ‘디자인’ 연구의 전반적인 동향을 파악한 김종덕(2004)과 최출헌 & 장필식(2019)의 연구도 있다. 우선, 김종덕(2004)은 국내의 대표적인 ‘디자인’ 관련 학술지인 ‘디자인학연구’와 ‘기초조형학연구’에서 24년간 출간된 논문 2,065편을 ‘디자인기초연구,’ ‘디자인기반연구,’ ‘디자인응용연구’의 대분류로 나누고 그 대분류 내의 세부 분류에 따라 또다시 연구 빈도를 분석하였다(Kim, 2004). 특히 이 연구는 장기간 국내에서 이루어진 ‘디자인’ 연구를 대상으로 하고 있고, 당시 ‘한국디자인학회’에서 규정한 디자인 계층구조도에 맞추어 체계적으로 논문의 내용을 분류하는 의미 있는 연구였다. 하지만 출간된 지 15년이 넘은 비교적 오래된 연구이고, 현재 KCI에 등재된 많은 ‘디자인’ 관련 학술지가 그 연구 대상에서 빠져 이 논문에 나타난 결과가 현재에도 여전히 유효한지에 대해서는 추가적인 연구가 필요하다. 그리고 최출헌 & 장필식(2019)은 Scopus 데이터베이스에 색인된 22개의 학술지, 3,600여개의 논문을 분석한 논문이다. 이 논문은 국내, 외를 막론하고 국제 ‘디자인’ 관련 연구 동향을 파악한 최초이자 최근의 연구이고 키워드 중심, 특히 키워드 네트워크의 위상적 특성(Topological Properties)을 중심으로 분석한 연구이다(Choi & Jang, 2019). 하지만 이 논문에서는 그 주된 범위가 국제 ‘디자인’ 연구이니 국내 ‘디자인’ 연구의 동향을 파악할 수 없었다.
이렇듯, 국내 ‘디자인’ 연구의 동향을 파악하려는 노력은 특정 주제에 한정되어 있거나 전반적인 경향을 파악하였더라도 현재의 동향을 파악하기에는 오래된 연구이거나, 범위가 한정적이었다. 그리고 연구의 규모도 최대 3,000여 편의 논문으로 소규모로 이루어졌으며 무엇보다도 본 연구가 주로 초점을 맞추고 있는 피인용에 대해서는 그 패턴을 연구한 논문이 아직 없었다. 피인용은 한 논문이 출간된 후 얼마나 다른 논문에 참고문헌으로 쓰였는지 나타내는 숫자로서, 해당 논문과 학술지의 학문적 영향력을 나타내는 대표적인 계량서지학 지표이다(Lee, 2019). 특히, 대학과 연구 기관의 연구 역량 평가에 많이 쓰이는 여러 Impact Factor가 피인용 수를 포함한다는 점에서 중요한 지표이지만(Bornmann, Marx, Gasparyan, & Kitas, 2012), 상대적으로 이 지표를 중심으로 한 동향 연구는 여러 학문 분야 및 연구 분야에 걸쳐 부족한 형편이다(Waltman, 2016). 이러한 학문적 필요성에 따라 본 논문은 KCI에 등재된 ‘디자인’ 관련 15개 학술지에 출간된 논문 12,339편을 대상으로 피인용수와 피인용 패턴을 분석하였다. 따라서 본 연구의 의의는 국내 ‘디자인’ 연구의 동향을 연구 영향력 측면에서 분석한 최초의 연구이자 대규모의 연구라는 점에 있다.
앞으로 이어질 장에서는 연구의 방법과 범위를 소개하고 피인용 패턴을 본격적으로 살펴보기 전에 국내 ‘디자인’ 연구의 출간 논문 수, 즉 출간 논문 수를 살펴본다. 얼마나 많은 논문이 출간되는지 알아야, 앞으로 살펴볼 피인용 패턴이 얼마나 유의미한지 따라서 가늠할 수 있기 때문이다. 그리고 국내 ‘디자인’ 연구의 피인용 반감기를 알아보고 그 반감기에 따라 인용 문헌의 범위를 정한 후, 3장에서는 학술지별 학문적 영향력을 살펴보기 위해 연도 및 학술지별 인용 수와 각 학술지의 출간 논문 수에 대비하여 연구의 영향력은 어떻게 되는지 살펴본다. 다음으로는 각 논문의 피인용 수 분포 및 국내 ‘디자인’ 연구 중에서 가장 많이 피인용된, 즉 학문적 영향력이 큰 Top 논문 30여 편을 살펴보고, 마지막에는 저자 단위와 학술지 단위의 자기 인용 비율을 분석하였다.
2. 연구의 방법, 범위 및 국내 ‘디자인’ 연구의 출간 논문 수
2. 1. 연구 방법 및 범위
국내 ‘디자인’ 연구의 동향을 파악하기 위해 KCI 등재지를 중심으로 ‘디자인’ 관련 논문을 수집하였다. 우선 KCI의 학문 대주제 분류 중 ‘예술체육학’ 내에 있는 ‘디자인’ 세부 분류에 속하는 모든 학술지와 ‘예술일반’과 ‘기타예술체육’ 세부 분류에 속하는 학술지 중 KCI에서 제공하는 중요 키워드를 중심으로 ‘디자인’ 연구와 관련이 깊은 학술지를 골랐다. 그 학술지 중 다음의 기준으로 학술지를 다시 선별하고 각 학술지에 출간된 논문을 수집하였다. 첫 번째, KCI에 등재된 학술지만을 선별하였다. KCI는 국내 학술지 및 게재 논문 정보를 관리하는 시스템으로 논문 간 인용 관계를 수집하여 분석하고 그 결과에 따라 학술지의 질적 수준을 평가하는 데 그 목적이 있다. 특히 KCI는 학술지를 그 질적 수준에 따라 ‘KCI 등재지’와 ‘KCI 등재 후보지’로 나누어 선정한 후 그 수준을 주기적으로 평가하고 관리한다(Korean Citation Index). 본 연구에서는 좀 더 공인된 품질의 논문을 중심으로 국내 ‘디자인’ 연구의 동향을 파악하고자 ‘KCI 등재지’만을 고려하였고 ‘KCI 등재 후보지’는 연구 대상에서 배제하였다. 두 번째, 국내 ‘디자인’ 연구가 피인용된 패턴을 살펴보려는 본 논문의 목적에 따라 각 논문이 충분히 피인용될 기간을 확보해야 했다. 따라서 본 논문의 샘플 데이터를 수집한 시점인 2020년 12월을 기준으로 최소 두 개 년도 동안 피인용될 시간을 확보하고자 논문 수집의 마지막 시점을 2018년 12월로 정하였다. 따라서 여러 ‘디자인’ 관련 학술지 중 ‘한국실내디자인학회 논문집’이 가장 처음 KCI에 등재되었던 2002년 1월부터 2018년 12월까지 KCI에 등재된 적이 있는 총 16개의 학술지를 선별하였다. 세 번째, 같은 학술지에 출간된 논문이어도 ‘KCI 등재지’을 유지하고 있는 기간 동안에 출간된 논문만 수집하였다. KCI는 ‘KCI 등재지’의 품질을 주기적으로 평가하여 등재지로서의 지위를 유지토록 하거나 ‘등재 후보지’로 강등시키는 경우가 있다. 예를 들어, ‘디지털디자인연구’는 2008년 1월에 ‘KCI 등재지’가 되었으나 2015년 12월에 ‘등재 후보지’가 되었고 2017년 12월에는 ‘등재 후보지’에서 탈락하였다. 그리고 ‘일러스트레이션 포럼’은 2011년 1월에 ‘KCI 등재지’로 선정되었지만 2015년 12월에 ‘KCI 등재 후보지’로 강등되었다가 2017년 1월에 다시 ‘KCI 등재지’가 되었다. 따라서 전자인 ‘디지털디자인연구’에 출간된 논문은 2008년 1월에서 2015년 11월까지 출간된 논문만을 수집하였고 후자인 ‘일러스트레이션 포럼’은 2011년 1월에서 2015년 12월까지 그리고 2017년 1월부터 2018년 12월까지 출간된 논문을 수집하였다. 등급의 변화 없이 계속 ‘등재지’ 등급을 유지하는 각 학술지는 처음 등재지가 된 시점부터 2018년 12월까지 해당 학술지에 출간된 논문을 모두 수집하였다. 그에 따라, 2002년 1월에 2018년 12월까지 KCI에 등재된 17개의 ‘디자인’ 관련 학술지에 출간된 총 16,447편의 논문을 수집하였다. 앞으로 이 논문들을 연구 대상 논문이라고 부른다. 연구 대상 논문의 상세 메타데이터(제목, 출간년도, 키워드, 출간된 학술지명, 저자, 논문의 발표언어 등)는 KCI에서 제공하는 OpenAPI1)를 이용하여 자동 수집하였다. 그리고 수집된 약 만 6천여 편의 연구 대상 논문을 참고문헌으로 인용한 논문을 2020년 12월에 수동으로 수집하였다. 앞으로 이 논문들은 인용 문헌이라고 부른다. 즉, 각 연구 대상 논문은 최소 2년에서 최대 18년까지 피인용될 기간이 있었다. 그리고 ‘디자인’ 연구를 인용한 학문 분야와 인용 문헌의 특성을 살펴보기 위해 인용 문헌의 상세 메타데이터도 연구 대상 논문을 대상으로 수집한 같은 종류와 방식으로 KCI OpenAPI를 통해 자동 수집하였다.
2. 2. ‘디자인’ 연구의 출간 논문 수
국내 ‘디자인’ 연구의 피인용 패턴을 분석하기 전에 선행 분석으로 연도 및 학술지별로 출간된 논문 편수를 살펴봄으로써 ‘디자인’ 연구의 출간 논문 수를 파악하고자 하였다. 즉, 국내 ‘디자인’ 연구의 피인용 패턴을 분석하기 전에 매년 어떤 학술지에 얼마만큼의 논문이 출간되었는지 분석하였다. 2.1장에서 설명한 방법으로 수집된 연구 대상 논문의 수를 학술지별 그리고 연도별로 비교하였고 그 결과는 Table 1과 같다. 조사 대상 기간 중 KCI 등재지에 출간된 ‘디자인’ 관련 논문은 연평균 967.5편 (σ =518.2)이었다. 그리고 학술지당 매년 평균 104.3편의 논문이 발표되었다. Table 1과 같이 연도별로 출간된 논문 편수의 추이를 보면 2004년부터 ‘디자인’ 관련 연구가 꾸준히 증가하였고 성장세가 주춤했던 2009년을 제외하고 2011년까지 연평균 26.7%의 성장세를 보였다. 하지만 2012년부터는 그 성장세가 둔화하고 국내 ‘디자인’ 연구가 안정세에 접어들면서 2018년까지 꾸준히 연간 1,400여 편 내외의 ‘디자인’ 논문이 출간되었다.
또한, Table 1을 보면 각 학술지는 각기 다른 연도에 KCI에 등재되었고 매년 출간된 논문 수도 상이하다. 분석 대상인 17개의 학술지는 두 개 연도부터 18개 연도까지 다양한 기간 동안 ‘KCI 등재지’ 등급을 유지하였으며 가장 오랫동안 KCI 등재지로 유지된 학술지는 ‘한국실내디자인학회 논문집(18개 년도)’과 ‘디자인학연구(16개 년도)’였다. 그리고 ‘디자인’ 관련 학술지에서 연간 출간되는 논문 수의 분포 차이를 살펴보면 ‘기초조형학연구(μ = 254.5, σ = 36.0),’ ‘디지털디자인학연구(μ = 207.5, σ = 35.4),’ ‘한국디자인문화학회지(μ = 196.3, σ = 32.3),’ ‘한국실내디자인학회 논문집(μ = 127.4, σ = 27.5),’ ‘한국공간디자인학회 논문집(μ = 121.5, σ = 33.5)’ 순으로 높았다.
3. 피인용 패턴 분석
본 장에서는 2장에서 선별, 수집한 연구 대상 논문을 중심으로 그 논문들이 피인용된 패턴을 구체적으로 살펴보겠다. 국내 ‘디자인’ 연구의 피인용 패턴을 구체적으로 살펴보기 위한 첫 번째 분석으로 해당 연구 분야의 피인용 반감기(cited half-life)를 계산하였다. 피인용 반감기는 논문의 학문적 영향력을 연구하는 계량서지학 연구에서 연구 대상 논문의 피인용 기간을 정하는 기준이 된다(Kim, 2015). 그리고 그 정해진 피인용 기간에 따라 각 연구 대상 논문을 인용한 논문을 다시 선별하고 더 나아가 피인용 패턴을 분석할 수 있으므로 피인용 연구에서 가장 먼저 살펴봐야 하는 지표이다. 그리고 피인용 반감기를 정한 후에는 이어지는 분석에서 피인용 패턴을 각 학술지별로 살펴보고 또한 개별 논문별 피인용 수의 분포도 알아본다. 그리고 가장 많이 피인용된 논문은 무엇인지 알아보고, 저자와 학술지 측면의 자기 인용 비율도 분석하였다.
3. 1. ‘디자인’ 관련 연구의 피인용 반감기
첫 번째 피인용 패턴에 대한 분석으로 국내 ‘디자인’ 연구의 피인용 반감기를 계산하였다. 피인용 패턴을 정확하게 분석하기 위해서는 전체 연구 대상 논문이 서로 다른 연도에 출간되었기 때문에 같은 기준으로 인용 문헌을 추출해야 한다. 예를 들어, 인용 문헌을 수집한 2020년을 기준으로 2010년에 출간된 논문은 2015년에 출간된 논문에 비해 피인용될 수 있는 기간이 5년 더 길며, 따라서 2010년에 출간된 논문은 2015년의 논문에 비해 더 많이 피인용되었을 가능성이 크다. 따라서 모든 논문의 인용 수를 인용 기준 없이 비교할 경우, 출간 연도에 따라 인용 수에는 왜곡이 일어날 수밖에 없다. 따라서 피인용 패턴을 분석한 많은 기존 연구(Chen, 2012; Goel, Izurieta, & Wittie, 2015; Lee, 2019; Uddin & Khan, 2016)에서 피인용 반감기를 기준으로 문헌의 인용 기간(citation window)을 설정하고 그 기간 내의 인용 문헌만을 추출하고 분석하였다. 더욱이, 각 연구 분야는 특유의 저작, 학술 문화 때문에 서로 다른 피인용 반감기를 가지고 있고 나아가 서로 다른 인용 기간을 기준으로 인용 패턴을 분석해야 한다(Bornmann & Leydesdorff, 2014). 하지만 국내뿐 아니라 해외에서도 ‘디자인’ 연구는 아직 해당 연구 분야의 피인용 반감기를 분석한 사전 연구가 없다. 따라서 국내 ‘디자인’ 분야 내에서 적정한 인용 기간을 정하기 위해 본 논문은 국내 ‘디자인’ 연구의 피인용 반감기를 계산하였다.
피인용 반감기는 특정 학문 분야의 연구 영향력이 어느 정도의 기간 동안 지속하는지 파악하기 위한 지표로써(Kim, 2015) 반감기가 짧을수록 해당 연구 분야의 결과물이 가진 가치가 짧은 기간만 활용되고 소멸한다는 뜻이며, 반대로 반감기가 길수록 해당 분야가 상대적으로 긴 기간 활용된다는 뜻이다(Burrell, 2002). 구체적으로 피인용 반감기는 특정 학문 분야의 논문들을 참고문헌으로 인용한 문헌을 출간 연도별로 정렬한 후 그 중간 연도 값(즉, median)을 계산한 것이다. 예를 들어, 특정 논문 A의 피인용 반감기가 3.5년이고 총 100편의 문헌에 참고문헌으로 피인용되었다면, 이 100편의 인용 논문을 출간 연도 별로 정렬했을 때 그 중간값이 3.5년이란 뜻이다. 이는 바꾸어 말해서 총 피인용 횟수의 50%인 50편의 문헌이 A논문이 출간된 지 3.5년 이내에 출간되었으며 나머지 50편의 문헌은 3.5년 이후에 출간되었다는 뜻이다(Sombatsompop, Markpin, & Premkamolnetr, 2004).
본 논문은 국내 ‘디자인’ 분야 전체 논문의 피인용 반감기를 연도별로 계산하여(Sombatsompop et al., 2004) 그 추이를 살펴보았고 그 결과는 Figure 1과 같다. Figure 1에 나타난 피인용 반감기는 2013년까지 약 3년 초반대를 유지하다가 2014년부터 연평균 8.9%씩 급격히 성장하여 2018년에는 5.08년에 이르렀다. 따라서 한국 내의 ‘예술체육학’ 연구 중 ‘디자인’ 연구는 5.08년의 피인용 반감기를 가졌다. ‘예술체육학’분야의 다른 세부 분야(예를 들어, ‘미술,’ ‘무용,’ ‘음악’ 등)의 피인용 반감기를 계산한 연구가 아직 없으므로 약 5년의 이 반감기가 상대적으로 짧거나 길다고 판단할 수는 없으나, 국내 ‘디자인’ 연구는 처음 KCI에 등재된 2002년 이후 계속 반감기가 증가하였고 이에 국내 ‘디자인’ 분야의 논문이 활용되는 기간이 점점 길어지고 있는 추세이며 17년이 지난 2018년에는 약 5년의 반감기에 이르렀다는 뜻이다.
3. 2. 연도 및 학술지별 피인용 수
앞 장에서 살펴본 국내 ‘디자인’ 연구의 피인용 반감기는 5.08년이므로 그에 따라 본 연구에서는 인용 기간(citation window)을 5년으로 정한다. 즉, 각 연구 대상 논문이 출간된 후 5년간 해당 논문을 참고문헌으로 인용한 논문만을 인용 문헌으로 고려하였다. 예를 들어, 피인용 패턴을 분석하기 위해서 2010년에 출간된 논문 A는 2015년까지 A 논문을 참고문헌으로 쓴 인용 문헌만을 고려하였고, 2014년에 출간된 논문 B는 2019년까지 B 논문을 참고문헌으로 쓴 인용 문헌만을 고려하였다. 2020년을 기준으로 2016년에서 2018년까지 출간된 논문은 5년간의 피인용 기간을 채울 수 없기 때문에 본 논문의 연구 대상 논문에서 제외한다. 특히 2020년 12월에 KCI를 통해 수집한 인용 정보를 확인한 결과 2020년 한 해의 인용 정보를 아직 온전히 반영하지 못하였다. 따라서 2019년 12월까지의 인용 정보까지만 고려하였다. 그리하여 2019년을 기준으로 5년간의 인용 기간을 온전히 가질 수 있는 2014년까지의 논문을 연구 대상 논문으로 다시 선별하였다. 따라서 피인용 패턴의 연구 대상 논문은 2002년부터 2014년까지 13개 학술지2)에 출간된 총 10,786편이 본 논문의 연구 대상 논문이고 각 연구 대상 논문이 출간된 후 5년간 참고문헌으로 활용한 인용 논문만으로 분석 대상을 한정하였다. 그리고 이 연구 대상 논문들의 연도 및 학술지별 피인용 수 및 비율을 계산한 결과는 Figure 2, Figure 3과 같다. 약 만여 편의 ‘디자인’ 논문이 출간된 후 5년 동안 피인용된 횟수는 총 19,260번이고 피인용 비율은 1.79로 ‘디자인’ 관련 논문 한 편이 평균적으로 약 1.8번 다른 논문의 참고문헌으로 쓰였다.
우선 Figure 2는 연도별로 출간된 논문들이 피인용된 횟수와 그 비율 평균을 나타낸다. 2002년에 출간된 논문 96편은 모두 합쳐 단 17번 피인용되어 0.18의 피인용 비율인 반면, 2013년에 출간된 논문 1,390편은 5년간 총 2,946번 피인용되었고 따라서 2013년의 개별 논문이 피인용된 비율은 평균 2.12이다. 연도별 변화 추이를 살펴보면 2003년부터 2011년까지 총 피인용 수는 연평균 97.8%로 급격하게 성장하였다. 하지만 이 총 피인용 수의 변화를 Table 1의 출간 논문 수와 대비해보면 2011년까지 출간된 논문의 수도 급격히 증가하였기 때문에 총 피인용 수의 급격한 증가는 그에 따른 자연적인 성장이라 하겠다. 따라서 총 피인용 수보다는 피인용 비율의 변화를 살펴보았다. 그 결과 피인용 비율은 2009년까지 연평균 60.3%로 꾸준히 증가하였다. 하지만 2010년부터는 1.8 내외의 피인용 비율로 안정세에 접어들었다. 이러한 인용 비율의 변화 추이를 앞의 Table 1과 Figure 1에서 설명한 출간 논문 수 및 반감기의 변화 패턴과 함께 살펴보면, 피인용 비율의 패턴이 바뀌기 시작한 2009년은 국내 ‘디자인’의 출간 논문 수가 계속 성장세에 있던 시기이다. 또한 피인용 반감기의 추세도 이 시기 경에 3.0년을 넘어서기 시작하면서 계속 성장하였다. 다시 말해, 2009년부터는 국내 ‘디자인’ 연구의 수가 꾸준히 증가하여 피인용될 대상이 늘었음에도 학문적 영향력인 피인용 비율은 감소하지 않고 일정 수준을 유지하였다. 또한 ‘디자인’ 관련 논문이 참조할 만한 문헌으로서 활용되는 기간(즉, 피인용 반감기)은 꾸준히 늘어났지만 논문 한 편당 피인용되는 비율은 일정하게 유지되었다. 즉, 2002년부터 2008년까지는 국내 ‘디자인’ 연구의 규모 및 학문적 영향력의 범위와 크기 모두 성장한 시기인 반면, 2009년부터 2014년까지는 국내 ‘디자인’ 연구의 규모가 성장하고 연구 영향력의 범위는 넓어졌지만, 그 영향력의 크기는 일정하게 유지되던 시기이다. 비록 2014년 한 해의 총 피인용 수와 피인용 비율이 하락하였지만 2015년 이후의 데이터는 아직 분석할 수 없으므로 이러한 피인용의 감소가 2014년 한 해의 특이 현상인지 아니면 감소 추세가 이후 이어질지는 지켜보아야 한다.
다음으로 Figure 3은 학술지별 출간 논문을 연간 출간 논문 수 대비하여 연평균 피인용 수와 연평균 피인용 비율로 나누어 분석한 결과이다. 분석 대상인 총 13개 학술지 중에 연평균 피인용 수가 가장 높은 학술지는 ‘디지털디자인학연구(μ = 408.1),’ ‘한국디자인문화학회지(μ = 389.4),’ ‘기초조형학연구(μ = 383.0),’ ‘한국실내디자인학회 논문집(μ = 271.2)’의 순이다. 하지만 이들 학술지는 매년 출간되는 논문 수가 다른 학술지에 비해 상대적으로 높다. 따라서 절대적인 숫자인 피인용 수보다는 출간된 논문 수에 대비하여 피인용 수를 계산한 피인용 비율을 통한 비교가 더 의미 있다. 그러므로 학술지별 연평균 피인용 비율을 살펴보면 ‘한국디자인문화학회지(μ =1.99),’ ‘브랜드디자인학연구(μ =1.97),’ ‘한국실내디자인학회 논문집(μ =1.92),’ ‘디지털디자인학연구(μ =1.85),’ ‘디자인학연구(μ =1.79)’ 순으로 높았다. 이들 논문은 연간 출간 논문의 수가 많은 ‘한국디자인문화학회지’와 ‘한국실내디자인학회 논문집’과 같은 학술지도 있지만, ‘브랜드디자인학연구’와 같이 출간 논문 수는 상대적으로 낮지만, 피인용 비율이 높은 학술지도 있다. 나아가 각 학술지의 연간 논문 수와 연평균 피인용 비율을 살펴 본 결과 그 상관관계가 중간 정도로 나타났고 이는 통계적으로 유의미하였다(r = 0.69, p = 0.009). 다시 말해 연구 출간된 논문 수가 많은 학술지는 연구 영향력, 즉 피인용 횟수도 상대적으로 높을 수 있고, 이러한 경향에는 중간 이상의 상관관계를 보이며 아주 많은 예외가 존재하지는 않는 것으로 나타났다.
3. 3. 개별 논문의 피인용 횟수 분포와 피인용이 많이 된 Top 논문
앞 장의 분석에서는 학술지 단위로 피인용 수와 비율을 살펴보았다. 그렇다면 각 학술지에 출간된 개별 논문별로 피인용 수의 분포는 어떠한가? 이번 장에서는 이 질문에 답하기 위해 각 논문별 피인용 수가 어떻게 분포되는지 분석하였다. 한 편의 논문이 출간되면 타 문헌에 참고문헌으로 많이 피인용되는 논문이 있는 반면, 어떤 논문은 몇 년이 지나도 전혀 피인용되지 않는 경우도 있다. 앞 장의 분석에서 국내 ‘디자인’ 연구들은 평균 약 1.8번 피인용되었다고 하였지만, 이 통계 값은 다양하게 분포된 모든 피인용 수를 반영한 대푯값일 뿐 연구 대상 논문인 만 여 편이 골고루 피인용된 결과는 아니다. Figure 4와 Figure 5은 개별 논문의 피인용 수 분포를 나타낸다.
우선 Figure 4의 분포를 보면 전체 연구 대상 논문 10,786편 중 36.6%(n = 3,953)의 논문은 출간된 지 5년이 지나도록 타 문헌에 전혀 피인용되지 않았다. 반면, 56.6% (n = 6,102)의 논문은 5년간 최소 5번 이하로 타 문헌에 피인용되었고, 10번 이상 피인용된 논문은 전체 연구 대상 논문의 1.8%(n = 199)였다. 최대로 많이 피인용된 논문은 5년 동안 44번 피인용되었다.
다음으로, Figure 5의 학술지별 Box Plot 분포를 살펴보면 대부분의 학술지에서 제 4분위 값(4 quartile)을 넘어서는 특이치(outlier)가 5의 피인용 수 초과를 나타낸다. 즉, ‘디자인’ 연구에서는 한 논문이 출간된 지 5년 동안 6번 이상 피인용되었다면 대다수의 ‘디자인’ 논문과 비교하여 그 보통의 분포에서 크게 벗어나 확연하게 많이 피인용된 논문이라 하겠다. 하지만 이 특이치에 해당하는 논문들은 그 수가 적기 때문에, Figure 3에 나타난 각 학술지의 평균 피인용 비율과 비교해 보면 확연하게 많이 피인용된 논문들의 수가 반드시 해당 학술지의 피인용 비율을 높이는 것이 아니었다. 오히려 2 ~ 4분위 값3)이 높을수록 해당 학술지의 평균 피인용 비율이 높았다.
그리고 Figure 5의 패턴을 보면 많이 피인용되는 논문들이 있는 반면, 출간된 지 몇 년이 지났지만 전혀 피인용되지 않는 논문도 있다. 물론 본 논문의 인용 논문은 국내에서 발표되어 KCI에 색인된 논문만을 수집한 것으로 KCI에 색인되지 않은 기타 국내 논문이나 도서, 외국 논문에 참고문헌으로 피인용되었을 수도 있다. 하지만 KCI에 색인된 인용 논문을 피인용 횟수의 대상으로 삼았을 때 피인용되지 않은 논문의 분포를 학술지별로 살펴보면 Figure 6과 같다. 14개의 학술지 중 피인용되지 않은 논문의 비율이 가장 낮은 학술지는 ‘한국디자인문화학회지(32.0%),’ ‘한국실내디자인학회 논문집(32.8%),’ ‘디자인융복합연구(34.4%),’ ‘디지털디자인학연구(34.8%),’ ‘한국디자인포럼(36.7%)’ 순이었다. 반면 상대적으로 피인용되지 않은 논문의 비율이 높은 학술지는 ‘산업디자인학연구,’ ‘한국가구학회지,’ ‘한국화예디자인학 연구,’ ‘한국문화공간건축학회논문집’ 등이고 이들 학술지는 KCI에 등재된 기간이 상대적으로 짧다는 공통점이 있다. 물론, KCI에 등재된 기간이 짧아도 전체적인 피인용 비율이 높고, 피인용되지 않은 논문의 비율도 낮은 학술지가 있지만, ‘산업디자인학연구’를 비롯 피인용되지 않은 논문을 많이 출간한 학술지들은 아직 영향력 있는 학술지로서 그 명성을 쌓을 시간이 부족하였거나 그 연구 대상 분야가 세부적이고 제한적인 것이 원인이 될 수 있다.
다음으로는 많이 피인용된 논문 Top 30을 살펴보았고, 그 결과는 Table 2와 같다. 이들 30편의 Top 논문들이 무슨 내용인지 살펴보면 소셜 네트워크 서비스의 특성에 관련된 연구, 디지털 미디어 관련 연구, 디자인의 융합 및 창의 교육, 인포그래픽스, 다양한 산업의 브랜드 혹은 브랜딩에 대한 연구가 많이 피인용되었다. 이들 논문은 ‘기초조형학연구(7편),’ ‘한국디자인문화학회지(6편),’ ‘디지털디자인학연구(6편),’ ‘디자인학연구(4편),’ ‘한국실내디자인학회 논문집(4편),’ ‘한국디자인포럼(3편),’ ‘브랜드디자인학연구(3편)’ 학술지에 출간된 논문들이었다.
3. 4. 자기 인용 비율
마지막으로 각 학술지별 자기 인용 비율을 분석하였다. 자기 인용 비율을 계산하는 방법은 여러 가지로 저자 단위의 자기 인용, 저자의 소속 기관 단위의 자기 인용, 학술지 단위의 자기 인용 등이 있다(Aksnes, 2003). 그 중 본 연구에서는 저자 단위의 자기 인용과 학술지 단위의 자기 인용을 계산하였다. 다시 말해 전자는 저자가 자신이 쓴 논문을 자신 혹은 공저자의 다른 논문에서 참고문헌으로 피인용한 경우이고, 후자는 저자와 상관없이 한 논문이 같은 학술지에서 출간된 다른 논문에 참고문헌으로 피인용되는 경우이다.
우선 학술지와 연도별로 저자 단위와 학술지 단위의 자기 인용 비율을 계산한 후 그 연평균을 다시 계산하였고, 그 결과는 Figure 7과 같다. 국내 ‘디자인’ 연구에서 저자 단위의 자기 인용 비율은 연평균 15.1%이다. 즉, 연구 대상 논문 100편당 약 15편은 주저자 혹은 공저자의 논문에 피인용된 경우였다. 연도별 자기 인용 비율의 변화 추세에는 뚜렷한 패턴을 발견할 수 없었지만, 자기 인용 비율이 약 10%에 근접했던 2004년과 2009년을 제외하고 분석 대상인 거의 모든 연도에서 약 15~20% 내외의 자기 인용 비율을 보였다. Figure 7에 나타난 저자 단위의 자기 인용 비율을 학술지별로 살펴보면 학술지 대부분이 20% 이내의 자기 인용 비율을 보였지만, ‘한국문화공간건축학회논문집(28.9%),’ ‘한국가구학회지(21.4%),’ ‘한국실내디자인학회 논문집(20.5%)’의 자기 인용 비율은 비교적 높았다. 반면 저자 단위의 자기 인용 비율이 낮은 학술지는 ‘산업디자인학연구(7.4%),’ ‘일러스트레이션 포럼(8.0%),’ ‘브랜드디자인학연구(10.0%)’ 순이었다.
다음으로는 학술지 단위의 자기 인용 비율을 살펴보면, 국내 ‘디자인’ 연구에서 학술지 단위의 평균 자기 인용 비율은 22.4%이다. 즉, 연구 대상 논문 100편당 약 22편은 같은 학술지 내의 다른 논문에 참고문헌으로 피인용된 경우였다. 그리고 국내 ‘디자인’ 연구는 2002년을 제외하고 매년 20~30%의 학술지 단위 자기 인용 비율을 유지하면서 눈에 띄게 큰 증감은 없었다. Figure 7에 나타난 학술지 단위의 자기 인용 비율을 살펴보면 ‘한국실내디자인학회 논문집(34.6%),’ ‘한국문화공간건축학회논문집(34.4%),’ ‘한국화예디자인학 연구(25.9%)’ 순으로 학술지 단위의 자기 인용 비율이 높았다. 이렇듯 학술지 단위의 자기 인용 비율이 높은 경우는 해당 학회에서 투고 규정으로써 일정 횟수 이상의 학술지 단위의 자기 인용 비율을 강제하지 않는 이상, 전문성이 높아서 참고할 만한 문헌을 타 학술지가 아닌 같은 학술지 내에서 찾는 경우이다. 다시 말해, 이 학술지들은 해당 학술지 내에서의 학문적 활용도가 높은 경우이다. 반면 학술지 단위의 자기 인용 비율이 낮은 학술지는 ‘산업디자인학연구(7.4%),’ ‘일러스트레이션 포럼(11.6%),’ ‘디자인학연구(13.2%),’ ‘디자인융복합연구(14.4%)’의 순이었고 이 학술지들은 다른 학술지까지 그 학문적 영향력이 많이 끼친 학술지라 하겠다.
5. 결론 및 제언
우리 생활 전반에 걸쳐 방대하게 녹아 있는 ‘디자인’의 영향력에 따라 ‘디자인학’의 연구도 활발하게 진행되어 왔지만, 국내 ‘디자인’ 연구가 전반적으로 어떻게 진행됐는지 그 동향을 파악하려는 노력은 일부 세부 과제에 한해 국지적으로 이루어졌다. 전반적인 연구 동향을 파악하려는 몇몇의 사전 연구도 있긴 했지만 오래되거나 그 범위가 작아 국내 ‘디자인’ 연구의 전반적인 동향을 반영할 수 없었다. 따라서 본 연구는 국내 ‘디자인’ 연구의 전반적인 동향을 파악하는 데 목적이 있었으며 특히 그 초점으로서 사전 연구에서 전혀 다루어지지 않은 인용 패턴에 집중하였다. 따라서 국내 ‘디자인’ 연구의 피인용 반감기를 계산하고, 그에 따라 학술지별 인용 패턴과 개별 논문의 인용 분포를 여러 계량서지학적 방법론을 이용하여 분석하였다.
그 결과, 국내 ‘디자인’ 분야의 피인용 반감기는 2013년까지 약 3년 초반대로 천천히 성장하다가 2014년부터 연평균 9%씩 급격히 성장하여 2018년에는 5.1년에 이를 정도로 증가하였다. 그에 따라 본 연구에서는 인용 기간(citation window)을 5년으로 정한 후 인용 패턴을 분석하였다. 이 인용 기간에 따라 5년간 인용 정보를 온전히 수집할 수 있는 논문만을 선별하였고 그 결과 2002년부터 2014년까지 국내 13개 학술지에 실린 10,786편이 분석 대상 논문이 되었다. 이 13개 분석 대상 학술지에 출간된 논문 수에 대비하여 계산한 연평균 피인용 비율에 따르면 ‘한국디자인문화학회지,’ ‘브랜드디자인학연구,’ ‘한국실내디자인학회 논문집,’ ‘디지털디자인학연구’ ‘디자인학연구’ 순으로 그 비율이 높았다. 그리고 학술지당 출간 논문 수와 피인용 비율을 비교한 결과 약 70%의 상관관계가 발견되었고 이는 통계적으로 유의미하였다. 학술지별 피인용 패턴 분석에 이어 개별 논문의 피인용 분포를 살펴보면 출간된 후 5년간 전혀 피인용되지 않은 논문이 37%, 5번 이하 그리고 10번 이상 피인용된 논문은 각각 전체 연구 대상 논문의 57%와 2%였다. 특히 피인용되지 않은 논문의 비율이 적은 학술지는 ‘한국디자인문화학회지,’ ‘한국실내디자인학회 논문집,’ ‘디자인융복합연구,’ ‘디지털디자인학연구,’ ‘한국디자인포럼’ 순이었다. 전체 연구 대상 논문 중에서 5년간 6번 이상 다른 논문에 참고문헌으로 쓰였다면 그 논문은 대다수의 논문이 인용된 횟수와 비교하여 특이치라고 여길 만큼 많이 피인용된 경우로 나타났다. 다음으로는 국내 ‘디자인’ 연구 중 많이 피인용된 논문 Top 30을 살펴보았고, 그 결과 소셜네트워크 서비스, 디자인의 융합 및 창의 교육, 인포 그래픽스, 브랜드 혹은 브랜딩 관련 연구가 참고문헌으로 많이 피인용되었다는 것을 알 수 있었다. 마지막 분석으로 13개 연구 대상 학술지의 자기 인용 비율을 저자 중심과 학술지 중심으로 살펴보았다. 저자 중심의 자기 인용 비율에서는 20% 이상의 자기 인용 비율을 나타낸 세 개의 학술지를 제외하고 나머지 학술지 대부분은 15% ~ 20% 이내의 자기 인용 비율을 나타냈다. 학술지 중심의 자기 인용 비율에서는 ‘한국실내디자인학회 논문집,’ ‘한국문화공간건축학회논문집,’ ‘한국화예디자인학 연구’에서 그 비율이 상대적으로 높았다. 따라서 이들 학술지는 같은 학술지 내에서의 학문적 영향력이 큰 것으로 나타났다. 이로써 본 논문의 의의는 KCI 등재지를 기준으로 모든 ‘디자인’ 관련 논문의 전반적인 인용 패턴을 분석한 초기 연구라는 점에 있다. 하지만 이러한 의의에도 불구하고 본 논문의 한계점도 인정하는 바이다. 본 논문은 피인용이 된 연구 대상 학술지와 논문에 초점을 맞추었을 뿐 인용 논문에 대한 분석은 부족하였다. 예를 들어, 국내 ‘디자인’ 논문은 어떤 학술지와 어떤 타 학문 분야에 피인용되었는지 분석할 필요가 있으며 또한 인용-피인용 네트워크를 구축하고 그 네트워크상에서의 위상적 특성(Topological Property) 분석을 통해 국내 ‘디자인’ 논문의 중요도와 영향력의 범위를 보다 구체적으로 알아볼 필요가 있다. 또한 마지막에 살펴본 저자 및 학술지 단위의 자기 인용 비율을 제외한 인용 사례에 대한 별도의 분석이 필요하다. 따라서 이러한 한계점은 본 논문의 다음 연구에서 살펴보도록 한다.
Glossary
1) https://www.kci.go.kr/kciportal/po/openapi/openApiConnView.kci
2) ‘Journal of Integrated Design Research,’ ‘커뮤니케이션디자인학연구,’ ‘상품문화디자인학연구’과 ‘한국공간디자인학회 논문집’ 학술지는 모두 2015년 1월 이후에 ‘KCI 등재지’로 선정되어 모든 논문이 연구 대상 논문에서 제외되었다.
3) 피인용 수의 제 1분위 값은 0이지만 Figure 5에서는 명확히 보이지 않는다.
Notes
Copyright : This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted educational and non-commercial use, provided the original work is properly cited.
References
- Aksnes, D. W. (2003). A macro study of self-citation. Scientometrics, 56(2), 235-246. [https://doi.org/10.1023/A:1021919228368]
- Bornmann, L., Gasparyan, A. Y., & Kitas, G. D. (2012). Diversity, value and limitations of the journal impact factor and alternative metrics. Rheumatology international, 32(7), 1861-1867. [https://doi.org/10.1007/s00296-011-2276-1]
- Bornmann, L., & Leydesdorff, L. (2014). Scientometrics in a changing research landscape. EMBO reports, 15(12), 1228-1232. [https://doi.org/10.15252/embr.201439608]
- Burrell, Q. L. (2002). The nth-citation distribution and obsolescence. Scientometrics, 53(3), 309-323. [https://doi.org/10.1023/A:1014816911511]
- Chen, C. (2012). Predictive effects of structural variation on citation counts. Journal of the American Society for Information Science and Technology, 63(3), 431-449. [https://doi.org/10.1002/asi.21694]
- Cho, E., Rhie, J., & Jang, M. J. (2016). A Study on the Research Trend in Visual Merchandising Design in Korea ; Focusing on Journals and Dissertations, form 1987 to 2015. Industrial design 10(1), 37-50.
- Choi, C., & Jang, P.-S. (2019). Keyword Network Analysis on Global Research Trend in Design (1999∼2018). Journal of Convergence for Information Technology, 9(2), 7-16.
- Doosan Encyclopedia, D. (2020). Design. Retrieved from https://terms.naver.com/entry.nhn?docId=1086152&cid=40942&categoryId=33074 (Accessed on September 2, 2020).
- Goel, U., Izurieta, C., & Wittie, M. P. (2015). Understanding Factors Influencing the Citation Count of Networking Conference Papers. Paper presented at the 24th International Conference on Software Engineering and Data Engineering.
- Jin, J. A., & Lee, C. (2017). Content Analysis Study on Research Trend and Features of Advertising Design Papers Published in 11 Major Design Journals: 1995~2016. Journal of Korea Design Forum, 57(-), 139-150. [https://doi.org/10.21326/ksdt.2017..57.012]
- Kim, D.-S. (2019). Methodological Characteristics of the Convergence Research of Design. Journal of Digital Interaction Design, 18(1), 9-26. [https://doi.org/10.21195/jidr.2019.18.1.001]
- Kim, H.-R. (2015). Citation Analysis of Scholarly Journals of Library & Information Science Field in Korea. Journal of the Korean Society for Information Management, 32(4), 7-27. [https://doi.org/10.3743/KOSIM.2015.32.4.007]
- Kim, J.-D. (2004). Analysis of Korean Design Study Tendency. Archives of Design Research, 17(4), 159-168.
- Korean Citation Index, The Guidance About Journal Evaluation. Retrieved from https://www.kci.go.kr/kciportal/guidance/jourEvalGuidance.kci (Accessed on September 2, 2020).
- Lee, D. H. (2019). Predictive power of conference-related factors on citation rates of conference papers. Scientometrics, 118(1), 281-304. [https://doi.org/10.1007/s11192-018-2943-z]
- Lee, J. Y., Kim, P., Kang, D., Yu, S.-Y., & Lee, W.-H. (2011). A Bibliometric Analysis on LED Research. Journal of Information Science Theory and Practice 42(3), 1-26. [https://doi.org/10.1633/JIM.2011.42.3.001]
- Moon, E.-J., & Nah, K. (2014). The Research Trends and Directions for Domestic Design Policy Studies in Korea - An Analysis on Doctor's theses and Domestic Journals' Papers from 2009 to 2013 -. Journal of Digital Design, 14(2), 295-304. [https://doi.org/10.17280/jdd.2014.14.2.028]
- Park, S. H. (2013) An Analysis Study of Trend in A Journal of Brand Design Association of Korea - First Issue (2003) to 26th issue (2013). Journal of Brand Design Association of Korea, 11(5), 143-154. [https://doi.org/10.18852/bdak.2013.11.5.143]
- Sombatsompop, N., Markpin, T., & Premkamolnetr, N. (2004). A modified method for calculating the Impact Factors of journals in ISI Journal Citation Reports: Polymer Science Category in 1997-2001. Scientometrics, 60(2), 217-235. [https://doi.org/10.1023/B:SCIE.0000027794.98854.f6]
- Uddin, S., & Khan, A. (2016). The impact of author-selected keywords on citation counts. Journal of Informetrics, 10(4), 1166-1177. [https://doi.org/10.1016/j.joi.2016.10.004]
- Waltman, L. (2016). A review of the literature on citation impact indicators. Journal of Informetrics, 10(2), 365-391.