말뭉치와 텍스트마이닝 기법을 활용한 <디자인학연구>의 사용 어휘 분석

4. 1. 단어 빈도 기반 분석

앞서 전처리한 json 파일을 활용하여 일반명사(NNP), 고유명사(NNP), 어근(XR) 세 개 품사를 가진 2음절 이상의 단어로 한정하여 1989~2018년 <디자인학연구>에 나타난 고빈도 어휘를 분석했다. 전문용어는 보통 2음절 이상의 명사 형태를 띠기 때문이며, 어근을 분석에 포함한 이유는 어근의 범위에 명사가 포함되기 때문이다.

하나의 문서에서 출현 빈도가 높다는 것은 해당 단어가 중요함을 의미하지만, 하나의 문서가 아닌 모든 문서에서 출현 빈도가 높다는 것은 해당 단어가 보편적으로 자주 사용되는 단어이거나 분석 대상 텍스트의 유형적 특성에서 비롯된 단어일 가능성을 보여준다. 출현 빈도는 높지만 실질적 의미 분석에는 필요하지 않은 이런 단어들을 불용어(stopword)라고 한다. 예를 들어, 디자인 연구 논문에서 ‘디자인’(119,236)과 ‘연구’(60,944)라는 단어가 가장 많이 출현하는 것은 당연하다. 이런 단어를 불용어로 처리하지 않으면 연도별 혹은 문서별 텍스트를 비교할 때 모든 텍스트의 고빈도 어휘가 비슷하게 도출되어 유의미한 발견을 하기 어렵다. 텍스트에 출현한 단어들의 통계적 특성으로 색인어를 선정하는 방법을 최초로 제시한 Luhn은 단어의 빈도 분포에서 중간빈도의 단어들이 문헌 내용의 식별력이 가장 크며 이를 색인어로 선정하도록 제시했다. 그러나 중간빈도의 최고 한계치와 최저 한계치를 산출하는 구체적인 공식까지 함께 제시되어 있지는 않다. (정영미, 2012:76-77)

연구자는 빈도 분석 결과에서 가장 빈도가 높은 단어 100개를 추출한 뒤 4.2.의 방법으로 주변 단어 분포를 함께 살피면서 어느 지점까지 불용어로 처리해야 할지 단위별로 검토했다. 이와 별개로 논문에서 소제목과 캡션에 일관되게 등장하는 어휘 5개와 학술지 이름인 ‘디자인학연구’를 불용어 목록에 추가하여 최종적으로 표 3과 같이 48개를 확정했다.

Table 3

48 stopwords applied to <ADR> analysis (in order of frequency)

불용어로 처리하기는 했지만, 표 3의 고빈도 어휘는 꽤 흥미롭다. 해당 목록은 논문에서 주로 쓰이는 ‘분석, 요소, 방법, 결과, 과정’ 등 단어 외에도 다양한 성격의 단어들을 포함하고 있다. ‘제품, 공간, 정보, 환경, 광고, 교육, 문화, 사회’ 그리고 ‘이미지, 표현, 형태, 구성, 시각’ 등의 단어들은 <디자인학연구>에 게재된 논문들의 주된 관심 분야와 영역을 드러낸다. 현재의 말뭉치를 추후 균형적으로 확장한다면, 한국 디자인 일반의 경향 역시 엿볼 수 있을 것으로 판단한다.

연도별 주요 어휘를 분석하는 데 활용한 TFIDF는, 정보검색 이론에서 한 단어가 특정 문서에 출현한 빈도와 전체 문서에서 출현한 빈도를 비교하여 그 문서에서 얼마나 중요하게 사용되었는지 평가하는 데에 널리 사용된다. 이 가중치를 이용하면 전체 출현 빈도는 적지만 특정 문서에서 비중 있게 사용된 어휘를 버리지 않을 수 있다.

TFIDF는 단어 출현 빈도(TF)와 역문헌 빈도(IDF)의 곱으로 계산하며, 한 문서에 출현하는 빈도가 높으면서 전체 문서에 출현하는 빈도가 낮을수록 높은 점수를 얻는다. 이 가중치를 적용하여 추출한 연도별 주요 어휘 상위 10개 단어와 앞서와 동일하게 불용어를 제거한 뒤 단어 출현 빈도(TF)로 추출한 10개 단어를 표 4로 정리했다. 한문 사용이 빈번했던 90년대 초반 논문의 경우 불용어 처리가 되지 않으므로 최종 결과에서 한문을 한글로 바꾼 뒤 불용어를 걸렀다. 지면 한계상 목록을 다 실을 수 없어 표 4에서는 잘 드러나지 않지만, 현재 연도별 TFIDF 결과에는 사람 이름이 많이 포함되어 있다. 이는 논문의 특성상 타 연구의 인용 시 저자 이름을 기입해야 하고, 참고문헌 목록 역시 포함해야 하기 때문으로 보인다. (이번 탐색 과정에서는, 참고문헌 제목에 해당 논문에서 다루는 주제와 연관된 키워드가 포함되는 경우가 많고 본문에 내주로 사용한 저자 이름까지 제거하기는 거의 불가능하므로 전처리 과정에서 참고문헌 부분을 제거하지 않은 상태이다.)

Table 4

Top 10 words by year in <ADR> (where * represents Chinese characters)

표 4에서 TF 목록으로는 연도별로 당시 디자인 연구자들이 공통적으로 빈번하게 사용한 어휘를 알 수 있고, TFIDF 목록으로는 같은 시기에 개별 논문들에 비중 있게 사용된 단어들을 살필 수 있다. 예를 들어 1994년에는 컴퓨터와 디지털 관련 단어의 출현 빈도가 전반적으로 높아졌지만, 동시에 공예 관련 단어를 비중 있게 사용하는 논문 역시 존재함을 알 수 있다.

다만, 현재 TF, TFIDF 목록은 연도별 문헌 길이의 차이를 고려하지 않은 단순 빈도를 활용한 값으로 이후 활용 목적에 따라 문헌 길이에 대해 정규화를 거친다면 일부 결과가 달라질 수 있다.

다음으로 연구자는 연도별 고빈도 20개 어휘의 빈도 추이를 그래프로써 살펴보고자 했다. 이를 통해 각 단어의 생명주기와 더불어 서로 생명주기가 겹치는 단어 간에 상관관계를 파악할 수 있지 않을까 생각했기 때문이다. 이 단계에서는 전체 말뭉치 중 1989~1994년의 논문은 어휘 규모가 다른 해에 비해 지나치게 적어 결과를 신뢰할 수 없기에 부득이 제외했다. 나머지 데이터에서도 2002~2012년의 말뭉치 규모가 이후 기간의 규모에 비해 두 배 이상 크기 때문에 연도별 단어 빈도를 해당 연도의 총 단어 수로 정규화하는 과정을 거쳤다.

Figure 1

<ADR> annual difference in corpus size

연구자는 단어별로 생성한 그래프를 아래와 같이 크게 7개 유형으로 분류하였다.

첫째, 전 기간에 걸쳐 일정 빈도 이상으로 꾸준히 나타나는 유형으로 ‘감정, 관련, 내용, 다음, 단계, 모델, 목적, 문제, 방식, 방향, 부분, 분야, 사람, 생활, 시간, 시스템, 영역, 예술, 유형, 이용, 이해, 인식, 자연, 작용, 작품, 적용, 전략, 전체, 제공, 제시, 중심, 차이, 체계, 측면, 한국, 행위, 효과’가 있으며 둘째, 꾸준히 나타나되 연도별 편차가 상당히 큰 유형으로 ‘경영, 로봇, 문양, 미술, 상호, 색채, 속성, 전통, 지역, 포장’이 있다.

셋째, 특정 시기에만 출현이 집중된 유형으로 ‘공방, 소재, 언어, 윤리, 자전거, 토큰’이 있으며 넷째, 그 특정 시기가 최근에 집중되었거나 갑작스레 최근 2~3년 내에 빈도가 급증한 유형으로 ‘거리, 게임, 계획, 국가, 남성, 명화, 범죄, 보행, 시장, 신체, 아이콘, 역량, 장소, 재질, 정책, 주거, 지도, 프로세스, 해학, 활동’이 있다.

Figure 2

20 words with a sharp increase in frequency in the last two to three years

다섯째, 연도별 변동 폭은 다소 있으나 전반적으로 감소 추세를 보이는 유형으로 ‘기본, 기호, 대학, 디자이너, 발전, 상품, 생산, 세계, 소비자, 시대, 양식, 인간, 작업, 재료, 조형, 컴퓨터’가 있으며 여섯째, 전반적으로 증가 추세를 보이는 유형으로 ‘개선, 사례, 사업, 상황, 실험, 영향, 요인, 장애, 정부, 패션’이 있다.

일곱째, 출현 빈도가 한동안 일정한 수준을 유지하거나 증가하다가 점차 감소 추세를 보이는 유형으로 ‘가치, 감성, 경험, 공공, 기업, 도시, 디지털, 분류, 브랜드, 사이트, 서비스, 애니메이션, 영상, 인터넷, 인터페이스, 제작, 참여, 캐릭터, 커뮤니케이션, 학습’이 있다.

4. 2. 단어 간 유사도 분석

디자인 분야에서는 오랜 시간에 걸쳐 하나의 개념이 하나의 용어로 다듬어지기보다 시대 흐름에 맞춰 새로운 개념과 용어가 빠르게 나타났다가 사라지는 경향이 있다. 비슷한 개념이 서로 다른 용어로 제시되어 혼선을 일으키는 경우가 잦으며, 같은 개념이라도 누군가는 외국 용어를 발음 그대로 혹은 로마자 표기법에 따라 적고 누군가는 서로 다른 말로 번역하여 표기하곤 한다. 연구자는 이러한 어휘 사용 양상을 파악하기 위해서는 단어들의 의미 관계 특히 유의 관계를 볼 수 있어야 한다고 판단했다. 유의 관계에서 동의어, 반의어 등 세부 관계를 파악하기 위해서는 상당히 전문적인 연구가 필요하지만, 단어나 문장 간 유사도 분석에 대해서는 기계학습 분야에서 이미 많은 연구가 진행되었고 검증된 라이브러리도 존재한다.

단어 간 유사도는 단어 임베딩을 통해 단어의 의미를 벡터화한 뒤 다차원 공간에 표현하는 방식으로 계산한다. 단어 임베딩을 통해 벡터화된 단어들은 연산도 가능하다. 단어 임베딩은 단어의 분산 표현이라고도 하며 타깃 단어의 주변 단어와의 관계를 담은 밀집벡터를 표현한 것이다. 최근에는 이 작업에 2013년 구글에서 발표한 추론 기반 기법인 Word2Vec 알고리즘을 주로 사용한다. Word2Vec는 비지도학습의 일종으로 CBOW와 skip-gram 두 가지 학습 방법 중 하나를 선택하여 사용할 수 있다. 연구자는 앞뒤 단어를 통해 타깃 단어를 예측하는 skip-gram 방식을 학습에 사용했다. 학습 데이터는 앞서 만들어 둔 json 파일을 이용하였고, 분석 도구로는 파이썬 genism 라이브러리의 Word2Vec 클래스를 사용했다. 빈도 분석할 때와 마찬가지로 단어 유형은 일반명사, 고유명사, 어근 세 개 품사를 가진 2음절 이상 단어로 한정했다. 학습 시 벡터공간의 차원 크기는 100개, 단어의 맥락을 뜻하는 윈도(window) 크기는 5개, 학습 횟수는 100회로 설정하였고 전체 출현 빈도가 50 미만인 어휘는 분석 효율을 위해 제외했다. 학습 토큰(어휘) 수는 5,545,190개이며, 학습에 걸린 시간은 00:15:55이다.

학습을 마친 Word2Vec 모델에 등록된 어휘는 6,915개이다. 코사인 유사도를 이용하여 주요 어휘에 대한 유의 단어 상위 13개를 정리하면 표 5와 같다. 코사인 유사도가 클수록 벡터공간에서 두 어휘 간의 관계가 가까움을 의미한다.

Table 5

Similar words by word for 10 high-frequency words

표 5의 결과는 주어진 말뭉치로 Word2Vec 학습을 통해 추론한 값이며 데이터 전처리 상태에 따라 학습이 잘못될 가능성이 존재한다. 그러나 연구자가 결과값을 살핀 바로는 즉각적으로 맥락을 유추하기 어려운 단어가 일부 존재하였으나 전반적으로는 결과를 수긍할 만했다. 경험적으로 봤을 때 오류로 느껴지거나 단어 간 유사 관계를 직관적으로 알기 어려웠던 예는 아래와 같다.

- 산업: (진홍, 0.5961518287658691), (고부, 0.5941715836524963)
- 브랜드: (브랜, 0.7984333634376526), (랜딩, 0.6639623045921326), (쿼티, 0.6208349466323853)
- 한국: (흥원, 0.5893231630325317), (통권, 0.544651985168457)
- 중심: (한양, 0.5057476758956909)

말뭉치에서 위의 어휘들이 사용된 문장들을 검토해 본 결과 위의 문제는 다음과 같은 이유에서 비롯되었다.

• 1) OCR에서 글자 인식 오류
• 　 예. 한국 디자인 ‘진홍’ 체제의 현황 및 문제점 (진흥)
• 2) OCR에서 띄어쓰기 인식 오류 또는 미등록어의 형태소 오분석
• 　 예1. ‘고부+가+가치’ 데님 패션+의 (고부가가치)
• 　 예2. 기업+은 감성 ‘브+랜딩’+을 통하+여 (브랜딩)
• 　 예3. ‘브랜드 에+쿼티’+의 이론+적 고찰 (브랜드 에쿼티)
• 3) 형태소 오분석으로 일어난 학습 오류
• 　 예1. ‘한국’+디자인학회 ‘통권’ 00호
• 　 예2. (‘중심’이 포함된 논문 제목) ‘한양’+대학교

위의 항목 중 1과 2는 OCR이나 형태소 분석 등 데이터 전처리 단계에서 발생한 오류이며 3은 전처리 오류가 학습의 오류로 이어진 경우이다. OCR 과정에서 발생하는 오류는 해당 작업이 필요 없도록 원 텍스트 파일을 말뭉치 구축에 활용하거나 말뭉치의 규모를 크게 키워서 해당 오류의 발생률을 평균으로 수렴시키는 방식이 이상적이다. 형태소 분석 사전에 미등록어, 단어가 형태소 분석 사전에 등록되어 있지 않아서 발생하는 오분석은 당장 근본적 해결이 어렵다. 분석 텍스트에 출현하는 모든 단어를 일일이 찾아내어 사전에 추가하는 것은 불가능하기 때문이다. 이 문제를 개선하기 위해서는 오분석이 많이 발생하는 어휘군에 대해서 사용자 정의 사전을 지속해서 보강해 나가야 한다.

마지막으로 연구자는 <디자인학연구>에 사용된 전체 어휘들이 어떤 의미 단위로 분포되어 있는지 t-SNE 그래프를 생성하고, 밀집별 어휘 목록을 밀도 기반 군집화 알고리즘인 DBSCAN을 이용하여 추출하였다. t-SNE는 고차원 벡터들의 상관관계를 유지하면서 저차원으로 변환하는 알고리즘으로, 다른 차원 축소 알고리즘에 비해 군집 간 변별력을 잃지 않기에 데이터 시각화를 위해 많이 사용된다.

t-SNE와 DBSCAN는 모두 scikit-learn의 클래스로 수행하였으며, DBSCAN 추출 시에는 군집별 최소 어휘 수를 5로 설정하고, 데이터 포인트로부터 이웃 데이터까지 거리(epsilon)의 최댓값을 1.75로 설정하였다. 추출된 군집 수는 총 93개이다. 이중 최소 어휘 수를 만족하지 못해 잡음(-1)으로 분류된 경우, 주로 고빈도 어휘가 모이는 군집으로 군집의 성격이 명확히 드러나지 않는 경우(0)를 제외하고 소속 어휘 개수 기준의 상위 10개 군집을 정리하면 표 6과 같다.

Figure 3

Distribution of words used in <ADR> (t-SNE, minimum frequency above 50)

Table 6

Top 10 clusters by cluster size

오분석된 어휘들과 연관성이 적어보이는 어휘가 일부 섞여 있으나 군집의 성격은 확연히 드러나는 편이다. 이번 분석에서는 어휘별 유사 어휘가 아닌 분포별 의미 단위를 살피는 것이 목적이므로 거리값을 성기게 주었으나 목적에 따라 속성값을 조절하여 군집을 더 정밀하게 추출할 수도 있다.

군집 분석 결과, <디자인학연구>에 사용된 어휘 목록에서는 도시 및 지역 관련 어휘가 가장 큰 비중을 차지하고 있으며 재료, 교육, 색상, 공간, 감성, 브랜드, 패션, 타이포그래피, 노약자 및 장애 관련 어휘 역시 비중이 높았다. 이 결과는 빈도와는 관계가 없으므로 해당 군집의 어휘가 많이 출현했다거나 해당 주제의 논문이 많음을 의미하지 않는다.

표 6에서는 흥미로운 부분이 있는데 타이포그래피와 관련된 군집9에 ‘타이포그래피’가 아닌 ‘타이포그라피’가 포함되어 있다는 점이다. 이는 외래어 표기에 맞으며 절대 빈도가 높은 쪽은 ‘타이포그래피’이지만, 타이포그래피 관련 어휘와 연관도가 높은 표기는 ‘타이포그라피’임을 뜻한다. 이 분석에서 ‘타이포그래피’는 ‘타이포그래피, 타이포, 타이, 키네틱, 그래피, 캘리그래피, 구체시, 그라, 무빙’과 하나의 군집을 이루고 있다.