심층 인터뷰의 감정 어휘 분석 도구로서 생성형 AI의 가능성 탐색

실험 대상자는 Table 2와 같이 40~50대 기혼 여성 10명이다. 이들은 노화 및 갱년기와 같은 신체적 변화, 자녀의 성장 및 출가, 경제적 환경 변화 등 인생의 과도기적 상황에 처해 있다. 이로 인해 감정의 기복이 크고 주변의 다양한 기회를 통해 더 나은 삶을 바라고 있다. 따라서 이들은 문제 해결에 대한 니즈가 크며, 심층 인터뷰를 통해 비즈니스, 서비스 및 상품 디자인 기회 요소를 발견하기에 적합한 기준을 가진 대상자들이다.

Table 2

Interview Participant Information

심층 인터뷰는 온라인 인터뷰 방식인 줌(zoom) 프로그램을 사용하여 한 명당 50분 정도의 시간 동안 반구조화된 질문 방식으로 진행되었다. 해당 인터뷰의 대화 내용은 모두 녹취되었으며, 이에 동의하는 서명과 함께 연구의 목적으로 사용됨을 알리고 개인정보 보호에 대한 연구윤리를 준수하고자 하였다.

인터뷰 질문은 비즈니스나 서비스 및 제품의 새로운 기회를 포착하기 위한 목적을 갖는다. 따라서 40~50대 여성의 현재 생활의 상황과 어려운 점을 파악하고자 건강, 가족관계, 일상생활 등을 파악하기 위한 질문으로 구성되었다. 추가적으로 가치관, 삶에 대한 태도, 주변 환경과 자아에 대한 관계, 자주 사용하는 서비스 및 제품 등에 대하여 질문하였다. 인터뷰는 반구조화된 질문과 추가 질문에 대해서 50분의 시간을 동일하게 맞추어 조절하며 진행되었다.

50분간의 인터뷰 내용을 국내 AI 음성 기록 관리 서비스인 네이버의 클로바노트를 활용하여 텍스트 파일로 생성하였다. 이후 녹취를 다시 들으며 잘못 표기된 단어를 수정하여 최종적으로 10개의 텍스트 데이터를 생성하였다.

데이터 생성 도구는 글로벌 기업과 국내 기업에서 사용하는 언어 데이터의 차이에 따라 어떤 AI 프로그램을 선택하느냐에 따라 결과에 큰 영향을 미친다. 예비 선정 과정에서 사용한 생성형 AI 프로그램은 Chat GPT, 뤼튼, Perplexity, 클로바 X로, 이들은 자연어 처리 기반의 대화형 에이전트로 코딩 없이 사용할 수 있다. Perplexity는 한국어 대화에서 부족함을 보였고, 클로바 X는 한국어 이해는 높지만 연구 분석 사용에 적합하지 않은 특징이 발견되었다. 결과적으로 Chat GPT와 뤼튼이 예비 후보로 선정되었으며 각 도구의 특장점은 Table 3과 같다.

Table 3

Comparison Table of Characteristics of Final Candidates for Generative AI Programs

두 프로그램을 비교하기 위해 Table 4와 같이 인터뷰이 A의 데이터를 동일하게 입력하고 결과 값 차이를 살펴보았으며, 생성형 AI의 특성상 답변의 일관성이 낮을 수 있기 때문에 같은 질문에 대해 5회 반복하여 생성형 AI 답변의 일관성과 변동성을 파악하였다.

Table 4

Comparison of Extraction Results from Generative AI Programs(Total of 5 Prompts)

결과 총 어휘 추출 개수는 Chat GPT가 더 많았으나, 실제 추출 정확도는 뤼튼이 더 높았다. Chat GPT는 어휘 자체를 잘못 선별하는 오류가 빈번했으며, 뤼튼은 어휘 선별은 잘했으나 품사 유형을 잘못 추출하는 경향이 있었다. 하지만 전체적으로 뤼튼의 추출 정확도가 더 높았고, 품사 선별이 인터뷰 결과 인사이트 도출에 크게 영향을 미치지 않는다고 판단되어 이 점을 반영하였다. 그리고 5회 반복 수행 시 편차는 Chat GPT가 0.49, 뤼튼이 1.72로, 뤼튼의 변동 폭이 컸다. 그러나 뤼튼은 초기 추출한 어휘 수가 2배 이상 많아, 원본 데이터를 재검토할 때 초기 추출 가능성이 더 높았다. 반면, Chat GPT는 일관성이 높아 변동이 적었으나 초기부터 뤼튼의 50% 정도 어휘만 검출해 감정 어휘 탐지에 취약함이 드러났다. 결과적으로 뤼튼이 다양한 프롬프트를 적용할 경우 어휘 검출 정확도가 더 높고, 어휘를 더 많이 찾아낼 가능성이 확인되어 최종적으로 본 연구의 생성형 AI 실험 도구로 선정하였다.

프롬프트 정교화를 위해 1차 테스트를 진행하였으며, 테스트는 ICL(In-Context Learning)의 방법 중 하나인 FSL(Few Shot Learning)을 적용하였다. FSL은 데이터 셋이 작은 경우 제한을 받는 경우 지식과 사전 정보가 포함된 몇 개의 샘플만으로 AI의 결과를 향상시키고 작업 결과를 빠르게 일반화할 수 있는 방법으로, 왕 외(Wang et al., 2020)는 FSL의 세 가지 관점의 분류를 제시하였다. 이전 지식과 샘플의 활용 대상이 데이터, 모델, 알고리즘 차원에 따라 분류될 수 있으며, 데이터의 경험을 보강하는 차원, 가설 공간의 크기를 줄이는 모델 차원의 접근, 주어진 가설 공간에서 최상의 가설을 찾는 방식을 변경하는 알고리즘 차원의 접근이다. 본 연구는 모델과 알고리즘의 개발에 초점이 맞추어진 연구가 아니므로, 데이터 차원의 샘플을 제공하는 방식을 채택하였다. 프롬프트 테스트 실행 순서는 다음과 Figure 4와 같다.

Figure 4

Design for Prompt Development

각 프롬프트 작성 글은 다음 Table 5와 같이 기본 설명, 결과 형태, 샘플 제공 유무 세 가지 차원으로 구성되며, 작성 예시는 이해를 돕기 위해 대표로 샘플 제공이 없는 1-1과 샘플 제공이 있는 1-2를 기재하였다.

Table 5

Prompt Writing Structure and Text

실제 테스트는 Figure 4와 같이 1-1, 1-2, 1-3, 1-4, 1-5 모두 실행되었다. 프롬프트 1차 설계에서 발견된 문제점으로 제 2, 3유형 감정 어휘가 누락되는 경우가 대부분이었고, 이를 보완하기 위해 가장 많은 추출이 발생한 1-2 형태를 1차 인풋으로 제공한 후, 답변이 도출되면 추가 질문으로 제 2, 3유형의 탐색을 요청하는 문장을 Table 6과 같이 기재하였다. 해당 과정은 제 1, 2, 3유형을 한 번에 요청할 때보다 추출 결과가 향상되었기 때문에 채택되었다. 추가 질문으로 제 2, 3유형의 탐색을 요청할 때 두 분류로 나누어 샘플 테스트한 결과 제 2, 3유형의 경우는 샘플을 제공하지 않는 경우에 해당 감정 어휘 추출률이 더 높았다. 그 이유는 제 2, 3유형의 경우 어휘의 구성이 a+b 혹은 a+b+c 등의 문법적 규칙을 갖는데 AI는 같은 규칙이 적용된 데이터만 집중하여 추출하는 경향을 보였으며, 실제 발화 데이터가 샘플과 정확하게 일치하지 않는 경우를 제외시키고 있었기 때문이다. 이와 같이 실제 발화 데이터와 샘플 표현의 높은 일치는 낮은 확률로 나타나기 때문에 제 2, 3유형은 샘플 제공이 없는 경우가 더 추출률이 높은 것으로 나타났다. 따라서 이를 반영하여 다음 Figure 5와 같이 최종 프롬프트를 진행하였다.

Table 6

Final Prompt Writing Structure and Text

Figure 5

Final Prompt

Figure 5에 대한 최종 프롬프트 작성 글은 다음 Table 6과 같다.

데이터 추출은 생성형 AI 프로그램과 평가자가 나누어 참여하였는데, 평가자의 경우 분석 결과의 일관성과 신뢰성을 확보하기 위해 디자인학 박사 학위 소지자 두 명이 선정되었다. 평가자들은 고객 니즈와 인터뷰 관련 강의 경력 5년 이상, 소비자 조사 및 심층 인터뷰 경력 5년 이상의 전문가들이다. 평가자들은 한국어 감정 어휘 전문 서적, 선행 연구에서 언급한 논문과 자료 등을 참고하여 감정 어휘를 추출하였고, 상호 검토를 거쳐 공동으로 데이터 추출 과정을 진행하였다.

데이터 추출 이후 Table 7과 같이 텍스트 전처리 과정을 통해 분석 기반을 다진 후, 참여자 A부터 순차적으로 넘버링하여 감정 어휘를 코드화하고 분류하였으며, 같은 어휘라도 해당 감정을 유발한 원인이 다를 수 있으므로 개별 코드의 넘버링은 중복 없이 순차적으로 진행하였다. 추가적으로 전체 인터뷰 내용을 살피면서 문맥적으로 감정의 긍부정 상태를 파악하여 재정의하는 과정을 포함하였으며, 감정 유발 원인도 함께 추출하였다. 본 과정에서 생성형 AI의 경우는 Table 7의 3번, 4번, 7번, 8번을 뤼튼에 요청하여 분석이 진행되었고, 나머지 부분은 평가자가 동일하게 진행하였다.

Table 7

Data Coding Procedure

추출된 데이터를 분석하고 평가하는 기준은 연구 결과에 중요한 영향을 미치므로, Table 8과 같이 분석 항목과 내용을 정의하였으며, 파악하는 의의에 대하여 다음과 같이 정의하였다.

Table 8

Analysis Items and Content

첫 번째, 감정 어휘 유형별 빈도 분석은 한국어 감정 표현에서 분류되는 디테일한 구분을 생성형 AI가 할 수 있는지 학문적 이론을 바탕으로 구체적으로 평가하는 데 의의가 있다. 두 번째, 감정 어휘의 긍정, 부정, 중립 분류 및 비율 분석은 감정 어휘의 상태에 따른 생성형 AI의 감정 인식 정확성과 추출률을 검증하는 데 중요한 역할을 한다. 이를 통해 고객의 문제점뿐만 아니라 긍정적 경험이 소비와 사용으로 이어지는 기회를 생성형 AI가 얼마나 효과적으로 도출할 수 있는지를 평가할 수 있다. 세 번째, 감정 어휘를 통해 드러난 감정의 유발 요인을 추출하는 것은 생성형 AI가 문맥적 유추를 통해 감정 원인을 정리할 수 있는지를 평가하는 데 필수적이다. 이는 실제 문제와 니즈를 정확히 파악하는 능력을 검증하고, 이 도구가 디자인 기회를 찾는 데 활용될 수 있는지를 판단하는 데 중요한 기준이 된다. 종합적으로, 이 세 가지 분석 항목은 생성형 AI의 감정 인식 능력을 종합적으로 평가하고, 향후 개선 방향을 제시하는 데 중요한 역할을 할 수 있다.

심층 인터뷰 참여자는 10명이었으나, 발화 데이터 분석 결과 참여자 J의 경우, 감정 어휘가 거의 발견되지 않아 제외하고 총 9명의 데이터 분석을 실시하였다. Table 9와 같이 1명의 인터뷰 데이터 평균 분석 소요 시간의 경우 생성형 AI는 준비된 프롬프트 입력 후 데이터 삽입까지 참여자 샘플 한 개당 걸리는 시간이 1분 내외로 총 9분 정도 걸렸지만, 평가자는 참여자 샘플 한 개를 읽고, 추출하고, 분석하는 데 평균 50분정도 소요되었기에 총 450분의 시간이 소요되어 45배 정도의 시간 차이를 보였다. 생성형 AI와 평가자가 추출한 인터뷰 내 언급된 감정 어휘의 일부는 Table 9에 기재하였다. 유형별로 구분한 총 데이터 결과는 Table 9와 같으며, 평가자는 총 208개, 생성형 AI는 총 51개의 감정 어휘를 추출하여 AI는 평가자 추출양의 25% 정도만을 찾아내어 양적 차이를 보였다.

Table 9

Results Table of Emotion Vocabulary Extraction

프로토콜 데이터 분석에 대한 코드 결과는 참여자별(좌우) 언급된 순서대로(상하) 정렬되었으며, 코드 표기는 Table 7의 원칙대로 정리하였다. 생성형 AI의 결과는 Figure 6, 평가자의 결과는 Figure 7과 같다.

Figure 6

Protocol Analysis Results (Generative AI)

Figure 7

Protocol Analysis Results (Evaluator)

유형별 비교 분석 결과, Figure 8과 같이 생성형 AI와 평가자 모두 제 1유형의 감정 어휘가 가장 높은 빈도를 나타내었다. 생성형 AI는 총 51개의 감정 어휘 중 51개인 100%의 비율로 제 1유형을 추출하였고, 제 2유형과 제 3유형은 0개로 0%를 추출하였다. 반면, 평가자의 경우 총 208개의 감정 어휘를 추출하였고, 제 1유형 195개 94%, 제 2유형 11개 5%, 제 3유형 2개 1%를 추출하였다. AI가 추출하지 못한 유형의 예시로 제 2유형은 ‘마음이 따뜻하다’, ‘마음이 뭉클한’, ‘안심이 되다’, ‘신뢰가 가다’와 같았으며, 제 3유형은 ‘심장이 뛰고’, ‘심장이 두근거리는’과 같은 표현들이 있었다. 생성형 AI는 두 어휘의 복합적 표현의 경우, 각 단어 자체에서 감정 관련 어휘가 나타나지 않을 경우에는 두 단어의 합이 감정을 나타내는 경우라 하더라도 실제로 추출하지 못하는 경우를 보였다. 하지만 평가자는 감정 어휘의 문법적 규칙과 적용 사례를 이해하고 변형된 표현까지 모두 추출하였다.

Figure 8

Graph of Extraction Results for Frequency of Emotion Vocabulary by Type

Figure 9는 생성형 AI와 평가자가 추출한 참가자별 결과의 그래프로 참가자별로 나타난 총 감정 어휘 수는 약 4배정도 차이가 났지만 개인별 감정 어휘 언급 시 유형별 비율에 대한 관계는 특이점이 나타나지 않았다.

Figure 9

Frequency Extraction Results of Emotion Vocabulary by Participant (Left: Generative AI / Right: Evaluator)

생성형 AI와 평가자가 추출한 감정 어휘의 긍정·부정·중립 분포를 분석한 결과, Figure 10과 같이 생성형 AI가 추출한 어휘는 긍정 25%(13개), 부정 75%(38개)의 분포를 나타내었다. 반면, 평가자가 추출한 어휘는 긍정 36%(75개), 부정 62%(129개), 중립 2%(4개)로 평가자가 총 어휘에 대해 더 고른 분포로 긍정·부정·중립 상태를 추출하였다. 생성형 AI는 참여자 A의 발화에서 ‘좋은’, ‘즐거운’, ‘재미난’과 같은 긍정 어휘를 잘 추출한 반면, 참여자 B의 데이터에서는 동일한 표현이 등장함에도 불구하고 이를 추출하지 못하는 등 데이터 추출의 일관성이 떨어지는 현상이 발견되었다. 또한, 생성형 AI가 추출한 긍정적 어휘의 절대적인 수치는 평가자의 17%에 불과한 것으로 나타났다.

Figure 10

Distribution of Positive, Negative, and Neutral States of Emotion Vocabulary in Total (Left: Generative AI / Right: Evaluator)

Figure 11은 참가자별 세부 결과 그래프이며, 우측 평가자가 추출한 긍정 어휘의 추출이 일정하게 분포하고 있는 것을 확인할 수 있다.

Figure 11

Frequency of Positive, Negative, and Neutral States of Emotion Vocabulary by Participant (Left: Generative AI / Right: Evaluator)

전체 결과로 보았을 때, 생성형 AI는 부정적 감정 어휘에 대한 원인을 문맥적으로 잘 유추하여 원인을 90% 이상 찾아내었지만, 긍정적 감정 어휘는 추출하지 못했기 때문에 요인 또한 제시하지 못하였다.

대표 사례로 가장 감정 어휘를 많이 다양하게 사용한 참여자 A의 결과를 정리한 Table 10을 살펴보면, 생성형 AI는 부정적 감정 어휘 추출량에서 평가자의 50%를, 긍정적 어휘 추출은 0%로 평가자와 큰 차이를 보였다. 생성형 AI가 추출한 총 8개의 부정적 감정 어휘 중 원인을 추출하지 못한 2개의 경우를 제외, 6개의 원인을 제시하였으며, 요인은 신체적 변화, 갱년기 증상, 자녀의 독립, 남편에 대한 서운함 등이었는데 각 부정 어휘의 요인이 독립적이기 보다는 문맥을 유추하여 복합적인 요인으로 추출하는 경우가 많았다.

Table 10

Example of Result Values for Emotion Inducing Factors (Data from Participant A)

반면 평가자는 생성형 AI가 추출한 부정적 감정 어휘를 모두 포함하여 총 16개를 추출, 긍정적인 감정 어휘는 5개와 이에 대한 감정 유발 요인을 추출하였으며, 문장에 드러난 어휘 그대로 요인을 추출하였다.

Table 10과 같이 긍정적 감정 어휘는 음식, 영화관 가기, 운동, 음악 등 다양한 원인과 연결되어 있었으며, 이는 A의 삶에서 긍정적인 경험, 소비의 대상들이었다. 이와 같이 평가자의 분석에서는 각 감정이 구체적인 원인과 연결되어 부정과 긍정적 감정의 기회 모두를 포착할 수 있는 인사이트 추출의 가능성이 절대적으로 높았다.

생성형 AI 추출의 비율의 경우 제 1유형 100%, 제 2유형 0%, 제 3유형 0%를 기록한 반면, 평가자의 경우 제 1유형 94%, 제 2유형 5%, 제 3유형 1%를 나타내었다. 이러한 결과는 유형별 추출 비율로 보았을 때 생성형 AI가 감정 어휘의 분류에서 평가자와 유사한 추출 경향을 보인 것처럼 볼 수 있지만, 수량으로 보았을 때 총 추출 어휘 수에서 4배 정도의 차이가 났기 때문에 많고 다양한 감정 추출이 중요한 분석 단계에 있어서 저조한 성과로 볼 수 있다.

그리고 한국어의 감정 어휘는 세 유형으로 나뉘는 구체적이고 복잡한 어휘 구성을 갖고 있지만, 생성형 AI는 가장 간단한 형태인 제 1유형의 감정 어휘에 집중하는 경향이 강하게 나타났고, 평가자는 보다 다양한 감정 어휘를 포괄적으로 추출하여 균형 잡힌 분포를 나타내었다. 제 2, 3유형의 경우는 어휘 구성의 틀 자체가 제 1유형보다 복잡하고, 샘플을 제시하였을 때 오히려 생성형 AI 모델이 샘플에 집중하여 조금만 다르게 표현하더라도 이를 제 2, 3유형의 범주 내에 속하지 않는다고 판단하기 때문에 추출이 거의 되지 않는 것을 확인하였다. 실제 제 2, 3유형은 인터뷰에서 발화되는 정도가 상당히 낮기 때문에 중요도가 낮을 수 있지만, 모든 유형을 포괄하는 감정 어휘를 100% 추출해야 하는 경우에는 현재 생성형 AI 상황으로 보아 개선책을 찾기 어려운 상황이기 때문에 평가자의 부분적 참여를 권유할 수 있다. 아직까지 생성형 AI가 한국어의 디테일한 표현에 대해서 분류가 미흡한 것으로 볼 수 있고, 이로 인해 생성형 AI와 평가자 간의 감정 어휘 유형별 추출 범위에서 차이가 나타난 것으로 확인되었다.

생성형 AI는 부정적 감정 어휘 추출률은 높았지만 긍정적 감정은 적게, 중립적인 감정은 전혀 추출하지 못하는 점에서 부족함이 나타났다. 부정적 감정 어휘 추출에 집중되는 원인은 데이터 불균형에 따른 구조적 요인에 기인하는 것으로 볼 수 있다. AI 모델이 학습하는 데이터셋에서 긍정적 감정 표현이 부정적 감정 표현에 비해 상대적으로 적게 포함될 경우, 모델은 긍정적 감정을 인식하는 데 어려움을 겪는다는 편향에 대한 연구(Mao et al., 2023)와 같이 본 실험에서도 부정적 감정 어휘가 긍정적 어휘 추출의 2~3배 정도를 차지하고 있고, 결과적으로 부정적 어휘 추출률이 더 높게 나타나는 경향이 나타났다. 또한 부정적인 사건이나 감정이 긍정적인 것보다 더 강한 영향을 미친다는 부정 편향(Negativity Bias) 개념(Baumeister et al., 2001)을 바탕으로, AI는 인간의 정보처리 과정에서 부정적 정보가 본질적으로 더 강하게 각인되고 중요하게 처리되는 경향(Rozin & Royzman, 2001)을 학습하게 되고, 본 실험의 결과에서도 이러한 현상이 나타남을 확인할 수 있었다.

반면 평가자의 어휘 추출은 모든 측면에서 상대적으로 고르게 분포되어 있었다. 감정 어휘 중 긍정적 감정 어휘는 인사이트 발굴 측면에서 매우 중요한 영향을 미치는데, 생성형 AI가 감정의 전반적인 맥락을 충분히 포착하지 못하고 있음은 인터뷰 분석 시 감정의 다양성을 충분히 반영하지 못할 가능성을 시사한다. 이로 인해 생성형 AI를 활용한 감정 분석 결과가 왜곡되어 사용자에게 잘못된 해석을 제공할 위험이 있으며, 중요한 인사이트를 누락하게 될 수 있다. 따라서 생성형 AI를 인터뷰 텍스트 분석 도구로 사용할 때는 이러한 한계를 인지하고, 평가자의 분석 결과와 함께 활용하여 더 균형 잡힌 감정 분석을 도출해야 한다.

부정적 원인에 대한 분석은 고객의 문제적 상황을 잘 파악하고 이를 해결해주는 적절한 제품이나 서비스를 제시할 수 있는 가능성을 보여주고, 긍정적 감정 원인은 고객의 만족도, 가치관, 관심사, 소비와 관련된 행동으로 확인되었다. 따라서 다양한 감정 상태에 대한 추출은 디자인 기회요소인 인사이트 발굴에 기여도가 높다고 볼 수 있다.

감정 유발 요인 추출에 있어서 평가자는 다양한 긍정적 감정을 포괄적으로 분석하여 긍정적 경험을 더 잘 반영한 것에 비해, 생성형 AI는 긍정적 감정 어휘 추출 비율이 낮아 상반된 결과를 보였다. 하지만 부정적 어휘에 대해서 생성형 AI는 평가자보다 우월한 속도로 추출하고 원인까지 적절하게 제공하는 장점을 보였다. 따라서 생성형 AI는 부정적 감정의 원인을 효과적으로 파악하여 문제점 도출에 유리한 면을 보이지만, 긍정적 감정에 대한 인사이트를 제시하는 데는 한계를 보였다. 반면, 평가자는 긍정적 감정과 그 원인을 함께 분석함으로써 인터뷰 내용의 전반적인 정서 상태를 보다 균형 있게 이해하는 결과를 보였다.

정성적 결과로 심층 인터뷰를 통해 부정적 감정을 유발하는 요인 해결을 위해 소비하는 지출 대비, 긍정적 감정을 유발하는 요인에 대한 소비 지출이 훨씬 더 많았다는 것을 확인할 수 있었다. 이는 긍정 심리학(Positive Psychology)에서 주장하는 바와 같이 사람들이 눈앞의 문제를 해결하기보다는 긍정적인 감정을 경험하는 것에 더 많은 가치를 두는 결과적 경향을 보이는 현상과 유사하였다. 이와 같이 긍정적 감정 어휘의 추출은 기업 입장에서 기회의 요소로 볼 수 있는 중요한 측면으로 볼 수 있지만, 생성형 AI의 결과는 이에 크게 미치지 못하기 때문에 시사하는 점이 크다.