Archives of Design Research

1990년대 처음 등장한 버추얼 휴먼(Virtual Human)은 디지털 휴먼(Digital Human)의 제작 기술과 함께 빠르게 성장했다(Kwon, 2022). 하지만 발전하는 버추얼 휴먼의 기술과 다르게, 버추얼 휴먼의 명확한 개념에 관한 연구가 미진하여, 용어와 개념이 혼재하는 실정이다. 버추얼 휴먼에 관한 선행 연구와 매체는 버추얼 휴먼과 디지털 휴먼 그리고 그 외 여러 개념을 혼용하고 있다. 이처럼 버추얼 휴먼이라는 용어가 다른 용어와 같은 의미로 사용되는 것은 관련 연구의 방향을 혼란하게 하고, 목적과 논리를 떨어뜨린다. 용어가 분명한 개념 없이 혼잡하게 사용되는 것은 용어의 본질을 흐리고, 근미래 기술 발전에 따른 용어 파생 및 변화에 어려움을 일으킬 수 있다. 그러므로 현재 개념의 버추얼 휴먼 용어를 많은 사람에게 올바르게 인식시키기 위해서 버추얼 휴먼 정의를 명확히 하고 버추얼 휴먼 연구와 다른 유의어 연구의 차이를 분명히 할 수 있는 연구가 필요하다.

현재 버추얼 휴먼이라는 용어는 패션, 스포츠, 엔터테인먼트, 광고, 교육 등 다양한 분야에서 사용하고 있으며, 광고 모델(Model), 인플루언서(Influencer), 유튜버(Youtuber) 활동을 시작으로 쇼호스트(Show host), 아이돌(Idol), 앰배서더(Ambassador)까지 그 영역을 점차 넓혀가고 있다(Han, 2022; Hwang & Lee, 2021). 따라서 최근 다시 부상하고 있는 버추얼 휴먼의 명확한 개념을 파악하기 위해서는 각 분야에 적용된 역할, 활동, 개념 그리고 발전 과정을 살펴볼 필요가 있다. 버추얼 휴먼의 개념이 혼동되면 디지털 휴먼과 통용되거나 사용자와 기업에 혼동을 주고, 버추얼 휴먼에 관한 연구 분류도 어렵게 한다. 따라서 이 연구는 현재 버추얼 휴먼 용어의 존재를 고찰하여 버추얼 휴먼을 마주하는 기업과 사용자의 이해도를 높일 수 있는 적합한 개념을 제안하는 데 목적이 있다.

선행 연구에서 버추얼 휴먼의 개념은 연구 방향에 따라 달랐으며, 개념을 면밀하게 연구한 문헌은 부족하다. 따라서 본 논문에서는 버추얼 휴먼 정의를 언급한 논문과 보고서, 전문가 인터뷰 기사 등을 통해 개략적인 개념을 추정하고, 용어의 개념을 명확히 하는 목적으로 전문가를 대상으로 인터뷰 방법론을 적용했다. 인터뷰는 1차와 2차로 나누어 진행했는데, 1차에서는 전문가의 답변과 문헌을 종합하면서 발생하는 오류를 확인하고, 2차에서는 1차 인터뷰를 보완하는 목적으로 용어의 연관성을 파악했다. 인터뷰 참여자는 높은 인지도의 버추얼 휴먼을 운영하는 전문가를 대상으로 선정했다. 인터뷰는 50~60분간 대면 면접을 위주로 진행했으나, 해외 거주 혹은 추가 인터뷰가 필요한 경우 온라인 화상과 이메일 면접으로 진행했다. 1차 인터뷰는 4명의 기업 경영자와 4명의 기획자 및 개발자, 그리고 2명의 사용자를 대상으로 인터뷰했고, 2차 인터뷰는 버추얼 휴먼 관련 기업의 경영자, 개발자, 기획자, 감독 그리고 사용자 총 6명의 전문가를 대상으로 진행했다.

먼저 테스터로서의 버추얼 휴먼이라는 용어는 의료, 법 집행, 군사 등 여러 분야에서 광범위하게 사용되고 있으며, 교육, 훈련, 치료와 같은 사회적 기술을 훈련하기 위한 상호작용 용도로 사용되었다(Skarbez et al., 2018; Gratch et al., 2002). 테스터는 훈련생이 가상의 훈련 환경에서 피드백을 통해 광범위하고 반복적인 훈련을 한다는 이점이 있다(Lee, M. H., 2018; Gratch et al., 2004). 이처럼 버추얼 휴먼 제작 기술이 발달하기 이전에는 테스터와 같은 실제를 대신할 수 있는 컴퓨터 모델을 뜻하는 용어로 ‘버추얼 휴먼’을 사용했으나(Badler, 1997), 기술이 발전한 현재는 용어의 혼용을 중단하기 위해 교육과 훈련, 치료의 목적인 디지털 데이터는 테스터로 지칭해야 한다.

테스터가 아닌 버추얼 휴먼의 첫 등장은 1996년 일본에서 개발된 버추얼 아이돌 ‘쿄코(Kyoko)’이다. 얼마 지나지 않아 1998년에 한국의 사이버 가수 ‘아담(Adam)’이 등장하여 인기를 얻었다. 그렇다면 쿄코는 ‘버추얼 아이돌’로 등장했는데 아담은 ‘사이버 가수’로 표기된 이유는 무엇일까? 이를 파악하기 위해 문헌을 조사한 결과, 초창기 버추얼 휴먼 아담을 사이버 가수라고 표기하는 문헌에서 버추얼 휴먼 용어의 접두사 ‘버추얼’이 ‘사이버’로 교체됐다는 사실을 확인했다. 원인은 일본어가 한국어로 오역되면서 개념이 변질된 것으로 이해된다(Kim, J. N., 2009). 그렇다면 아담에게 사이버라는 접두사를 여전히 적용해도 되는지 확인해볼 필요가 있다. 사이버와 버추얼이라는 두 개념은 현재까지 혼재되고 있는데, 각 용어의 현재 의미의 근원을 살펴보면 1950년대에 버추얼은 물리적으로 존재하지 않지만, 소프트웨어에 의해 보이도록 하는 것이었으며, 사이버는 1980년대에 처음 사용된 접두사로, 인터넷 통신이 제어되는 무언가를 의미했다(Online Etymology Dictionary, n.d.). 따라서 선행 연구에서의 버추얼 휴먼 개념을 설명하는 용어로는 ‘버추얼’이 올바른 표현이고, 아담에게도 버추얼이라는 접두사를 사용하는 것이 맞다.

최근 버추얼 휴먼은 ‘버추얼’ 뒤에 직종을 붙인 버추얼 스트리머(Streamer), 버추얼 유튜버, 버추얼 인플루언서 등으로 확장하여 사용되고 있는 것을 매체와 선행 연구에서 확인했다(Kim, J. W., 2022). 이 중 버추얼 인플루언서는 문헌에서 버추얼 휴먼의 개념과 중첩되는 경우가 매우 빈번하다. 버추얼 인플루언서의 개념은 인간 인플루언서처럼 행동할 수 있고(Sands, 2022) 오프라인 세계에 존재하지 않는 비인간이며(Nisandzic, 2022), 컴퓨터로 생성된 모델이자(Wibawa, 2022) 물리적으로 존재하는 것을 의미하는 것처럼 보인다(Darner, 2019). 버추얼 인플루언서는 소셜미디어에서 서로 다른 개념으로 자신을 표현하여 팔로워에게 혼동을 전달하기 쉬운데, 버추얼 인플루언서 중 성공 가도를 달리는 ‘미켈라(Miquela)’는 스스로를 LA에 거주하는 19세 로봇이라고 소개하며(Lee, S. L., 2021) 자신을 정의했다. 이와 같은 혼재를 해결하기 위해서는 용어 개념에 집중한 문헌 연구를 진행하여 버추얼 휴먼이 어떤 용어로 혼용되었는지 오류를 확인하고, 혼용되는 용어의 사용 목적을 명확하게 분리해야 한다.

디지털 휴먼의 개념 또한 연구자별로 차이를 보이는데, 인간과 유사한 외형의 3D 모델이라는 점은 동일하다(Kim, S. J., 2022). 선행 연구의 디지털 휴먼 정의를 종합하면, 디지털 휴먼의 개념은 행동과 모습이 실제 인간과 구분하기 어려울 정도로 유사하게 구현된 0과 1의 이진코드로(Lee, E. A., 2015; Miao, 2022; Han, 2022; Nah et al., 2022), 디지털 휴먼은 활동 분야와 역할 및 사용처에 따라 명칭이 달라진다(Chung, 2022).

디지털 휴먼과 혼용되는 용어로는 디지털 더블(Digital Double), 디지털 트윈(Digital Twin)이 있는데, 디지털 트윈은 2010년 나사에서 처음 발표한 개념으로 현실 세계의 물리적 객체를 가상 세계에 동일하게 모사하고, 시뮬레이션으로 현실 세계에 반영하는 기술이며(Ko & Lee, 2022), 디지털 더블은 산업계의 디지털 트윈 기술의 파생어이다(Bang & Byun, 2022). 이 외에도 버추얼 휴먼, 메타 휴먼, 인공지능 존재 등으로도 알려져 있는데(Yu, 2022), 이는 디지털 휴먼의 핵심인 인간 형태의 디지털 데이터, 그 순수한 의미를 벗어나 용어를 혼용하는 것이다(Yuen, 2021). 버추얼 휴먼과 혼용되는 디지털 휴먼 역시 마찬가지로 다른 용어와 혼용이 발생한다는 사실은 버추얼 휴먼의 개념을 더욱 혼란스럽게 하는 원인으로 작용할 수 있다. 다음 장에서는 혼재가 끊임없이 발생하는 원인을 찾기 위해, 다이어그램 형식으로 정리된 선행 연구 자료를 분석하여 용어의 혼재 오류를 파악한다.

먼저 벤다이어그램 형식으로 디지털 휴먼의 개념을 정리한 톨로자(Toloza, 2022)는 최신 기술로 외모와 움직임 측면에서 사실적으로 생성된 3D 휴먼 모델이라 정의하고, 버추얼 휴먼과 디지털 더블, 그리고 딥페이크(Deepfake)의 간략한 개념과 함께 디지털 휴먼과의 연관성을 Figure 1과 같이 분류했다.

Figure 1 Diagram of the correlation between virtual humans, digital humans, digital doubles, and deepfakes (Toloza, 2022)

Figure 1에 의하면 버추얼 휴먼은 디지털 휴먼의 하위 개념으로, 디지털 휴먼 아래 버추얼 휴먼과 디지털 더블이 존재한다고 보며, 딥페이크는 연관이 없는 개념으로 정의했다. 디지털 더블의 경우 셀러브리티(Celebrity)의 복제품이라 설명하고 있으며, Figure 1의 설명과 다르게 연구자는 디지털 더블이 일반인인 경우도 많다고 덧붙였다.

다음으로, 계층형 다이어그램 형식으로 버추얼 휴먼의 정의를 유의어와 분류하여 정리한 자케(Jauquet, 2022)는 버추얼 휴먼을 인간과 유사한 삶을 사는 것으로 보고, 가상 환경에만 존재하는 고유한 개체라고 정의하며, ‘디지털 비잉’이라는 용어를 추가했다. 이와 같은 정의를 통해 디지털 비잉(Digital Being)의 하위 개념으로 디지털 휴먼과 버추얼 비잉(Virtual Being)을 분류하고, 버추얼 휴먼을 디지털 휴먼의 하위 개념으로 정리했다. 그리고 디지털 휴먼 분류 안에 또 다른 디지털 휴먼을 두어, 다른 인격, 딥페이크, 홀로그램(Hologram), 디지털 트윈으로 분류했다. 이 개념 분류를 보여주는 도표는 다음 Figure 2와 같다.

Figure 2 Diagram of the correlation between digital beings, digital humans, virtual humans, and virtual beings (Jauquet, 2022)

Figure 2에서는 인간 외형의 버추얼 휴먼을 다른 외형의 버추얼 비잉과 완전히 분리하여 정리하고 있다. 그러나 Figure 2의 버추얼 휴먼의 하위 개념인 버추얼 인플루언서와 어시스턴트(Assistant)로는 인간의 외형이 아닌 버추얼 비잉도 활동하고 있다. 따라서 어시스턴트와 인플루언서는 버추얼 비잉에도 위치할 수 있으며, 더 나아가 버추얼 휴먼 카테고리를 버추얼 비잉과 연관되게 수정해야 한다.

두 다이어그램은 버추얼 휴먼과 디지털 휴먼이 연관성이 있음을 보여주며, 버추얼 휴먼을 디지털 휴먼의 하위 개념으로 설명했다. 그리고 아바타와의 연관성은 두 다이어그램 모두 언급하고 있지 않으나, Figure 1의 경우 딥페이크 언급도 없었으며, Figure 2에서는 딥페이크를 아예 별개의 존재로 분리했다. 버추얼 휴먼과 아바타 그리고 딥페이크는 어떤 차이가 있기에 연구마다 다르게 분류하는지 명확한 구분 기준을 확인하기 위해 아바타와 딥페이크 버추얼 휴먼의 개념을 분석했다.

아바타는 온라인에서 자신의 표현, 사회적 타자 그리고 실용적인 도구의 역할을 할 수 있다(Nowak & Fox, 2018). 요약하면, 사람의 온라인 대체재 개념인데, 최근에는 버추얼 휴먼을 직업으로 사용하는 사람의 개념과도 혼용된다. 그러나 버추얼 휴먼을 사람의 대체재로 사용한다면, 버추얼 휴먼으로 분류할 필요 없이, 아바타라고 부르면 된다(Kim, H. G., 2022). 아바타의 특징은 사용자가 아바타를 자신의 대체재로 사용하면서 발생하는 사용자 본인에 관한 정보 전달이다(Ratan. 2019). 사용자의 정보 노출은 사용자 본인과 철저히 분리되어 개별적인 존재로 구분되는 버추얼 휴먼과의 가장 큰 차별점이다.

주요 유의어 개념을 종합하면, 아바타는 실제 사람의 대체재에 더 근접하고 버추얼 휴먼은 새로운 존재의 탄생, 그리고 디지털 휴먼은 순수 디지털 데이터로 분류할 수 있다. 따라서 디지털 데이터를 실제 사람의 대체재로 사용하면 아바타가 되는데, 버추얼 휴먼도 디지털 데이터 기반이므로, 온라인상에서 버추얼 휴먼의 디지털 데이터와 아바타의 디지털 데이터가 중복 이용이 되지 않도록 유의해야 한다.

딥페이크 버추얼 휴먼은 딥페이크 기술을 적용하여 얼굴에 한정된 가상성을 갖는다. 이전에는 컴퓨터 그래픽의 발전과 머신러닝(Machine Learing)에 기반한 할리우드급 특수 효과 기술이었으나(Nightingale & Farid, 2022), 신기술에 의해 접근성이 대중화되었다(Seymour et al., 2022). 딥페이크 버추얼 휴먼은 움직이는 실제 사람인 쉐도우 액터(Shadow Actor) 의존도가 높고, 실제 사람의 신체 일부를 송출하기 때문에 풀 3D 버추얼 휴먼보다 윤리적으로 적용하기 어려운 부분도 다수 발생한다. 그러나, 딥페이크 버추얼 휴먼의 법적 고찰을 다룬 선행 논문에서는, 딥페이크 기술로 새로운 존재를 창조하기에, 인권 침해와는 차이가 있다고 판단한다(Choi, 2011). 그러나 딥페이크 버추얼 휴먼의 특징인 얼굴에 한정된 가상성이 제약으로 작용하며, 버추얼 휴먼 개념과도 일치하지 않는다. 딥페이크 버추얼 휴먼이 가진 제약을 파악해보자면, IP(Internet Protocol)가 있어서 다른 사람에게 버추얼 휴먼의 움직임을 맡길 수 있는 3D 버추얼 휴먼과 달리 딥페이크 버추얼 휴먼은 쉐도우 액터로 인한 돌발 상황이 발생할 위험이 있다. 쉐도우 액터로 인한 돌발 상황이란 쉐도우 액터의 연락 두절, 사고, 개인 사정으로 인한 부재 등 버추얼 휴먼의 활동이 쉐도우 액터의 상황과 깊이 연관되어 있다는 뜻이다. 기업이 돌발 상황이 발생할 가능성이 있는 사람 대신 계약 중단 사례를 줄일 수 있다는 장점으로 버추얼 휴먼을 사용하는 경우, 딥페이크 버추얼 휴먼은 그 장점을 갖지 못한다. 이를 해결하기 위해서는 전신까지 새로운 딥페이크 데이터로 제작하여 가상성을 높이는 등, 쉐도우 액터의 상황에 따른 제약을 받지 않을 딥페이크의 기술 발전이 필요할 것으로 보인다.

인터뷰를 진행하기 이전에 문헌에서의 개념 혼재를 살펴보자면, 테스터 목적인 버추얼 휴먼의 경우, 테스터로 지칭하는 것이 버추얼 휴먼의 사용 목적과 용도 혼재를 해결하는 방안이 될 수 있고, 1990년대 외래어 번역 오류였던 사이버 휴먼을 기존 의미와 용어를 유지하는 버추얼 휴먼으로 지칭함으로써 접두사 사이버와의 혼재를 해결할 수 있다. 그리고 버추얼 인플루언서의 왕성한 활동을 버추얼 휴먼과 통용하는 것은, 버추얼 인플루언서의 외형을 사람으로 특정할 수 있고, 사람 외형의 버추일 인플루언서가 자신을 다른 개념을 정의하는 것은 용어의 통일성을 해칠 수 있으므로 버추얼 휴먼과의 혼용을 중단해야 혼재를 해결할 수 있다. 하지만 딥페이크 버추얼 휴먼은 기술적으로도 차이가 있고 신체 가상성이 부족하기에 이해관계자를 대상으로 인터뷰하여 해결 방안을 도출하고자 한다.

문헌 조사의 버추얼 휴먼 개념과 현업에서의 버추얼 휴먼 개념을 비교하고 종합하기 위해 1차 인터뷰를 2022년 9월부터 10월까지 진행했다. 인터뷰에 참여한 전문가는 총 10명으로 4명은 유명 버추얼 휴먼 기업 경영자, 4명은 버추얼 휴먼 개발자 및 기획자 그리고 2명은 버추얼 휴먼 사용자이다. 면접 대상자의 직종이 다양하여, 참여자 각자의 경험에서 나오는 넓은 영역의 버추얼 휴먼 개념 답변을 수집할 수 있었다. 1차 인터뷰에서는 버추얼 휴먼의 정의와 함께 디지털 휴먼과의 차이점, 그리고 딥페이크 버추얼 휴먼의 개념을 질문했다. 인터뷰 진행은 대면과 온라인 방식을 모두 사용했고, 면접 참가자 정보는 Table 2로 구성했으며 답변 결과는 아래와 같다.

1차 인터뷰와 문헌 연구의 개략적인 개념을 기반으로, 2023년 6월에 2차 전문가 인터뷰를 진행했다. 2차 인터뷰의 목적은 버추얼 휴먼과 유의어의 정의 차이를 명확하게 파악하기 위함으로, 용어의 연관성과 버추얼 휴먼의 가상성에 관한 답변을 수집했다. 인터뷰 참가자의 정보는 아래 Table 4와 같으며, 2차 전문가 인터뷰 대상자는 모두 다른 파트의 버추얼 휴먼 전문가 6명으로 구성했다.