Archives of Design Research

홈 환경의 이미지 처치물 40장과 연상법 훈련을 위한 2장 및 각 참여자가 직접 찍은 자신의 집 이미 지 3장이 이용되었으며, 이를 보며 홈 환경 내 음성 에이전트에 대해 발화를 하도록 하였다. 이미지 처치물은 우리나라 주거 환경 이미지를 중심으로 각종 포털을 통하여 이미지를 수집하였으며, 집안 구조를 나타내는 이미지(25장)와 집안에서 사람의 행위를 연상시키는 이미지로(15장) 구성하여 참여자가 다양하게 연상할 수 있도록 하였다. 또한, 이미지는 거실, 부엌, 침실, 드레스룸, 베란다, 다용도실, 현관, 욕실, 서재, 아이 방 등 총 10가지 공간에 따른 이미지로 구성하여, 더 다양한 발화를 할 수 있도록 하였다.

Figure 1 Examples of Residential Environment pictures used for experiments.

참여자는 댁내 방문이 불가능한 실험실군(11명)과 댁내 직접 방문하여 진행한 댁내 방문군(10명)으로 나누어 진행하였다. 두 집단 모두 동등하게 가상비서에 대한 발화 데이터 수집 실험과 인터뷰 진행으로 이루어졌다. 모든 참여자에게 댁내 활동을 돕고 관리하는 ‘가상 비서’에 대해 소개하였다. 가상 비서는 인공지능 기반 음성 에이전트 서비스를 제공하는 가장 일반적인 형태로, 이를 통해 참여자가 실험 목적을 이해하고 적응할 수 있도록 하였다. 또한 두 집단의 격차를 줄이기 위해 인터뷰 각 공간을 연상하여 발화를 할 수 있도록 실험실군의 이미지 처치물의 공간 진행 순서와 댁내 방문군의 집안 공간 순서 역시 동일하게 진행하였다.

실험실군의 경우 55인치 TV를 통해 이미지 처치물을 노출하였으며, 참여자의 평소 생활환경 및 습관과 연계하여 자유롭게 상상할 수 있도록 하였다. 실험 시작 전, 예시 이미지 2장을 보여 주며 가상 비서에게 발화하는 프로세스를 시범 설명하였다. 이후 사전에 요청했던 참여자의 집 사진을 연구자와 함께 보며 집안 내에서 겪는 사소한 불편함, 가상 비서가 있다면 시키고 싶은 일 등 참여자의 집에서의 행태에 대해서 인터뷰하였다. 이를 통해 홈 환경에 대한 몰입도를 고조시킨 후 실험을 시작하였다. 실험 시작 후, 참여자는 이미지 처치물을 직접 넘기며 각 이미지 당 충분한 연상과 발화 시간을 확보하였다.

한편, 댁내 방문군은 방문이 가능한 참여자에 한정하여 댁내에서 발화 수집 및 인터뷰를 진행하였다. 홈이라는 환경적 맥락의 몰입을 돕기 위함이었다. 특히 부부의 경우 관계의 특수성으로 시너지 효과가 날 것을 고려하여 함께 인터뷰를 진행하였다. 이미지 처치물을 제공하는 대신, 집안의 각 공간을 순서대로 둘러보며 사소한 불편함이나 가상 비서가 있다면 시키고 싶은 일 등에 대하여 발화할 수 있도록 하였다.

두 집단 모두 참여자에게 아이디어가 없을 때는 공간의 이동, 혹은 일상생활의 복기를 통해 사소한 불편함이나 필요한 것들을 떠올려낼 수 있도록 도움을 주었다. 또한 발화가 끝난 후, 발화 내용과 관련하여 사후 인터뷰를 진행하고, 스마트 스피커 또는 스마트폰의 음성 에이전트 사용 여부에 대해서도 파악하였다. 실험 시간은 참여자마다 달랐지만, 평균 45분 정도 소요되었고, 댁내 방문군은 평균 35분 정도 소요되었으며, 모든 실험과 인터뷰 내용은 참여자 동의하에 녹음되었다.

Figure 2 Experimental process picture of the experiment group

참여자들은 스마트 홈 환경에서 음성 에이전트가 편리함을 도모하기 위해 도움이 되어주길 바라는 것으로 나타났다. 이는 ‘집안 환경 유지를 위한 관리’, ‘집안 데이터 분석 및 관리’ 그리고 ‘정보검색 및 집안일 조언’ 영역에서 나타난 부분으로, 음성 에이전트가 전반적인 집안의 관리자 역할을 해주기를 기대하였다. 특히 냉장고 재료의 유통기한을 인지하여 알려주거나, 기한이 임박한 재료들을 효율적으로 소비할 방법을 제안해주길 바라는 니즈는 전 세대별로 분포해 있었다(P02, P08, P12, P15, P16).

“냉장고에 있는 재료들이 뭐뭐 있다, 이걸 가지고 찌개 반찬을 하면 될 거다, (이러한 방식으로) 내가 가진 재료들로 할 수 있는 걸 알려주면 좋겠어요.”- P16

가족 구성원과 함께 사는 경우, 집 안에 있는 물건들의 위치를 파악하고 필요할 때마다 찾을 수 있었으면 좋겠다는 니즈가 많았다. 주로 공용으로 쓰는 물건들의 위치를 찾기 힘들다고 하였으며, 40, 50대는 건망증으로 인해 도움이 필요하다는 의견이 있었다(P08, P11, P12, P15, P16, P17).

“강아지 목 끈이 어디에 있는지 알려줬으면 좋겠어요. 가족들이 강아지 산책을 데리고 나갈 때가 있는데, 산책하는 사람마다 목 끈을 다른 곳에 둬서요.”- P08

또한, 집안의 상황이나 행동 등을 관찰하여 데이터화한 후, 이를 바탕으로 음성 에이전트가 집안 관리에 대해 제안을 하거나, 과거 기록을 확인시켜주는 역할을 해주길 기대하였다. 좀 더 구체적으로는 오염도가 높은 곳을 먼저 청소할 수 있도록 조언하거나, 옷감별 세탁 방법, 쓰레기 분리수거 방법, 청소 주기, 집안일의 우선순위 등을 알려줘 효율적으로 집안 관리를 할 수 있기를 바랐다(P05, P11, P15).

한편, 반려동물이나 식물을 키우고 있는 사용자는 음성 에이전트가 반려 존재에 대한 기록과 상태들을 기록해 주고 가족 간에 내용을 공유해, 중복 행동을 하지 않기를 바랐다. 또한, 반려동물이 집에 혼자 있을 때 밥은 먹었는지, 어떠한 행동을 했는지 관찰하고 특이사항을 알려주었으면 좋겠다는 의견도 있었다(P02, P08, P16, P17). 눈여겨볼 만한 포인트는 새로운 가전을 구매했을 때, 종이 설명서 대신 필요할 때마다 물어보면 음성으로 답변을 하는 형태로 기능을 익혀갈 수 있다면 편리할 것 같다는 의견과 앱이나 컴퓨터를 활용한 정보 입력보다는 음성으로 사용자가 하나씩 읊어주면 이를 데이터화 하는 방식이 유용할 것 같다는 50대의 참여자 P13의 의견이 있었다.

“사실 나이 든 사람들이 제일 어려워하는 게 앱 사용하는 거, 컴퓨터 입력하는 거예요. 차라리 말로, (예를 들어) 냉장고 재고 조사를 한다면, ‘냉장고에 있는 거 알려줄게. 양파 두 개 있고, 뭐가 있고….’ 하면 알아듣고 하나씩 데이터를 쌓는 거죠.”- P13

참여자들은 스마트 홈 환경에서 음성 에이전트가 개인과 가족의 일상을 케어하고 삶의 질 향상에 도움 주기를 희망하였다. 이는 ‘맞춤형 추천 및 쇼핑’, ‘삶의 질 향상을 위한 케어’ 그리고 ‘타인과의 관계 증진’ 영역에서 두드러졌으며, 음성 에이전트의 도움으로 개인의 건강과 일상을 관리하고, 가족을 포함한 타인과의 관계를 원만하게 유지할 수 있기를 기대했다.

특히 20대는 나의 목표 관리를 위한 동기부여 역할을(P02), 40, 50대의 경우는 나의 건강 관리를 해주길 바랐다(P13). 또한, 자신뿐만 아니라 가족 구성원의 건강을 위해 건강상태 체크 및 리포트, 동기부여 등이 필요하다고 하였다(P05, P08, P15).

한편, 가족 형태와 상관없이 가족 구성원의 일정이 공유되길 바란다고 하였다. 외출 후 귀가했을 때 가족들이 부재할 경우 어디로 갔는지 궁금해 음성 에이전트가 알려주면 좋겠다는 의견과(P05, P07) 외출시에도 가족 구성원이 어디에 있는지 궁금하다고 하였다(P03, P08). 궁금한 이유로는 순수한 궁금증도 있었지만, 혼자의 삶에 익숙해진 남성은 본가를 방문했을 때 함께 생활하는 데 어색함을 느낀다고 하여, 집안 내 구성원들의 상황을 파악하여 집에 들어갈지 말지를 결정하고 싶다고 하였다. 이는 개인의 시간을 조금 더 편안하게 즐기기 위해 구성원이 없는 시간대를 확인하고 싶은 니즈로 판단된다.

“본가에 들어가기 전에 누가 있는지 알고 싶어요. 어머니, 아버지가 외출하시면 제가 본가에서 편하게 가서 마음대로 쉴 수 있어서요.” - P03

또한, 가족을 포함하여 대인관계에서도 안부를 물을 수 있도록 먼저 제안을 해주는 등의 도움을 주면 좋겠다는 응답도 있었다(P21).

“집에 들어오면 엄마한테 카톡 보내는 거 잊지 말라는 알람을 해줬으면 좋겠어요. 연락을 자주 안 한다고 혼나거든요.”- P21

미취학 자녀가 있는 참여자의 경우 자녀의 보육 기관의 정보 공유는 물론, 필요한 안내 내용을 적시에 알려주어 양질의 자녀 케어를 할 수 있도록 도와주길 바랐다(P11). 흥미로운 내용은 가족 간의 싸움에서 중재자가 되어주길 바란다는 내용이었다(P08, P17). 가족 간에 언성이 높아질 때 음성 에이전트가 개입하여 흥분을 가라앉힐 수 있도록 도와 가족 간의 싸움을 예방하고자 하는 니즈를 볼 수 있었다.

“언성이 높아졌을 때, 감정이 격해지기 전에 (가상 비서가) 미리 개입해서 차분하게 만들어주면 좋겠어요. 나는 그냥 얘기한다 생각하는데 상대는 압박으로 느낄 수 있으니까요. 아이가 움츠러들지도 모르거든요”- P17

사용자의 선발화로 시작하여 음성 에이전트가 동작하는 수동적 개입 형태는 ‘맞춤형 추천 및 쇼핑’ 영역에서 두드러지게 나타났다. 사용자 개인의 취향을 고려해 무언가를 추천받거나 쇼핑 리스트를 큐레이팅 받기를 원할 때, 사용자가 먼저 음성 에이전트를 호출해 원하는 바를 요청한 뒤 시스템이 동작하는 방식을 선호하였다. 또한, ‘효율적인 음식 재료 소비 방법’, ‘집안일 조언’ 등과 같이 궁금한 것이 생겼을 때 즉흥적으로 질문하고 답을 얻는 상황에서도 사용자의 선발화가 우선시된다. 특징적인 부분으로 집안 내에서 휴식을 취하고 싶을 때는 음성 에이전트가 사용자의 휴식을 방해하지 않았으면 좋겠다는 ‘휴식 보장’의 코어 니즈가 있었다. 이는 에이전트가 수동적 태도를 보일 때도 있어야 함을 의미한다.

두 번째로 음성 에이전트가 사용자에게 선 발화하는 적극적 개입의 형태는 ‘삶의 질 향상을 위한 케어’ 영역에서 주로 나타났다. 특히, ‘일정 관리’, ‘리마인더’와 같은 코어 니즈 등에서 사용자가 묻지 않아도 시간이나 특정 상황이 되면 먼저 알려주기를 원했으며, ‘운동 관리’, ‘건강 관리’ 니즈와 같은 부분에서도 음성 에이전트가 먼저 발화하여 관리해주는 것에 대하여 허용적인 태도를 보였다. 또한, ‘생활 정보 제공’ 니즈에서도 외출 전에 날씨나 미세 먼지 농도, 교통상황 등과 같은 정보를 에이전트가 먼저 알려 주어 우산이나 마스크를 챙기고 대비할 수 있기를 원했다.

마지막으로 ‘집안 환경 유지를 위한 관리’ 영역의 니즈들에서는 기존 스마트 홈 연구 속에서 자주 볼 수 있는 홈오토메이션 서비스의 제공 형태들과 연관이 있었다. 참여자들은 음성 에이전트와의 인터랙션 없이 시간, 날씨, 대기 환경 등의 요소를 기반으로 사용자의 상황에 따라 홈 오토메이션이 되기를 희망했다. 이는 ‘에너지 관리’나 ‘재고 관리’와 같은 니즈를 담고 있는 ‘집안의 데이터 분석 및 관리’ 영역에서도 음성 에이전트가 알아서 관리하며, 필요시에만 보고하는 수준의 개입을 원한다는 것으로 나타났다.

한편, 에이전트의 개입 형태가 유동적이길 바라는 니즈도 있었다. 외출 후 귀가시 ‘가족의 일정 공유’나 ‘반려 존재의 생장 리포트’와 같이 집안에서 일어나는 일들에 대한 정보 공유가 이에 해당한다. 예를 들어 가족 구성원의 갑작스러운 부재나, 반려 존재의 특이 상황 발생 등과 같이 집안 내에서 발생하는 정보의 중요도가 높아지면 사용자가 먼저 묻지 않아도 가족들이나 반려 존재의 상황을 먼저 보고하길 바랐다.

홈 오토메이션을 전제로 했을 때 스마트 가전 및 집안 내 시설 등을 제어하는 발화를 의미한다. “커튼 쳐줘”(P21)와 같이 단일 제어 발화 및 “조명 끄고 핸드폰 비행기 모드로 바꿔줘”(P01) 등 2개 이상의 기기 제어를 요청하는 발화를 포함하였다. 또한, 외부 환경 정보에 따른 기기 자동 제어와 관련된 발화도 해당한다.

사용자 정보가 포함되지 않고 인터넷 검색을 통해 데이터를 전달할 수 있는 서비스를 요청하는 발화를 의미한다. 날씨 등 외부 API를 통해 얻을 수 있는 정보 및 개인의 취향을 반영하지 않은 콘텐츠 재생을 포함한다. “최근에 제일 인기 많았던 사람들이 제일 많이 봤던 영화가 뭐야?”(P02) “이 와인 마실 때 적당한 온도가 뭐야?”(P05) 등이 있다.

사용자 개인의 정보를 감시하여 이를 분석, 추천, 제안하는 서비스를 요청하는 발화를 말한다. “오늘 내 일정 뭐지?”와 같이 개인의 정보를 확인하는 발화와 “엄마 어디 갔어?”(P08) 등 가족 구성원의 개인 정보에 대한 요청도 개인 정보 분석으로 분류하였다. 결제 정보 등이 필요한 쇼핑에 관련된 발화 역시 여기에 포함되었다.

집안 환경을 모니터링하고 기록된 데이터를 분석하며, 사용자가 요청하였을 때 응답하는 서비스를 말한다. “냉장고에 먹을 것 뭐 있어?”(P07) 와 같이 모니터링 결과를 요청하거나, “화분 물 줄 시기가 언제지?”(P16) “오늘 청소 어디부터 하면 돼?”(P11) 등 사용자의 지난 행위를 기록하고, 지속적 모니터링에 따라 시기, 우선순위 등의 제안을 바라는 발화가 포함된다.

수집된 403개의 발화 데이터를 살펴보면 집안 환경 모니터링 및 정보 분석의 발화가 136개로 33.5%를 차지하였고, 스마트사물(smart things) 연동 및 제어의 발화가 131개로 32.3%를 차지하였다. 에이전트(agent)를 통한 단순 검색 등 데이터 전달의 발화와 구성원의 개인 정보 및 히스토리 분석 발화는 각각 68개(16.7%), 71개(17.5%)씩 도출되었다. 발화 내용은 현재 제공하고 있는 기능이거나 제공 가능한 기능 위주의 명령어들이 대부분이었으며, 분류할 수 없는 발화는 6개로 분석에서 제외하였다.

추가 분석으로 공간과 서비스 성격 별 발화 비중을 분석해보았다. 각 공간은 거실, 주방, 침실, 욕실, 현관, 다용도실, 드레스룸, 베란다, 아기방, 취미 방으로 총 10개 공간으로 분류하였고, [Table 2]에는 상위 공간 4개와 나머지를 기타로 표기하였다.

특징적인 부분 첫 번째는 기타 공간의 비중이다. 집안 환경 모니터링 및 정보 분석 서비스와 에이전트를 통한 단순 검색 등 데이터의 전달 서비스는 기타 공간에서의 발화 비중이 30%를 넘는다. 이는 정보를 분석하는 성격의 서비스는 더욱 다양한 공간에서 필요로 한다는 점과 집안 모니터링 및 이에 대한 분석이 집안 전체 공간에 대한 니즈가 있음을 시사한다. 두 번째로, 욕실에서의 발화이다. 스마트사물 연동 및 제어 서비스에서 욕실에 대한 발화가 10% 내외의 비중을 차지한 것을 볼 수 있다. 이는 기존에 형성된 거실, 주방, 침실에서의 서비스에 이어 욕실이라는 공간에서 제공할 수 있는 서비스에 대해 고민이 필요함을 시사한다.