화면녹화 데이터를 활용한 자동화 UX 행동 분석 절차: OTT 콘텐츠 탐색 사례 적용

1. 1. 연구 배경

디지털 환경의 고도화로 사용자의 정보 탐색 과정은 다중 경로와 복잡한 의사결정을 포함하는 비선형적 흐름으로 전개되고 있다. 이에 따라 UX 리서치, HCI, 서비스 디자인 분야에서는 사용자의 실제 경험을 정밀하게 기록하고 해석할 수 있는 분석 방법론의 중요성이 점차 부각되고 있다.

이러한 맥락에서 화면녹화(screen recording)는 탐색 경로, 인터페이스 이동, 콘텐츠 선택 과정을 시간순으로 관찰할 수 있어, 선택의 근거와 반복적 행위, 플랫폼 전환 전략 등 복합적 맥락을 파악하는 데 유용하다. 특히 서버 로그 수집이 어려운 상황에서도 녹화본을 기반으로 후처리 방식의 행동 로그를 구축할 수 있고, 시계열 데이터로 구성되어 행동 간 전환 구조를 시각적으로 이해하기에도 적합하다. 그럼에도 불구하고 화면녹화는 오랫동안 정성 분석의 보조 자료 수준에 머물렀으며, 이를 구조화된 절차로 발전시킨 연구는 드물다.(Kozinets, 2018). 대부분의 연구는 특정 장면을 수작업으로 발췌하거나 전체 영상을 직접 시청하며 분석을 수행했으며, 이로 인해 직관적 해석에 대한 의존이 높고 반복적 작업으로 인한 인지적 피로와 분석 일관성 저하 문제가 발생하였다. (Liscio & Brown, 2025; Belk et al., 2017). 이러한 한계는 화면 기반 인터랙션이 핵심인 맥락, 특히 방대한 콘텐츠를 다루는 OTT 서비스에서 더욱 두드러진다. OTT 플랫폼은 반복 탐색과 다중 전환이 빈번하게 일어나며, 사용자의 행위는 단순한 클릭이나 터치에 그치지 않는다. 그럼에도 불구하고 기존 연구는 여전히 체계적이고 정량적인 분석으로 발전하지 못하고 있다. 최근에는 이러한 문제를 보완하기 위해 컴퓨터 비전 및 머신러닝 기반의 자동 분석 시도가 등장하였다. 예를 들어 Batch et al.,(2021)은 사용자 테스트 영상을 자동 분석하는 AI 시스템을 제안하였고, Lee et al.,(2022)은 모바일 로그와 화면녹화를 동기화해 사용자 행동을 정량화하는 기법을 개발하였다. 그러나 이들 연구는 고도화된 기술 인프라를 전제로 하기 때문에, 일반적인 UX 리서치 환경에서는 적용이 어렵다는 한계를 지닌다.

1. 2. 연구 목적

본 연구는 당초 OTT 플랫폼에서의 탐색 경험을 사용자 경험 디자인 관점에서 분석하고, 이를 UI 디자인 개선으로 연결하기 위한 실천적 목적에서 출발하였다. 이를 위해 화면녹화 데이터를 분석하여 OTT 콘텐츠 탐색 과정을 수집하고, 사용자의 행동 패턴과 의사결정 양상을 유형화하고자 하였다.

그러나 분석 과정에서 단순한 패턴 유형화를 넘어, 탐색 시간에 기초한 행동 지표를 도출하고 이를 시각화함으로써 사용자 행위를 다층적으로 분석할 수 있는 가능성에 주목하게 되었다. 이에 따라 Python을 활용하여 정량적·구조적 분석과 자동화 절차를 시도하였다.

이러한 과정을 거쳐 연구의 목적은 초기의 UI 개선에서 나아가, 화면분석 절차 자체를 방법론적으로 탐색하고 제안하는 것으로 확장되었다. 궁극적으로 본 연구는 화면녹화 데이터를 복잡한 탐색 흐름에서 분석 가능한 구조로 변환하고, 사용자 인터뷰 발화를 결합함으로써 정성·정량 융합 분석 절차를 제시하고자 한다. 이를 통해 UX 리서치에 적용 가능한 새로운 방법론적 가능성을 모색하고자 한다.

2. 1. UX 리서치에서의 화면녹화 기법 활용

화면녹화(screen recording)는 사용자의 실제 상호작용 과정을 시간순으로 기록할 수 있어, UX 리서치 전반에서 유용한 관찰 수단으로 활용되어 왔다. 특히 복잡한 전환 구조나 탐색 전략과 같이 정적 데이터만으로는 파악하기 어려운 맥락을 포착할 수 있다는 점에서 강점을 가진다. 기존 연구에서는 사용성 평가, 디지털 에스노그라피, 비디오 기반 관찰 등 다양한 리서치 상황에서 화면녹화를 보조 도구로 활용해 왔다. 예를 들어 최보아(2021)는 자전거 공유 서비스 앱의 사용성 평가를 위해 화면 녹화를 활용하여 회원가입, 자전거 대여·반납, 경로 확인 등 과업 수행의 전 과정을 기록하였다. 이후 사용자 행동을 추출해 사용성 평가에 맵핑하고, 이를 토대로 앱의 UI 개선 방안을 제안하였다. 더불어 디지털 에스노그라피 적용 사례로, Aranyi et al.,(2012)는 실험실 환경에서 화면녹화와 사고구술(think-aloud)을 병행하여 뉴스 탐색 과정을 기록하였다. 녹화된 발화와 화면 인터랙션을 의미 단위(unit of thought)로 전사하고 코딩하여 범주화한 뒤, 이를 설문조사 결과와 함께 종합 분석하여 뉴스 탐색 시 사용자 경험의 주요 측면 5가지를 도출하였다. 또한 물리적 환경과 디지털 인터페이스 간의 관계를 다루는 비디오 에스노그라피 분야에서도, 행동 데이터를 포착하고 시각화하는 보조 수단으로 화면녹화를 활용하였다. 이와 관련하여 송혜원(2020)은 사용자 유형별 탐색 흐름을 분석하고 이를 바탕으로 인터페이스 개선 방향을 제시하였다. 더불어 사용자의 주관적 경험을 시간 기반 데이터와 결합하려는 시도에서는 다이어리 스터디와 화면녹화가 병행되었다.

Hu et al.,(2024)의 연구는 타임랩스 촬영으로 자기성찰 데이터를 정량화하고 이를 토대로 시간관리 인터페이스를 설계한 사례이다. 마지막으로, 인지적 시찰법(Cognitive Walkthrough)과 같은 시나리오 기반 분석에서도 활용사례를 볼 수 있다. 예측된 사용자 흐름과 실제 조작 간의 차이를 비교 평가하고, 오류 발생 지점을 파악하는데 화면녹화 기법을 활용하였다.(이진영 외, 2015). [Table 1]은 주요 UX 리서치 기법별로 화면녹화의 사용처와 분석 방법을 정리한 내용이다.

Table 1

Use of Screen Recording Techniques in UX Research

이처럼 다양한 사례들은 화면녹화 기법이 사용성 평가, 디지털 및 비디오 에스노그라피, 행동 기반 인터페이스 분석 등 UX 리서치의 다양한 문맥에서 유연하게 적용될 수 있음을 보여준다. 특히 화면상의 상호작용을 시간순으로 기록할 수 있다는 특성은 비선형적 탐색 흐름이나 복잡한 전환 구조를 분석하는 데 효과적인 도구가 될 수 있음을 시사한다. 그러나 선행연구의 대부분은 여전히 정성 분석 중심이며, 수작업 기반의 영상 검토 방식에서 벗어나지 못하고 있다. 이로 인해 분석의 일관성과 효율성 측면에서 개선 여지가 남아 있으며, 이러한 한계는 이후 제안하는 자동화 기반 분석 절차의 필요성과 연결된다.

2. 2. 사용자 행동 분석의 자동화 시도와 상용 분석도구의 활용

앞서 언급한 한계를 보완하기 위해, 일부 연구에서는 화면녹화 데이터를 자동으로 처리하고 분석하려는 다양한 기술적 시도가 이루어지고 있다. 대표적으로 Batch et al.,(2021)은 사용자 테스트(UT) 과정에서 수집된 비디오와 오디오 데이터를 기반으로, 컴퓨터 비전 및 머신러닝 기술을 결합한 자동 분석 시스템을 제안하였다. Google Speech-to-Text를 활용한 음성 전사, Face classification을 통한 감정 추정, VideoPose3D 기반의 자세 분석, Kinetics-I3D를 이용한 동작 분류 등 다양한 필터 모듈을 통합하여 사용자 행동을 자동 분석하고 시각화하였다.

이 연구는 멀티모달 데이터 기반의 사용자 행동 분석 가능성을 실험적으로 제시하며, 기술적 분석 방법의 확장 방향을 보여주었다. 또한 Lee et al.,(2022)은 Android 환경에서 로그 데이터와 화면녹화 영상을 자동으로 동기화하는 분석 기법을 개발하였다. 밀리초 단위의 입력 이벤트를 정렬하고, 로그·영상 간의 탐색 흐름을 시각화함으로써 UX 분석자가 사용자 행동의 시계열 구조를 보다 정밀하게 이해할 수 있도록 지원하였다. 이 연구는 시계열 정렬 기반 UX 분석의 정량화 가능성을 보여주며, 실제 리서치 환경에서 자동화 분석의 적용 가능성을 확장하였다. 이처럼 기존 연구들은 사용자 행동의 자동화 분석 가능성을 기술적으로 입증하였으나, 대부분 시스템 개발이나 기능 구현 중심으로 수행되어 일반적인 UX 리서치 환경에 직접 적용하기에는 한계가 있었다.

Table 2

Attempts at Automating User Behavior Analysis

이외에도 Beusable, Hotjar와 같은 상용 분석 도구는 화면 녹화 데이터를 기반으로 클릭, 스크롤, 체류 시간 등의 지표를 시각화해 사용자 행동을 분석한다. 그러나 이러한 도구는 주로 사용성 평가나 마케팅 분석 등 실무 중심 환경에 적합하며, 리서치 초기 단계에서 필요한 탐색적 맥락 분석이나 정성적 해석을 지원하기 어렵다. 또한 데이터 해석 절차가 구체적으로 제시되지 않아, 연구 목적에 맞게 구조화하려는 사용자에게는 추가적인 해석이 요구된다. 본 연구는 이러한 기술적 시도와 도구적 접근의 흐름을 토대로, 실무 환경에서 적용 가능한 절차 중심의 UX 분석 접근을 탐색하고자 한다.

3. 1. 실험 절차

본 연구는 OTT 플랫폼에서 사용자의 콘텐츠 탐색 과정을 분석하기 위해, 화면녹화 기반 사용자 행동 데이터를 자동으로 구조화하고 시각화하는 분석 절차를 설계하였다. 연구의 전체 흐름은 [Figure 1]과 같다. 인터뷰진행 과정(Phase 1~3)은 3.2절에, Python을 활용한 데이터 전처리 과정(Phase 4)은 3.3절에, 데이터 시각화(Phase 5)는 4장에 상술하였다. Phase 4~5단계는 Python과 LLM을 활용해 자동화하였다.

Figure 1

Experimental and Analytical Procedure

3. 2. 참가자 선정 및 실험 설계

사용자의 탐색 흐름을 구조적으로 파악하고, 판단 기준과 선호 요소 등 내재된 의사결정 요인을 심층적으로 탐색하기 위해 맥락적 질문법(Contextual Inquiry) 기반의 실험 설계를 적용하였다. 실험 참여자는 OTT 콘텐츠를 주 2회 이상 시청하는 사용자 9명(P1-P9)으로 구성하였다. [Table3]

Table 3

Participants’ OTT Viewing Information

탐색 과정에서는 사고구술(think-aloud) 방식을 적용하여 참여자가 탐색 중 의사결정의 근거를 실시간으로 발화하도록 하였으며, 탐색 종료 직후에는 사후 인터뷰(post-interview)를 통해 각 행동의 의미와 배경을 추가로 수집하였다.

Figure 2

Experimental Environment and Recorded Screen

사전 조사 단계에서는 참여자별 선호 장르(영화·드라마·예능 중 2개)를 조사하고, ‘새로운 콘텐츠를 찾는 상황’이라는 공통 과업을 부여하였다. 탐색 대상 플랫폼은 OTT(넷플릭스, 티빙, 웨이브, 쿠팡플레이)와 기타 플랫폼(유튜브, 검색 포털 예: 네이버)으로 구분하였다. 실험은 MacBook M4 기기와 크롬 브라우저 환경에서 진행하였으며, 화면과 음성을 동시에 녹화하였다. 음성은 네이버 클로바 음성 인식기와 기기 내장 마이크를 병행하여 수집하였다. 실험 시간은 30분으로 제한하였는데, 이는 참여자의 집중도를 유지하고 불필요한 반복 탐색으로 인한 데이터 과잉을 방지하기 위함이었다. 모든 참여자는 장르별 1회씩 총 2회의 탐색을 수행하였다.

이후 장르별 탐색 결과를 비교한 결과, 탐색 경로·정보 활용 방식·선택 기준이 유사하거나 반복되는 경우가 확인되었다. 이러한 경우에는 대표성이 높은 1개의 로그만을 분석 대상으로 남겼으며, 반대로 장르 간 탐색 패턴이 명확히 구분되는 참여자(P2, P5)는 두 장르의 로그를 모두 분석에 포함하였다. 이와 같은 선별 과정을 통해 총 9명의 참여자로부터 11개의 탐색 로그(log 1-11)가 확보되었다. 본 연구는 개별 참여자의 특성보다 탐색 과정에서 드러난 행동의 흐름과 전략적 차이의 구조적 특성에 초점을 맞추었기 때문에, 분석 단위를 개인이 아닌 로그(log)로 설정하였다. 최종적으로 11개의 로그에서 약 5시간 57분의 발화 데이터와 약 2시간 21분 분량의 영상 데이터(2,436개의 프레임)가 수집되었다.

3. 3. 행동기준 정의 및 로그 추출

수집된 데이터를 1차적으로 검토한 결과, 수기 분석 방식은 과도한 시간과 인적 자원을 요구하며 분석의 일관성을 유지하기 어렵다는 한계가 드러났다. 실제로 5분 분량의 영상을 1초 단위로 반복 재생하며 발화 내용을 함께 검토하는 데 약 30분이 소요되었다. 이는 영상 재생 시간 대비 약 6배의 분석 시간이 소요된 것으로, 전체 영상을 수기 분석할 경우 최소 12시간 이상이 필요할 것으로 예측되었다. 이와 같은 문제는 기존 연구에서도 꾸준히 지적되어 왔다. Bao와 Wang(2017)은 맥락 정보가 제공되지 않은 상태에서 화면 내 행동을 수기 방식으로 분석할 경우, 원본 영상 대비 약 3~4배의 시간이 소요되며 연구자 간 결과 편차가 발생하는 경향이 있다고 보고하였다. [Table 4]

Table 4

Manual Analyses in Prior and Present Studies

이와 같은 비효율성과 주관적 차이를 최소화하기 위해 본 연구에서는 Python 기반 자동화 분석 절차를 도입하였다. 자동화 분석을 적용하기에 앞서, 우선적으로 사용자 행동을 정의하고 구조화하기 위한 행동 기준(behavioral criteria)을 설정하였다. 이를 위해 샘플 영상 4개의 초기 약 10분 구간을 무작위로 선정하여 연구자가 직접 시청하면서 행동을 식별·분류하였다. 이후 동일 구간의 화면녹화 데이터를 LLM(ChatGPT)에 입력해, 장면 전환, 화면 변화, 사용자 발화를 종합적으로 고려한 행동 기준을 [Table 5]와 같이 도출하였다. 연구자와 LLM이 각각 산출한 기준을 비교하여 일치하는 항목은 그대로 반영하고, 상이한 항목은 장면을 재검토하여 조정하였다.

Table 5

Example of Behavior Classification Validation (LLM-Researcher)

최종적으로는 사용자 발화와 시각적 맥락을 종합적으로 고려하여, 연구자의 해석을 바탕으로 최종 행동 기준을 확정하였다.

이와 같은 과정을 통해 여섯 가지 행동기준 ‘훑어보기’, ‘관심갖기’, ‘검색’, ‘시청’, ‘플랫폼 전환’, ‘상세정보 열람’을 확정하였으며, 각 항목의 세부 정의는 [Table 6]에 제시하였다.

Table 6

Definition of Behavioral Criteria

다음으로, 행동 로그 추출을 위한 자동화 분석 절차를 [Figure 3]에 도식화하였다.

Figure 3

Python‑Based Automated Analysis Process

첫 번째 단계는 프레임 단위의 영상 분할이다. 전체 세션 영상을 5초 단위로 분할해 시계열 데이터 분석의 기반을 마련하였다. 두 번째 단계는 프레임별 시각 요소 및 텍스트 정보 식별이다. OpenCV를 이용해 화면 내 콘텐츠와 커서 이동을 분석하고, OCR(Optical Character Recognition)을 활용하여 메뉴명과 콘텐츠 제목 등 텍스트 정보를 추출하였다. 초기에는 OCR 방식만 적용했으나, 분석 정밀도를 높이기 위해 LLM을 활용해 ROI(Region of Interest) 기반 텍스트 인식 코드를 개선하고 이를 분석 파이프라인에 통합하였다. [Figure 4] 이를 통해 OTT 플랫폼별 상단 메뉴 구조와 UI 요소를 안정적으로 식별할 수 있었다. [Table 7]

Figure 4

LLM‑Assisted ROI Analysis in Python

Table 7

Automated Platform Identification and Coding

세 번째 단계는 행동 기준 적용 및 로그 추출이다. 앞서 식별한 시각·텍스트 정보를 행동 기준에 매칭해 5초 단위의 시계열 로그로 구조화하였다. 최종 로그는 시간 정보(time table), 플랫폼(platform), 행동(action)의 세 항목으로 구성하였으며, 엑셀(.xlsx) 형식으로 정리하였다. 이후 원본 영상과 대조하여 정확도를 점검한 결과, 약 990개의 로그 중 98개에서 오류가 발견되어(오류율 9.9%) 연구자가 수기로 보정하였다. 이러한 자동화 기반 로그 추출 프로세스는 분석자의 주관적 해석을 최소화하고, 반복 가능한 UX 행동 분석의 기반을 제공한다.

4. 1. 행동시퀀스맵

사용자 행동 로그를 추출한 뒤, 탐색 흐름의 구조를 정밀하게 파악하기 위해 [Figure 5]와 같은 시각화 과정을 수행하였다. 단순 수치만으로는 드러나지 않는 반복 구간, 플랫폼 전환, 인터랙션 밀도 등을 시간 순서에 따라 시각화함으로써, 사용자의 탐색 흐름을 절차적이고 구조적으로 해석할 수 있었다.

Figure 5

Behavioral Sequence Map

분석 단위는 대부분의 행동이 일정 시간 이상 지속된다는 점을 반영해 5초로 설정하고, 시각화 단계에서는 표현 안정성을 고려해 10초 단위로 재분절하였다. 동일 시간 구간 내에서 복수의 행동이 발생한 경우 병렬로 배치하고, 플랫폼별로 배경색을 구분해 개별 행동을 사각형 박스로 표시하였다. 이를 통해 행동의 체류 시간과 플랫폼 전환 양상을 직관적으로 식별할 수 있었다. 또한 사고구술(think-aloud)과 사후 인터뷰에서 도출된 의미 단위를 기반으로 탐색 동기, 판단 기준, 콘텐츠 선호 등 맥락 정보를 병합하여 행동 시퀀스맵에 시각적으로 연결하였다. 이를 통해 시각적 흐름과 인지적 맥락을 통합적으로 해석할 수 있는 기반을 마련하였다. 분석 결과, 탐색 행동의 구조적 특성은 세 가지로 요약할 수 있다. 첫째, 대부분의 사용자가 탐색 초기에 ‘훑어보기’와 ‘관심갖기’ 행동을 반복한 점이다. [Table 8]

Table 8

Initial Behavioral Routine per Log(Approx. 1 Minute)

이는 콘텐츠 선택 기준이 정립되기 전 나타나는 초기 탐색 루틴으로, 빠른 스크롤과 시각적 검토가 반복되는 형태였다. 이러한 패턴은 거의 모든 참여자에게서 공통적으로 관찰되었으며, 무의식적 탐색 반응으로 해석할 수 있다.

둘째, log8과 log9는 탐색 전략이 뚜렷하게 구분되는 사례로 관찰되었다. log8은 유튜브에서 예고편과 리뷰 영상을 반복 시청하며 총 132회의 ‘시청’ 행동을 기록하였고, log9는 네이버에서 뉴스·블로그 등 텍스트 중심의 정보를 탐색하며 117회의 ‘관심갖기’ 행동을 수행하였다. [Figure 6]

Figure 6

Behavioral Exploration Comparison: Log8 and Log9

표면적으로는 상이한 행동 구조를 보였으나, 인터뷰를 통해 얻은 맥락 정보를 병합한 결과 두 로그 모두 콘텐츠 선택 이전에 세부 정보를 확보하려는 동일한 목적을 갖고 있음을 확인하였다. [Figure 7, Figure 8] 이는 단순 로그만으로는 드러나지 않는 사용자의 인지적 판단 과정을 보여준다.

Figure 7

Example of Contextual Information for Log8

Figure 8

Example of Contextual Information for Log9

셋째, 플랫폼 활용 전략에 따라 탐색 구조가 달라지는 양상이 나타났다. log1, log6, log7, log10은 단일 플랫폼에 평균 7분 이상 체류하며 ‘훑어보기’ 행동을 평균 23회 이상 반복하였다. [Figure 9]

Figure 9

Single-Platform Exploration (Log1, Log6, Log7, Log10)

이들은 전환 없이 탐색을 마무리하는 폐쇄적 탐색 구조를 보였고, 시청이나 상세정보 열람 없이 탐색이 종료되는 경우가 많았다.

반면 log2, log4, log11은 평균 6회 이상의 플랫폼 전환을 수행하며, ‘상세정보 열람’ 행동이 총 34회로 집중적으로 나타났다. [Figure 10]

Figure 10

Multi-Platform Exploration (Log2, Log4, Log11)

이들은 정보를 비교·축적하며 점진적으로 선택을 구체화하는 개방적 탐색 구조를 보였다.

이와 같은 결과는 사용자의 탐색 행동이 단순한 클릭의 누적이 아니라, 정보 처리 전략과 선택 과정이 반영된 구조적 흐름임을 보여준다. 또한 행동 시퀀스맵에 맥락 정보를 결합함으로써, 사용자의 판단 기준·매체 선호·정보 처리 방식을 함께 해석할 수 있었다. 이를 통해 본 연구의 접근법은 사용자의 행동 데이터를 시각적으로 구조화함으로써 인지적 탐색 과정을 정량적으로 해석할 수 있는 분석 방법으로 작동함을 확인하였다.

4. 2. 유사도 기반 그룹 분석 및 시각화

앞선 4.1절에서 절차화된 분석을 통해 개별 로그의 탐색 패턴과 맥락 정보를 결합한 행동 시퀀스맵을 도출하였다.

이를 기반으로 본 절에서는 추가 분석을 수행하여, 서로 다른 로그 간 탐색 구조의 유사성과 시간적 일치 관계를 정량적으로 비교함으로써, 어떤 로그와 탐색 행동이 구조적으로 의미 있는 패턴을 형성하는지에 대한 판단 기준을 마련하였다. 즉, 개별 사용자의 탐색 흐름을 확장하여 사용자 간 탐색 구조가 어떻게 반복되거나 달라지는지를 데이터 기반으로 해석하고자 하였다. 이를 위해 행동 유사도와 동기화 구간을 핵심 지표로 설정하였다. 두 지표는 단순한 행동 빈도 비교를 넘어, 탐색 과정의 구조적 유사성과 시간적 대응 관계를 함께 파악할 수 있도록 한다.

유사도는 탐색 행동의 구성 패턴을, 동기화는 탐색의 시간 흐름에서 동일한 행동이 어떤 시점에 겹치거나 반복되는지를 보여주는 지표로 작동한다. 분석 절차는 다음과 같다. Python의 scikit-learn 라이브러리를 활용해 각 로그의 ‘플랫폼-행동 조합’을 TF-IDF 방식으로 벡터화하고, 코사인 유사도를 계산하여 탐색 구조의 유사 정도를 도출하였다. 또한 pandas 기반의 Index Mapping 방식을 적용해 탐색 타임라인을 정렬하고, 동일 시점에 동일 행동이 발생한 횟수를 동기화 구간으로 산출하였다.

이 과정을 통해 각 로그 쌍의 구조적 유사성과 시간적 일치 수준을 비교하였다. 분석 결과는 [Figure 11]에 제시하였다.

Figure 11

Similarity Between Logs and Distribution of Synchronized Segments

총 11개의 로그를 대상으로 55개의 로그쌍을 분석하였으며, 로그 간 관계는 유사도(좌하단 삼각형)와 동기화 개수(우상단 삼각형)로 시각화하였다. 두 지표는 대체로 유사한 분포 경향을 보였지만, 0에 가까운 값이 다수 분포하여 완전한 대칭 구조는 나타나지 않았다.

이에 개별 로그 간의 직접 비교를 넘어, 탐색 구조 전반의 분포와 흐름을 조망하기 위해 유사도를 x축, 동기화 개수를 y축으로 한 산포도를 작성하였다. [Figure 12]

Figure 12

Distribution of Log Pairs by Similarity–Synchronization Analysis

산포도는 좌하단에서 우상단으로 완만히 이어지는 상승 추세를 보였다. 특히 유사도 0.60~0.65 구간과 동기화 개수 19~20 구간 사이에서 뚜렷한 공백이 드러나, 이를 기준으로 탐색 전략의 네 가지 분포 영역을 구분할 수 있었다.

그중 유사도와 동기화가 모두 높은 1사분면 영역(log6-log7, log1-log10, log4-log5, log1-log11)은 행동의 구성 패턴이 유사하고, 탐색 전개 또한 비슷한 시간 순서로 이루어진 사례로 전체의 약 7.3%를 차지하였다. 이 로그쌍들은 공통적으로 선호 장르에 대한 인식이 명확하며, 탐색한 플랫폼 수가 2개 이하로 제한되는 경향을 보였다.

또한 검색이나 시청보다 스크롤 중심의 ‘훑어보기’와 ‘관심갖기’ 행동이 반복적으로 수행되었으며, 그중에서도 log6-log7은 이러한 경향이 가장 두드러진 사례로, 동일 플랫폼 내에서 두 행동이 병렬적으로 반복되어 유사도 0.967, 동기화 24회로 가장 높은 값을 기록하였다. [Table 9] 이러한 탐색 경향은 실제 발화에서도 확인되었는데, “저는 예능은 무조건 쿠팡에서만 봐요”(P6, P7)와 같이 플랫폼별 선호가 뚜렷하게 드러났다. 또한 [Figure 13]의 동기화 구간에서 관찰된 ‘훑어보기’ 탐색 행태는 “저는 홈화면을 계속 스크롤하면서 오늘 뭘 볼지 고민해요”(P6, P7)와 같이 언급하였다.

Table 9

Similarity Value between Log6 and Log7

Figure 13

Visualization of Synchronization Segments between Log6 and Log7

유사도와 동기화 개수가 모두 낮은 3사분면은 47개 쌍(약 85.5%)으로, 전체에서 가장 큰 비중을 차지하였다. 해당 영역은 변별성이 낮아 분석상 의미가 제한적이며, 2사분면에서는 로그쌍이 관찰되지 않았다.

4사분면에서는 유사도는 높지만 동기화 개수가 낮은 4쌍이 관찰되었다. 이 중 추세선에서 특히 멀리 떨어진 log4-log6과 log4-log7(Figure 12의 초록 점선 테두리 영역)을 주목하였다. 이 두 쌍이 다른 로그 쌍과 뚜렷하게 구분된 주요 요인은 플랫폼 전환 여부와 탐색 시간의 차이였다. 대표적으로 log4-log6은 이러한 경향이 가장 두드러진 사례로, log6은 단일 플랫폼 내에서 탐색이 이루어진 반면, log4는 두 개의 플랫폼을 오가며 선호 콘텐츠를 비교하는 탐색을 수행하였다. 두 로그의 탐색 시간은 약 20분의 편차를 보였으나, 전반적인 탐색 구조는 유사하게 나타났다. 그러나 탐색시간의 편차로 인해 실제 탐색 흐름이 어긋나면서 동일 시간 구간 내 일치 행동이 거의 관찰되지 않았고, 그 결과 유사도는 0.742로 높게 나타났으나 동기화 구간은 0회로 산출되었다. [Table 10] 이러한 탐색 경향은 실제 발화에서도 확인되었는데, “두 개의 플랫폼을 왔다 갔다 하면서, 어떤 콘텐츠를 볼지 계속 고민하게 돼요.”(P4)와 같이 비교 탐색을 언급하였다. 또한 [Figure 14]는 두 로그의 탐색 시간 편차로 인해 동기화 지점이 형성되지 않았음을 시각적으로 보여준다.

Table 10

Similarity Value between Log4 and Log6

Figure 14

Visualization of Synchronization Segments between Log4 and Log6

본 절에서 수행한 추가 분석은 개별 화면 분석 이후 진행되는 심층 인터뷰나 사용성 테스트(UT) 등의 후속 리서치에서 참여자 선정 기준을 수립하는 근거로 활용될 수 있다. 또한 다수의 로그 비교 쌍 중 심층 분석이 필요한 대상 쌍을 선별하는 기준으로도 적용 가능하다.

아울러 각 로그를 1:1로 비교하여 탐색 구조와 동일 시간을 기준으로 분석하고, 이를 분포도로 시각화함으로써 데이터 기반의 정량 분석과 전체 로그 쌍에 대한 다층적 조망이 가능하였다. 특히 기존의 해석적 접근이 연구자의 주관적 판단에 의존했다면, 본 분석은 탐색 데이터를 수치화하여 정량적으로 해석함으로써 보다 객관적인 분석 관점을 제시하였다. 결과적으로, 본 절의 유사도-동기화 분석은 UX 리서치에서 행동 데이터를 보다 체계적이고 재현 가능한 방식으로 해석할 수 있는 데이터 기반 탐색 분석의 방법론적 틀로 발전할 가능성이 있다.

5. 1. Python 기반 자동화 분석 절차의 가능성과 유연성

본 연구는 Python 기반 자동화 분석 프로세스를 통해 화면 녹화 데이터를 구조화하고 분석 가능한 형태로 변환하는 절차를 탐색적으로 시도하였다. 프레임 단위 영상 처리(OpenCV), 플랫폼 식별(OCR), 마우스 트래킹 기반 행동 인식 등을 유기적으로 연동하여 사용자 행동 데이터를 정량적으로 추출할 수 있음을 입증하였다. 특히 연속적으로 발생하는 탐색 행동을 일정 기준에 따라 분류·구조화하는 데 Python 라이브러리의 활용이 효과적이었다. 이는 개별 스크립트 분리나 수동 연결 없이 플랫폼 식별, 탐색 행동 분류, 시계열 로그 생성까지를 단일 파이프라인으로 자동화할 수 있는 기반을 제공한다. 나아가 Python은 범용성이 높아, 라이브러리 구성이나 조건문을 일부 수정하는 것만으로도 모바일·태블릿 등 다양한 환경에 쉽게 적용할 수 있다. 이러한 유연성은 분석의 효율성을 높이고, 반복 가능한 표준화 절차 구축에 기여한다. 결과적으로 본 연구의 접근은 UX 리서치에서 화면 녹화를 활용한 사용자 행동 분석의 효율성을 제고하고, 분석 결과의 객관성을 보완하는 방법론적 도구로 활용될 수 있다.

5. 2. 기존 수기 분석과의 차별성과 방법론적 기여

기존의 수기 분석 방식은 연구자가 사용자의 행동을 직접 관찰하고 해석함으로써, 탐색 과정에서 나타나는 맥락적 의미를 정밀하게 파악할 수 있다는 장점을 지닌다. 그러나 화면녹화 데이터는 비정형적 형태로 수집되기 때문에, 연구자가 이를 직접 전사·코딩·분류를 수행해야 한다. 이 과정에서 수집한 영상 대비 약 3~6배의 시간이 소요되어 시간적 부담이 크고, 분석 과정에서 인지적 피로의 누적으로 인해 분류 기준이 흔들리거나 동일한 자료를 재분류하더라도 일관성을 유지하기 어렵다. Ko et al.,(2005)과 Bao & Wang et al.,(2017)의 연구는 이러한 한계를 잘 보여준다. 두 연구 모두 작업 환경 전환이나 화면 변화를 이벤트 단위로 기록하고, 참여자의 행동 의도를 연구자가 직접 코딩하여 단문 형태로 기술하는 방식을 사용하였다. 하지만 분석 기준이 표준화되어 있지 않아, 동일 연구 내 연구자들 간 결과 편차가 발생했으며, 대부분의 결과가 서술적 수준에 머물러 정성 데이터의 구조화나 시각적 확장으로 이어지지 못했다. 본 연구의 초기 수기 분석 단계에서도 동일한 문제가 확인되었으며, 이에 본 연구는 기존의 해석 중심 수기 분석을 단순히 대체하기보다, 자동화 절차를 통해 구조적 일관성과 재현성을 확보하는 방향으로 발전시켰다. [Table 11] 본 절차는 행동, 플랫폼 전환, 시계열 정보를 데이터 단위로 구조화하여 비정형 정성 데이터를 정량적으로 분석할 수 있는 기반을 마련하였다. 또한 인터뷰 발화를 정량 분석과 결합함으로써, 사용자의 의도와 판단 근거를 맥락적으로 해석하고 이를 자동화 절차와 연계하여 맥락 기반의 정량 구조화로 확장하였다. 이를 통해 자동화 분석이 단순한 패턴 탐색을 넘어 사용자의 목적과 판단 과정을 반영하는 의미 중심 분석으로 발전할 수 있었다. 또한 Python 기반의 자동 시각화 모듈(행동 시퀀스맵, 유사도-동기화 구간 산포도 등)을 적용하여 동일한 분석 기준을 다양한 연구자와 환경에서 반복 적용할 수 있도록 설계하였다. 이 절차는 분석자의 숙련도나 경험에 관계없이 일정한 수준의 결과를 산출할 수 있게 하여, 수기 분석 대비 분석 효율성과 신뢰성을 동시에 향상시켰다.

Table 11

Comparison of Prior and Proposed Analysis Methods

특히 전체 분석에 소요된 시간이 수집된 영상 데이터 대비 약 1.4배로, 수기 분석에 비해 분석 시간이 약 1.5배에서 4.6배까지 단축되었다. 결과적으로 본 연구의 자동화 절차는 수기 분석의 해석적 깊이를 유지하면서도, 정성 데이터를 구조화·정량화·시각화할 수 있는 새로운 분석 체계를 제시한다. 이는 UX 리서치에서 정성적 접근과 정량적 접근의 통합 가능성을 실질적으로 입증한 방법론적 기여로, 향후 복합적 사용자 데이터 분석의 표준화된 절차로 확장될 수 있다.

6. 1. 연구의 핵심기여 및 확장 가능성

본 연구는 OTT 콘텐츠 탐색 사례를 통해 화면녹화 기반 자동화 분석 방식을 적용하여, 그 활용 가능성과 효과를 실증적으로 확인하였다. 사용자의 화면 상 인터랙션과 반복 행동을 시계열 데이터로 구조화하고, 정량적·시각적 분석(예: 행동시퀀스맵, 유사도-동기화 구간 히트맵 등)을 수행한 결과, 탐색 행동의 흐름을 객관적으로 파악하고 분석 효율을 향상시킬 수 있음을 확인하였다. 나아가 기존 수기 분석에서 빈번히 발생하던 시간적 비효율성과 해석의 편차를 완화하는 데에서도 유의미한 가능성을 보였다.

기존 화면녹화 분석이 주로 사용성 평가나 사후 검증 단계에 머물렀던 것과 달리, 본 연구는 이를 리서치 초기 단계에 적극적으로 적용하여, 사용자 탐색 흐름을 구조적으로 분석할 수 있음을 실증적으로 보여주었다. 이러한 접근은 화면녹화 데이터를 처음 다루는 연구자나 분석 경험이 적은 연구자에게도 비교적 용이하게 적용될 수 있으며, UX 리서치에서 화면녹화 분석의 활용 범위를 확장했다는 점에서 의의가 있다. 행동 기준 정의 단계에서는 LLM을 보조 도구로 활용하여 초기 행동 분류의 효율성을 검토하였다. 이후에는 연구자의 해석을 중심으로 행동 기준을 확정하였으나, 이러한 시도는 향후 LLM을 활용한 행동 기준 자동 제안 및 분류 절차로의 확장 가능성을 보여준다. 즉, 본 연구는 자동화 구현 자체를 목표로 하기보다, 정성 분석 과정에 데이터 기반 도구를 점진적으로 통합하는 실험적 접근을 탐색했다는 점에서 의미가 있다. 나아가 본 연구의 분석 방식은 OTT 플랫폼을 넘어, 유튜브·웹툰·뉴스 앱 등 콘텐츠 중심 서비스로 확장 가능하다. 반면 전자상거래 ·소셜미디어 ·교육 플랫폼처럼 맥락에 따라 행동의 의미가 달라지는 환경에서는 도메인 특성에 맞춘 행동 기준의 재정의가 필요하다. 이러한 조정 과정을 통해 본 연구의 접근은 특정 사례를 넘어, UX 리서치 전반에서 정성 데이터의 구조화와 정량화를 지원하는 실질적 분석 틀로 발전할 수 있음을 시사한다.

6. 2.상용 분석 도구와의 비교 및 UX 실무 활용 전략

최근 UX 리서치와 실무에서는 주로 문제 발견과 사용성 테스트에 특화된 상용 분석 도구가 활용되고 있으며, 대표적으로 Beusable, Hotjar, Lookback이 있다. Beusable과 Hotjar는 클릭, 스크롤, 체류 시간 등 웹·앱 행동 로그를 실시간으로 수집·정량화하고 시각화함으로써, 서비스 이탈 지점과 잠재적 비즈니스 기회를 파악하는 데 활용된다. Lookback은 온라인 에스노그라피 환경에서 인터뷰와 사용성 테스트 데이터를 수집·관찰하는 데 활용되며, AI 어시스턴트를 통해 발화 분석을 용이하게 수행할 수 있다. 이와 같은 상용 분석 도구는 기업 내부 데이터 분석 또는 발화 코딩과 같은 정성 분석을 모두 효율적으로 수행할 수 있다는 점에서 유용하다. 한편, 본 자동화 절차는 디지털 환경에서 녹화된 데이터를 시점에 관계없이 정성적·정량적으로 분석하고, 시각화를 통해 다각적으로 해석할 수 있다. 내부 데이터 접근이 어렵거나 실시간 로그 수집이 불가능한 상황에서도 효과적으로 적용되며, 상용 분석 도구와 병행할 경우 보다 심층적인 결과를 도출할 수 있다. 이 절차는 단순한 기능 보완을 넘어 UX 모델링 단계 전반에서 활용 가능성을 지닌다. 특히 정량화된 로그와 맥락 정보를 결합하여 유사도 기반 그룹화와 로그 분석을 수행함으로써, 실제 사용자 행태를 객관적으로 반영한 퍼소나 설계를 지원한다. 이러한 근거 기반 퍼소나는 정성적 인터뷰 중심 접근보다 높은 신뢰성과 반복 적용 가능성을 지닌다. 또한 고객여정지도(CJM) 제작에서도 반복적으로 나타나는 행동 패턴은 사용자 여정을 구체적으로 표현하는 근거가 된다. 동기화 구간을 통해 확인된 공통 패턴은 CJM 각 단계를 정밀하게 설계하는 데 활용될 수 있으며, 예를 들어 “훑어보기→관심갖기” 순서는 ‘인식→탐색’ 단계의 핵심 요소로 기능한다. 행동시퀀스맵과 유사도 기반 그룹은 세그먼테이션 기준으로 활용될 수 있고, 체류 시간·행동 집중도·전환 패턴 등의 지표는 UI/UX 전략 설계의 근거가 된다. 나아가 플랫폼 전환 시점이나 이탈 지점은 서비스 개선의 단서가 된다. 여러 사용자에게 공통적으로 나타나는 행동 변화는 UX 문제를 시사하며, 인터페이스나 정보 구조 개선의 실질적 근거로 작용할 수 있다. 이러한 데이터 기반 접근은 기존의 직관 중심 UX 의사결정을 근거 중심의 설계로 전환시켜, 실무진이 사용자 중심의 전략을 보다 확신 있게 수립할 수 있도록 지원한다.

6. 3. 연구의 한계

본 연구는 다음과 같은 한계점을 갖는다.

첫째, 본 연구는 OTT 플랫폼 탐색 행동이라는 특정 맥락에서 수행되었기 때문에 일반화에 제약이 있다. OTT 플랫폼은 ‘홈-탐색-상세 정보-시청’으로 이어지는 표준화된 사용자 플로우와 유사한 UI 구조를 지니고 있어, 프레임 단위 영상 처리(OpenCV)와 플랫폼 식별(OCR)이 용이하였다. 그러나 이러한 조건은 OTT 환경에 특화된 특성이므로, UI 구조나 탐색 플로우가 다른 도메인에서는 별도의 기준 보정이 필요하다.

둘째, 수기분석에서와 마찬가지로 마우스 움직임을 통해 사용자의 행동 의도를 부분적으로 추론할 수 있으나, 단일 행동의 구체적 이유나 복합적 맥락을 완전히 구조화하기는 어렵다. 이는 시각적 행동 데이터가 물리적·시간적·사회적 요인 등 외부 맥락을 충분히 반영하지 못하기 때문이다. 따라서 행동의 내적 의미를 정밀하게 파악하기 위해서는 정성적 인터뷰나 추가 데이터 수집과 같은 보완이 필요하다.

셋째, 참여자별 평균 20분 가량의 화면 녹화 데이터를 확보하였으나, 9명으로 제한된 표본 규모로 인해 연구 결과의 일반화에는 한계가 있다. 따라서 본 연구는 자동화 분석 절차의 방법론적 가능성을 검증한 탐색적 연구로 해석되어야 하며, 향후 더 많은 참여자와 로그 데이터를 확보한다면 결과의 신뢰성과 일반화 가능성이 제고될 것이다.

6. 4. 향후 연구 방향

본 연구에서 제안한 화면녹화 기반 자동화 분석 절차는 실제 UX 디자인 실무에서의 활용성을 보다 면밀히 검증할 필요가 있다. 이를 위해 다양한 도메인의 UX 실무자들을 대상으로 워크숍을 진행하여 해당 절차의 실무 적용 가능성을 탐색하고자 한다. 실무자들이 직접 자동화 분석 절차를 활용하고 이에 대한 피드백을 제공함으로써, 현장에서 실제로 요구되는 기능과 개선점을 보다 구체적으로 파악할 수 있을 것으로 기대된다.

아울러, 다양한 도메인에 적용 가능한 형태로 분석 체계를 지속적으로 조정하고 최적화해 나갈 필요가 있으며, 이는 후속 연구를 통해 점진적으로 검토되어야 할 과제다.

또한 본 자동화 분석 절차가 OTT 서비스뿐만 아니라 다양한 디지털 환경에서 범용적으로 활용될 수 있는 방안에 대한 연구가 필요하다. 각 도메인의 특성을 고려한 유연한 적용 방법을 모색함으로써, 보다 폭넓은 UX 리서치 상황에서 활용 가능한 도구로 발전시킬 수 있을 것이다. 이러한 후속 연구를 통해 화면녹화 기반 자동화 분석이 UX 리서치 방법론의 실질적인 발전에 기여할 수 있는 토대를 마련하고자 한다.