사용자 중심 모빌리티 서비스 예측 데이터 시각화 연구

1. 연구의 배경 및 목적

예측 정보는 교통, 날씨, 금융, 헬스케어 등 분야를 막론하고 서비스 고도화를 이끄는 데이터 기반 의사 결정의 핵심 요소다. 전문가 중심의 분석에 초점이 맞춰져 있던 예측 데이터는 일반 사용자들도 쉽게 접근하고 활용 가능한 대상이 되었으며 이에 따른 데이터 리터러시 역량과 디자인에 대한 요구가 높아지고 있다.

예측 정보는 본질적으로 불확실성을 함축한다. 현재까지는 정보의 불확실한 측면을 생략하여 제시하는 것이 당연한 관행이었지만 원칙적으로 불확실성 정보는 데이터에 내재된 불확실한 요소를 인식하고 더 나은 의사 결정을 내리도록 도우며 이를 둘러싼 다방면의 연구적인 시도가 지속되고 있는 시점이다(Nadav-Greenberg, Joslyn, & Taing, 2008; van der Laan, de Jonge, & Solcer, 2015; Karduni, Markant, Wesslen, & Dou, 2020; Fernandes, Walls, Munson, Hullman & Kay, 2018). 이에 본 연구는 예측 시각화 기법을 면밀히 검토하고 사용자 연구를 통해 실제 서비스에 적용 가능한 예측 데이터 시각화 방안을 탐구해보고자 한다.

2. 연구 범위 및 방법

일상 생활에서 가장 접하기 쉬운 데이터 시각화물인 모빌리티 서비스 예측 정보를 연구 대상으로 삼았다. 대표 화면들을 수집하여 예측 정보 유형 및 특성을 추출하고 시각화 현황을 분석하였으며, 모빌리티 서비스의 특수성이 잘 드러나는 실시간 경로 혼잡 예측 정보를 선정하여 불확실성 시각화 디자인을 시도하였다. 비전문가 중심의 데이터 시각화 시스템 구축 및 상용화가 되어 있지 않음을 감안하고 사전 데이터 신뢰도 및 교통 의사 결정에 대한 주관적 판단 문항을 설문에 통합해 인사이트를 도출했으며 디자인 개선 효과를 통계적으로 검증하여 향후 모빌리티 예측 서비스로 확장 가능한 논의를 진행하였다.

3. 이론적 고찰

3. 1. 예측 데이터 시각화

루이스 벡(Lewis Beck, 2005)에 따르면, 예측은 변수들의 오차 범위를 통합하는 방식과 같은 모델링 관점에서의 Prediction과 장기적 발상 차원의 미래 예보 개념을 포괄하는 Forecasting의 의미가 혼용되어 있다고 할 수 있다. 예측 시각화는 미래 시점의 수량 또는 사건에 대한 확률적 예측(Probabilistic Forecasts)을 전제하며, 예측 정보에 내재된 불확실성을 어떻게 표현할지에 대한 논의가 선행되어야 한다.

포터, 로즌, 그리고 존슨(Potter, Rosen & Johnson, 2012)과 브로다일, 알렌데스 오소리오 그리고 로페스(Brodile, Allendes Osorio, & Lopes, 2012)는 데이터와 불확실성 차원에 따른 주요 시각화 기법을 유형화하였으며 킨켈데이, 맥이크런, 그리고 쉬베(Kinkeldey, MacEachren, & Schiewe, 2014)는 지리 공간 데이터에 초점을 맞추어 지도 요소와 상호작용하는 불확실성 시각화 큐브(UVis3)를 제안한 바 있다.

예측 시각화는 데이터의 속성, 전달 목적, 사용자 특성에 따라 다양한 방식으로 구현되므로 맥락에 적합한 시각화 전략이 필수적이다. Figure 1에서는 확률적 예측을 포괄하는 주요 그래프들을, Figure 2에서는 시계열 예측에서 발견할 수 있는 대표적인 불확실성 시각화를 제시하였다.

Figure 1

Probabilistic forecasting data visualization techniques

Figure 2

Uncertainty representations in time-series forecast visualizations

4. 모빌리티 서비스 예측 정보 시각화

4. 1. 모빌리티 서비스 예측 정보 유형 및 시각화 현황

상위 모빌리티 서비스 플랫폼 기업(네이버 지도, 티맵 모빌리티, 카카오 모빌리티, 우버 택시, 타다 등) 및 서울시 공공 정보 서비스(서울시 교통정보시스템, 서울 실시간 도시데이터, 서울도시고속도로 교통정보)를 선정하여 예측 정보 현황 및 특성을 추출하였다.

주요 정보는 혼잡 예측과 시간 예측으로 구분되며 한 화면에 함께 제공되는 것이 보편적이다. 혼잡 정보는 평균 통행 속도 값을 기준으로 색상으로 도로에 매핑되며 시간 정보는 서비스별 예측 알고리즘에 따른 예측 값 자체가 숫자로 표시된다. 연구에서는 현재 기준의 실시간 정보 외에 미래 시점의 예상 시간 정보를 탐색하는 시간별 예측 서비스나 도시 데이터의 특성을 반영한 세분화된 범주로 예측 범위를 다양하게 설정한 공공 서비스에서처럼 예보적 성격을 띠는 정보를 미래 예측 유형이라고 정의하여 범주별 분류표를 작성하였다(Table 1).

Table 1

Types and characteristics of forecasting information in mobility services

이를 토대로 정보 유형별 대표 화면들을 수집하여 시각화 현황을 탐구하였다. 차량 수 기준의 만차, 혼잡, 여유 상태를 막대 그래프로 시각화한 주차 서비스(카카오 T), 예측 시점별 소요 시간 차이 또는 그래프에 색상을 매핑하여 통합한 미래 예측 서비스(네이버 지도, 티맵), 행렬 매트릭스에 혼잡 색상으로 강조한 노선별 정체 속도(서울도시고속도로), 표정을 활용한 색상 이모지 및 최다 하차 등의 추가 정보를 함께 제공하는 지하철 혼잡도(에이닷) 등 일반 사용자를 대상으로 한 다양한 예측 시각화 시도들을 확인하였다(Figure 3).

Figure 3

Representative screens of forecasting visualization in mobility services

4. 2. 교통 예측 시각화

덩 등(Deng et al., 2023)에 따르면, 교통 데이터 분석 시각화 시스템에서의 시각화 유형은 점, 선, 히트맵, 글리프, 영역 차트를 지도와 통합하거나 플로우 맵, 3D 맵 등을 활용하여 제시하는 공간 기반 시각화, 그리고 타임라인, 라인 차트, 영역 차트, 스트림 그래프, 생키 다이어그램 등 도시 데이터의 시간적 분포와 추세를 파악하도록 돕는 시간 기반 시각화로 나눌 수 있다. 통행 속도와 혼잡도를 다루는 도시 교통 흐름 및 모니터링 분석은 교통 데이터 시각화에서 가장 많이 연구되는 주제이며 흐름 시각화, 커널 밀도 추정 시각화, 픽셀 테이블 뷰, 스트림 시각화 등 도시 교통 이해 관계자들의 활용 목적에 따른 시각화 방식들을 확인할 수 있다(Figure 4).

Figure 4

Examples of urban traffic flow and monitoring analysis visualization

5. 사용자 연구

5. 1. 실험 1

(1) 연구 질문

미국에서 전국적으로 실시한 날씨 예보 조사 연구와(Morss, Demuth & Lazo, 2008) 데이터 시각화 사용자 연구에서 활용되었던 모형을(Dong & Hayes, 2012; Halabi, Wallner, & Mirza-Babaei, 2019) 참고하여 연구 질문을 생성하였으며 데이터 신뢰도, 정보 품질, 의사 결정 변인을 주요 범주로 삼아 세부 문항을 설정하였다(Table 2-4).

Table 2

Research questions for Experiment 1

Table 3

Measurement variables based on prior studies

Table 4

Measurement factors and instruments integrated into the questionnaire

(2) 불확실성 시각화 디자인

연구 질문에 대한 답을 얻기 위해 모빌리티 서비스의 특수성이 가장 잘 드러나는 실시간 혼잡 예측 정보를 시각화 대상으로 선정하였다. 기존의 불확실성 표현 방식들을 참고해 세 가지의 콘셉트를 추출하였으며(Figure 5) 이를 바탕으로 각각의 콘셉트에 대응하는 불확실성 시각화 실험물 이미지를 제작하였다(UV(a), UV(b), UV(c)).

Figure 5

Real-time forecasting visualization design experiment with road congestion uncertainty

구체적으로 UV(a)는 구간 통행 속도 값을 y축에 매핑하고 모노톤 등고선 밴드의 투명도를 활용한 그래프 중심의 시각화이며, UV(b)는 경로의 색상 변수에 불확실성 변수를 5단계로 매핑하여 직관성을 높이도록, UV(c)는 리스크 시각화 기법을 활용하여 영역 차트로 위험 상황을 강조하도록 차별화를 두었으며 세 시각물 모두 불확실성의 확률 값(%)으로 범례화하였다.

최종적으로 테스트할 설문에는 모바일 서비스의 길찾기 여정에서 실시간 혼잡 정보가 표출되는 기존의 방식을 대조군 이미지로, 디자인한 불확실성 시각화물은 앱 화면에서 실시간 예측 카테고리의 바텀 시트로 보이도록 구성하여 모바일 화면 크기 기준 온라인 설문 폼(Tally)을 통해 배포하였다(Figure 6).

Figure 6

Control and experimental stimuli images used in Experiment 1

(3) 연구 결과

① 예측 정보 신뢰도

총 53명이 설문에 참여하였으며 응답이 완료된 설문지는 SPSS(Statistic Package for Social Science)를 사용하여 데이터 코딩 및 분석을 진행하였다. Table 5는 인구 통계학적 정보 및 설문 도입부에 포함한 이용 모빌리티 서비스명과 활용 정보에 대한 다중 응답 결과이며 다수의 사용자가 티맵, 카카오, 네이버 길찾기, 구글맵 서비스를 통해 실시간 정보와 대중교통 정보, 이용 가능한 교통수단 정보 등을 활용하고 있음을 파악하였다.

Table 5

Demographic and descriptive information of survey participants for Experiment 1

연구 질문 1에 해당하는 예측 정보 신뢰도 평가에서는 평소 및 위험 상황 모두 70~80%로 높은 편으로 나타났다(Table 6). 응답자들은 데이터를 숫자 자체보다는 ‘빠르다, 답답하다, 대충 막히는 것 같다.’는 감정이나 가정, 추측의 언어로 해석하였으며 돌발 상황, 시간 압박 등의 위험 상황에서는 개인의 경험 요소나 믿음의 정도, 판단 기준에 따라 주관적 평가의 편차가 커졌다. 무엇보다 ‘제가 알고 있는 정보는 지도 앱뿐이라서요.’, ‘돌발 상황까지도 반영하여 도착 예정 시간이 나타난 것이겠지요.’, ‘빅데이터 기반의 값이니까 대부분 신뢰해요.’ 등 믿을 수밖에 없게 만드는 정보의 권력과 흔히 객관적이라고 여겨지는 데이터 기반 정보의 불확실성에 대해 논할 여지를 확보하였다.

Table 6

Response results on the reliability of forecasting information

② 불확실성 시각화 효과

연구 질문 2에 대한 응답 결과로는 불확실성 시각화에서 색상 단계로 구분된 UV(b)가 UV(a)와 UV(c)보다 뚜렷한 우위를 차지하였으며 UV(b)는 대조군과 유사한 수준임에도 인지 부하 항목에서는 차이를 보였다. 정보 품질 측면에서 UV(b)가 대조군에 비해 가독성과 명확성이 떨어졌지만 정보성과 심미성에서는 높게 평가받았으며 이는 수치적 정확성을 강조한 표현이 오히려 정보의 명확성을 떨어뜨릴 수 있음을 시사한다. 불확실성 정보를 의사 결정에 활용하겠다는 응답 비율(62.3%)과 활용을 주저한 주요 이유로 정보의 복잡성이 꼽혔음을 미루어 볼 때 실험 1은 ‘불확실성 표현이 추가되면 인지 부하 정도가 높아져 정보 해석이 어려워지지만 그동안 인지하지 못하고 있던 데이터의 확실성 정도를 보여줌으로써 새로운 통찰을 제공하고 흥미롭다’로 요약 가능하다(Table 7, Figure 7).

Table 7

Results of responses on the evaluation of uncertainty visualization

Figure 7

Graph results of response on the evaluation of uncertainty visualization

5. 2. 실험 2

(1) 실험물 개선

실험 2에서는 실험 1에서 효과를 보였다고 판단한 시각화 유형 UV(b)를 토대로 시각화 디자인 개선에 초점을 맞추었고 주요 측정 변인들을 구체화하여 불확실성 시각화 디자인 효과를 통계적으로 검증하고자 하였다.

이를 위해 우선 실험 1의 주관식 응답 결과에서 주요 디자인 개선 사항을 도출하였다. 사용자들은 불확실성 표현이 데이터의 불확실성이 아닌 혼잡 정도로 오해될 가능성을 언급하였으며 대다수가 단순화된 확률 표기를 요구하는 것으로 나타났다. 또한 불확실성을 명확하게 드러내기 위한 방안으로 ‘확실성’이라는 표기의 도입을 제안하였으며 이는 의미 있는 시사점으로 확인되었다.

UV(b)는 시각화의 콘셉트를 유지하는 대신 사용자 요구 사항을 반영하여 불확실성 변수의 혼잡 색상을 모노톤의 투명도로 개선했다(UV(d)). 이와 차별화되는 시각화 이미지를 추가로 개발하기 위해서 UV(d) 유형의 색상 블록 스타일이 실제 화면에 적용될 시 그리드 내 불연속 단계별 색상 정보가 기존의 혼잡 정보 요소보다 위계가 높아지면서 색상 차이 요소들을 부각시키고 주변 그래픽 요소들과 충돌을 일으키는 것에 주목하였다. 색상을 하나로 통일하되 연속성을 띄는 데이터 분포로 구현하고, 영역의 대비가 정보의 명확성을 높일 수 있는 밀도 시각화 형식을 차용하였다(UV(e)).

불확실성 시각화를 화면에 통합하기 위한 개선 사항으로는 화면 구성의 측면에서 실험 1에서의 인접 뷰가 실제 경로의 위치와 비교했을 때 데이터를 인식하기 어려워 효과를 현저히 떨어뜨리고 있으므로 동일 뷰에 표현되도록 설계했다. 또한 내비게이션 화면에서의 구간 정보 이미지를 활용하여 실시간 위치 기반 예측 경험을 강조하는 한편 동일한 유형의 전체 혼잡 예측 시각화 화면과 세트를 구성하여 불확실성 표현에 대한 이해도를 높이도록 유도하였다. 범례 디자인에서는 사용자 요구 사항을 반영하여 숫자 및 퍼센트 요소를 삭제하는 대신 ‘확실’ 텍스트와 불확실성을 기호화한 ‘물음표’ 아이콘을 추가하여 각 유형에 대응하는 화면 하단에 배치하였다(Figure 8).

Figure 8

Design improvements to the real-time forecasting visualization used in Experiment 2

(2) 연구 모형 및 측정 변인

실험 1에서 불확실성 표현의 복잡성이 주요 이슈였음을 바탕으로 인지 부하 요소를 측정 변인으로, 기존의 의사 결정 측정 문항을 현 시점에서 가장 유의미할 수 있는 정보의 유용성 변인으로 축소하여 모형을 설계하였으며 시각화 디자인의 측면에서 정보 품질이 정보 탐색 동기를 자극해 의사 결정에 영향을 끼칠 것이라 판단하여 관련성을 탐구하고자 하였다.(Davis, Bagozzi, & Warshaw, 1989; Davis, 1989; Bresciani & Eppler, 2015; Phillips, 2014). 실험 1과 동일하게 실험물 이미지의 순서를 랜덤으로 제시하여 모바일 화면 크기 기준 온라인 설문 폼(Tally)을 통해 배포하였음을 밝힌다.

Table 8

Research model and hypothesis for Experiment 2

Table 9

Survey measurement elements for Experiment 2

(3) 연구 결과

① 실험 대상

실험 2에 참여한 대상은 총 71명으로 실험 1에서보다 성별과 연령의 분포를 다양하게 모집하는 데 초점을 두었다. 나이대의 경우 운전 경험 여부에 따른 도로 상황 이해도가 다를 수 있으며, 모바일 앱 서비스 이용 시 접근 가능성의 문제가 생길 수 있다고 판단하여 나이대별 모빌리티 서비스 친숙도를 측정하여 집단 간 차이를 검증하였다. 성별에 비해 나이대의 분포가 균형을 이루지 못하는 한계를 인정하고, 결과의 평균값에 차이를 보이지 않으며 유의 확률이 높은 편으로 나타남을 바탕으로 모빌리티 서비스 이용에 대한 사용자 개인의 차이는 없다고 전제하고 분석을 진행하였다.

Table 10

Demographic and descriptive information of survey participants for Experiment 2

② 가설 검증 및 분석

최종 변인별 하위 문항들의 측정 타당성을 확인하기 위해 요인 분석 및 신뢰도 검증을, 종속 변인들은 탐색적 요인 분석을 추가로 실시하였으며 해당 값들은 모두 유의한 것으로 나타났다(Table 11). 최종적으로는 독립표본 T 검정을 통해 유형 간 시각화 효과 차이를(H1, H2), 단순선형회귀분석을 통해 정보 품질과 지각된 유용성 사이의 연관성을 통계적으로 검증하였다(H3).

Table 11

Results of scale validity analysis for Experiment 2

[H1, H2] 실시간 예측 시각화 유형에 따라 인지 부하 및 지각된 유용성에 유의한 차이가 있을 것이다.

인지 부하 변인에서는 UV(d)와 UV(e)에서 유의 값이 확보되지 않았으며 절댓값에서도 인지 부하 요인은 낮게 나타났다. 지각된 유용성 변인에서는 UV(d)와 UV(e)에서 유의한 차이가 발생하여 개선한 UV(e)가 UV(d)에 비해 효과적인 디자인으로 밝혀졌으며 세부 문항 검정 결과 색상 단계에 따른 구분보다 분포의 정도 차이가 의사 결정을 내리는 데 더 빠르고 쉬운 시각적 판단을 유도했음을 확인하였다(Table 12).

Table 12

Results of hypothesis testing table(Cognitive Load, Perceived Usefulness)

[H3] 실시간 예측 시각화 유형의 정보 품질은 지각된 유용성에 영향을 미칠 것이다.

회귀 분석 결과 정보 품질과 지각된 유용성 사이에는 유의한 양의(+) 관계성이 발견되었다(Table 13). UV(e)가 UV(d)보다 가독성, 흥미성, 전문성, 정보성 등 정보 품질의 모든 항목에서 높은 평균값을 보였는데 지각된 유용성에서 UV(e)가 UV(d)보다 유의한 차이로 높은 시각화 효과를 보인 것을 미루어 볼 때 정보 품질이 유용성에 영향을 미친 것으로 파악 가능하다. 세부 항목별 평균값은 UV(d), UV(e) 모두 정보성, 전문성, 흥미성, 가독성의 순으로 나타났다. 절대 수치와 비교했을 때와 마찬가지로 불확실성 표현은 정보의 의미적인 측면과 전문성을 높이지만 가독성이 떨어짐을 알 수 있다.

Table 13

Results of hypothesis testing table(Information Quality)

③ 종합 논의

불확실성 시각화에 대한 핵심 논의점은 실험 1, 2 모두 인지 부하에 대한 문제로 귀결된다. 특히 내비게이션 구간 정보를 가정하고 진행한 실험 2에서 ‘불확실성 표현은 정확한 정보를 제공하지만 빠른 판단이 필요한 운전 중에는 데이터 해석에 시간이 걸린다.’, ‘운전 상황에서는 단순한 교통량 이미지가 필요하다.’는 다수 의견을 토대로 운전이라는 특수한 상황적 조건이 미치는 영향력을 파악할 수 있었다. 개선한 UV(e)에 대해서는 ‘오차 범위가 크지 않다면 애용할 것 같다.’, ‘정보력이 좋다.’ ‘급박한 도로 상황에서 보기 편하다.’, ‘덩어리로 된 정보가 시각적으로 흥미롭다.’ ‘순간 웃게 되는 디자인이라면 막히는 구간도 즐길 수 있는 안전 운전이 될 것 같다’ 등의 다양한 피드백들이 수집되었으며, 이는 사용자 경험을 고려한 직관적이고 친근한 디자인이 불확실성 정보를 효과적으로 전달하는 데 중요한 방향성임을 시사한다.

Table 14는 실험 1과 2에서의 주관식 응답 내용을 종합하여 불확실성 시각화 디자인이 실제 서비스에 적용가능한 추가 논의점 및 예측 서비스로의 확장을 모색할 수 있는 주요 범주이다. 현 시점에서는 무엇보다도 불확실성 정보에 익숙하지 않은 사용자들을 위해 불확실성 데이터가 정확하게 무엇인지 친절하게 안내할 수 있는 사전 서비스나 정확한 값에 대한 니즈를 높여 불확실성 정보 탐색을 자극하도록 하는 주변 인터랙션의 설계가 필요하다고 할 수 있다.

Table 14

Further discussion to advance forecasting visualizations in mobility service

6. 결론 및 제언

본 연구는 불확실성 시각화 이론을 토대로 대중적인 관점에서 예측 데이터 시각화 디자인의 가능성을 발굴하고자 하였으며 사용자 연구를 통해 모빌리티 산업에서 실제로 서비스에 적용 시 교통 관련 최적의 의사결정을 내리는 데 의미 있는 정보로 활용될 것이라는 대다수의 응답을 확보하였다.

한편, 연구에서는 모빌리티 서비스의 일상적인 성격에 주목하여 성별, 나이대 등 개인적 요인을 크게 고려하지 않고 실험을 진행했으나 데이터 교육 수준, 그래프 친숙도, 정보 활용 정도, 교통 혼잡 상황 등의 변수들을 함께 고려했다면 더욱 세분화된 분석이 가능했을 것이라 생각한다. 특히 운전을 직업으로 하거나 실시간 도로 상황에 민감한 사용자들의 정보 판단 방식은 차이가 나타날 수 있으므로 추가 인터뷰 설계가 필요해 보인다.

뷰의 방식을 한정하고 정적 시각화로만 진행한 점도 한계로 꼽힌다. 경로 혼잡 정보는 시간 예측 정보와 상호작용하며 불확실성 정보는 실시간이라는 특성상 동적 데이터 형태가 유의미할 수 있다. 향후에는 인접 뷰와의 관련성, 임곗값 선택기, 비교 뷰의 활용 등 다양한 접근 방식을 도입한 실험과 더불어 실제 데이터를 활용한 정량적 사용자 연구로 발전시키고자 한다.

Acknowledgments

본 연구는 2024년 석사학위논문을 바탕으로 작성되었습니다.

This paper was written based on Master Dissertation Thesis in 2024.

References

• Bank of England. (2019).Inflation Report. (May 2019). Bank of England. https://www.bankofengland.co.uk/inflation-report/2019/may-2019.
• Bevacqua, E., Zappa, G., Lehner, F., & Zscheischler, J. (2022). Precipitation trends determine future occurrences of compound hot-dry events. Nature Climate Change, 12(4), 350-355. [https://doi.org/10.1038/s41558-022-01309-5]
• Bresciani, S., & Eppler, M. (2015). Extending tam to information visualization: A framework for evaluation. Electronic Journal of Information Systems Evaluation, 18(1), 46-58.
• Brodlie, K., Allendes Osorio, R., & Lopes, A. (2012). A review of uncertainty in data visualization. Expanding the Frontiers of Visual Analytics and Visualization, 81-109. [https://doi.org/10.1007/978-1-4471-2804-5_6]
• Davis, F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Quarterly, 319-340. [https://doi.org/10.2307/249008]
• Davis, F. D., Bagozzi, R. P., & Warshaw, P. R. (1989). User acceptance of computer technology: A comparison of two theoretical models. Management Science, 35(8), 982-1003. [https://doi.org/10.1287/mnsc.35.8.982]
• Deng, Z., Weng, D., Liu, S., Tian, Y., Xu, M., & Wu, Y. (2023). A survey of urban visual analytics: Advances and future directions. Computational Visual Media, 9(1), 3-39. [https://doi.org/10.1007/s41095-022-0275-7]
• Dong, X., & Hayes, C. C. (2012). Uncertainty visualizations: Helping decision makers become more aware of uncertainty and its implications. Journal of Cognitive Engineering and Decision Making, 6(1), 30-56. [https://doi.org/10.1177/1555343411432338]
• Fernandes, M., Walls, L., Munson, S., Hullman, J., & Kay, M. (2018). Uncertainty displays using quantile dotplots or cdfs improve transit decision-making. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, 1-12. [https://doi.org/10.1145/3173574.3173718]
• Gschwandtner, T., Bögl, M., Federico, P., & Miksch, S. (2015). Visual encodings of temporal uncertainty: A comparative user study. IEEE Transactions on Visualization and Computer Graphics, 22(1), 539-548. [https://doi.org/10.1109/TVCG.2015.2467752]
• Halabi, N., Wallner, G., & Mirza-Babaei, P. (2019). Assessing the impact of visual design on the interpretation of aggregated playtesting data visualization. Paper presented at the Proceedings of the Annual Symposium on Computer-Human Interaction in Play, 639-650. [https://doi.org/10.1145/3311350.3347164]
• Han, M., Athawale, T. M., Pugmire, D., & Johnson, C. R. (2022). Accelerated probabilistic marching cubes by deep learning for time-varying scalar ensembles. Paper presented at the2022 IEEE Visualization and Visual Analytics (VIS), 155-159. [https://doi.org/10.1109/VIS54862.2022.00040]
• Hsiang, S. (2013). Visually-weighted regression. Available at SSRN: http://ssrn.com/abstract=2265501. [https://doi.org/10.2139/ssrn.2265501]
• Joslyn, S., & Savelli, S. (2021). Visualizing uncertainty for non-expert end users: The challenge of the deterministic construal error. Frontiers in Computer Science, 2, 590232. [https://doi.org/10.3389/fcomp.2020.590232]
• Kamal, A., Dhakal, P., Javaid, A. Y., Devabhaktuni, V. K., Kaur, D., Zaientz, J., & Marinier, R. (2021). Recent advances and challenges in uncertainty visualization: A survey. Journal of Visualization, 24(5), 861-890. [https://doi.org/10.1007/s12650-021-00755-1]
• Karagappa, A., Betz, P. K., Gilg, J., Zeumer, M., Gerndt, A., & Preim, B. (2024). Enhancing Uncertainty Communication in Time Series Predictions: Insights and Recommendations (No. arXiv:2408.12365). arXiv.
• Karduni, A., Markant, D., Wesslen, R., & Dou, W. (2020). A bayesian cognition approach for belief updating of correlation judgement through uncertainty visualizations. IEEE Transactions on Visualization and Computer Graphics, 27(2), 978-988. [https://doi.org/10.1109/TVCG.2020.3029412]
• Karmakar, S., Sherly, M. A., & Mohanty, M. (2022). Urban flood risk mapping: A state-of-the-art review on quantification, current practices, and future challenges. Advances in Urban Design and Engineering: Perspectives from India, 125-156. [https://doi.org/10.1007/978-981-19-0412-7_5]
• Kinkeldey, C., MacEachren, A. M., & Schiewe, J. (2014). How to assess visual communication of uncertainty? A systematic review of geospatial uncertainty visualisation user studies. The Cartographic Journal, 51(4), 372-386. [https://doi.org/10.1179/1743277414Y.0000000099]
• Lee, C., Kim, Y., Jin, S., Kim, D., Maciejewski, R., Ebert, D., & Ko, S. (2019). A visual analytics system for exploring, monitoring, and forecasting road traffic congestion. IEEE Transactions on Visualization and Computer Graphics, 26(11), 3133-3146. [https://doi.org/10.1109/TVCG.2019.2922597]
• Leedal, D., Neal, J., Beven, K., Young, P., & Bates, P. (2010). Visualization approaches for communicating real-time flood forecasting level and inundation information. Journal of Flood Risk Management, 3(2), 140-150. [https://doi.org/10.1111/j.1753-318X.2010.01063.x]
• Leffrang, D., & Müller, O. (2024). Visualizing Uncertainty in Time Series Forecasts: The Impact of Uncertainty Visualization on Users' Confidence, Algorithmic Advice Utilization, and Forecasting Performance. Journal of Forecasting, 44(4), 1235-1246. [https://doi.org/10.1002/for.3222]
• Lewis-Beck, M. S. (2005). Election forecasting: Principles and practice. The British Journal of Politics and International Relations, 7(2), 145-164. [https://doi.org/10.1111/j.1467-856X.2005.00178.x]
• Longland, R., Dermigny, J., & Marshall, C. (2018). Reaction rates for the K 39 (p, γ) ca 40 reaction. Physical Review C, 98(2), 025802. [https://doi.org/10.1103/PhysRevC.98.025802]
• Mazzi, G. L., Mitchell, J., & Carausu, F. (2021). Measuring and communicating the uncertainty in official economic statistics. Journal of Official Statistics, 37(2), 289-316. [https://doi.org/10.2478/jos-2021-0013]
• McKenzie, G., Hegarty, M., Barrett, T., & Goodchild, M. (2016). Assessing the effectiveness of different visualizations for judgments of positional uncertainty. International Journal of Geographical Information Science, 30(2), 221-239. [https://doi.org/10.1080/13658816.2015.1082566]
• Morss, R. E., Demuth, J. L., & Lazo, J. K. (2008). Communicating uncertainty in weather forecasts: A survey of the US public. Weather and Forecasting, 23(5), 974-991. [https://doi.org/10.1175/2008WAF2007088.1]
• Nadav-Greenberg, L., Joslyn, S. L., & Taing, M. U. (2008). The effect of uncertainty visualizations on decision making in weather forecasting. Journal of Cognitive Engineering and Decision Making, 2(1), 24-47. [https://doi.org/10.1518/155534308X284354]
• Oakleaf, J. R., Kennedy, C. M., Baruch-Mordo, S., Gerber, J. S., West, P. C., Johnson, J. A., & Kiesecker, J. (2019). Mapping global development potential for renewable energy, fossil fuels, mining and agriculture sectors. Scientific Data, 6(1), 101. [https://doi.org/10.1038/s41597-019-0084-8]
• Padilla, L. M., Powell, M., Kay, M., & Hullman, J. (2021). Uncertain about uncertainty: How qualitative expressions of forecaster confidence impact decision-making with uncertainty visualizations. Frontiers in Psychology, 11, 579267. [https://doi.org/10.3389/fpsyg.2020.579267]
• Padilla, L., Castro, S. C., & Hosseinpour, H. (2021). A review of uncertainty visualization errors: Working memory as an explanatory theory. Psychology of Learning and Motivation, 74, 275-315. [https://doi.org/10.1016/bs.plm.2021.03.001]
• Phillips, B. (2014). The relationship between data visualization and task performance. Doctoral Dissertation, University of North Texas.
• Potter, K., Rosen, P., & Johnson, C. R. (2012). From quantification to visualization: A taxonomy of uncertainty visualization approaches. Paper presented at the Uncertainty Quantification in Scientific Computing: 10th IFIP WG 2.5 Working Conference, WoCoUQ 2011, Boulder, CO, USA, August 1-4, 2011, Revised Selected Papers, 226-249. [https://doi.org/10.1007/978-3-642-32677-6_15]
• Radford, J. T., Lackmann, G. M., Goodwin, J., Correia Jr, J., & Harnos, K. (2023). An iterative approach toward development of ensemble visualization techniques for high-impact winter weather hazards: Part I: Product development. Bulletin of the American Meteorological Society, 104(9), E1630-E1648. [https://doi.org/10.1175/BAMS-D-22-0192.1]
• Ruginski, I. T., Boone, A. P., Padilla, L. M., Liu, L., Heydari, N., Kramer, H. S., . . . Creem-Regehr, S. (2016). Non-expert interpretations of hurricane forecast uncertainty visualizations. Spatial Cognition & Computation, 16(2), 154-172. [https://doi.org/10.1080/13875868.2015.1137577]
• Sanyal, J., Zhang, S., Bhattacharya, G., Amburn, P., & Moorhead, R. (2009). A User Study to Compare Four Uncertainty Visualization Methods for 1D and 2D Datasets. IEEE Transactions on Visualization and Computer Graphics, 15(6), 1209-1218. [https://doi.org/10.1109/TVCG.2009.114]
• Senaratne, H., Gerharz, L., Pebesma, E., & Schwering, A. (2012). Usability of spatio-temporal uncertainty visualisation methods. Paper presented at the Bridging the Geographic Information Sciences: International AGILE'2012 Conference, Avignon (France), April, 24-27, 2012, 3-23. [https://doi.org/10.1007/978-3-642-29063-3_1]
• Slunecka, J. L., van der Zee, M. D., Beck, J. J., Johnson, B. N., Finnicum, C. T., Pool, R., . . . Ehli, E. A. (2021). Implementation and implications for polygenic risk scores in healthcare. Human Genomics, 15(1), 46. [https://doi.org/10.1186/s40246-021-00339-y]
• Toet, A., Tak, S., & Erp, J. v. (2016). Visualizing uncertainty: Towards a better understandiung of weather forecasts. Tijdschrift Voor Human Factors, 41(1), 9-14.
• van der Laan, D. J., de Jonge, E., & Solcer, J. (2015). Effect of displaying uncertainty in line and bar charts - Presentation and Interpretation. In Proceedings of the 6th International Conference on Information Visualization Theory and Applications, SciTePress, 225-232. [https://doi.org/10.5220/0005300702250232]
• Wang, F., Chen, W., Wu, F., Zhao, Y., Hong, H., Gu, T., . . . Bao, H. (2014). A visual reasoning approach for data-driven transport assessment on urban roads. Paper presented at the 2014 IEEE Conference on Visual Analytics Science and Technology (VAST), 103-112. [https://doi.org/10.1109/VAST.2014.7042486]
• Wang, Z., Ye, T., Lu, M., Yuan, X., Qu, H., Yuan, J., & Wu, Q. (2014). Visual exploration of sparse traffic trajectory data. IEEE Transactions on Visualization and Computer Graphics, 20(12), 1813-1822. [https://doi.org/10.1109/TVCG.2014.2346746]
• Whitaker, R. T., Mirzargar, M., & Kirby, R. M. (2013). Contour boxplots: A method for characterizing uncertainty in feature sets from simulation ensembles. IEEE Transactions on Visualization and Computer Graphics, 19(12), 2713-2722. [https://doi.org/10.1109/TVCG.2013.143]