Archives of Design Research

머신러닝 소프트웨어를 제작할 때 구상부터 시작해서 데이터 탐색, 분석, 검증, 배포와 모니터링에 이르기까지의 과정을 “머신러닝 라이프사이클 (Machine Learning Life Cycle)”이라고 표현한다. 머신러닝도 기본적으로 하나의 소프트웨어라고 할 수 있기 때문에 개발 라이프사이클을 가지게 되며, 데이터가 처음 돌아가게 되는 흐름부터 산출되는 최종적인 아웃풋까지의 일련의 흐름을 파이프라인이라고 한다. 이는 프로젝트에 따라 진행과정이 조금씩 다르지만, 일반적인 예측 모델링 프로젝트(predictive modeling)는 다음과 같은 프로세스를 따른다.

• ⦁ 데이터 수집 : 프로젝트를 진행하기 위해서는 데이터가 필요하며, 데이터 수집 방법에는 여러 가지가 있다. 데이터베이스에 데이터가 쌓여 있는 경우 데이터 수집 과정은 간단하게 데이터베이스나 데이터 파일에서 데이터를 불러오는 것으로 충분할 수 있다.
• ⦁ 데이터 전처리 : 수집된 그대로의 데이터는 결측값이 있거나, 이상한 값이 들어가 있는 경우가 많다. 따라서 이러한 데이터를 정제해서 머신 러닝 모델의 입력에 적합한 형태로 바꿔주는 단계를 ‘데이터 정제(data cleaning)’라고 부르며, 데이터에서 기존 속성(feature)을 조합해서 새로운 속성을 만들어내기 위해 데이터 전처리가 필요한 경우도 있다. 즉 데이터 전처리란, 데이터를 정제하고 가공하는 일 외에 데이터의 스케일을 맞춰주고(feature scaling), 더미화하고(dummification), 차원을 줄이는 일(dimensionality reduction) 등을 모두 포함하는 개념이다.
• ⦁ 탐색적 데이터 분석(EDA: Exploratory Data Analysis) : 전처리된 데이터를 이해하기 위해 데이터의 특징을 찾고, 숨겨진 패턴을 발견하는 과정을 ‘탐색적 데이터 분석’이라고 부른다. 탐색적 데이터 분석 단계에서는 데이터의 히스토그램이나 두 변수 사이의 산포도를 그려보고, 변수들의 상관관계를 보는 일 등을 포함한다. 탐색적 데이터 분석과 데이터 전처리, 모델 선택 과정은 순차적이라기보다 반복적인 관계로, 탐색적 데이터 분석을 통해 어떤 전처리가 필요한지 알 수 있고, 전처리 후에 데이터를 더 잘 이해할 수도 있다. 모델 선택 과정 역시 데이터 탐색과 밀접한 관계에 있다. 데이터를 이해하고 나서 데이터에 적합한 모델을 선택할 수 있고, 원하는 만큼 모델의 정확도가 나오지 않을 경우 그 이유를 찾기 위해 데이터 탐색 과정으로 돌아올 수 있다.
• ⦁ 모델 선택 : 모델을 선택한다는 것은 말 그대로 예측값을 계산하는 알고리즘을 선택하는 것이다. 모델이 사용할 속성들(features)을 선택하는 것은 때때로 의미 없는 속성이 들어갈 때 모델 성능이 더 떨어지는 경우가 있기 때문에, 모델에 중요한 속성들을 골라내는 일도 모델 선택과정에서 필요한 일이다.
• ⦁ 평가 및 적용 : 만들어진 머신러닝 모델의 성능을 평가하고, 모델을 활용하여 새로운 데이터에 대한 예측을 하는 단계이다.

파이프라인은 데이터의 흐름의 관점에서 말하는 것으로, Microsoft Research팀은 머신러닝 파이프라인을 9가지 단계(e.g., 모델 요구사항, 데이터 수집, 데이터 정제, 데이터 라벨링, 피처 엔지니어링, 모델 훈련, 모델 평가, 모델 배포, 모델 모니터링)로 구분하였고(Amershi et al., 2019), Wikibon Research의 Gilbert et al.(2016)은 ‘데이터 입수 - 데이터 준비 - 모델 교육 - 예측 제공’ 4단계로 구성하였다(George, 2016). 이외에도 Wang et al.(2019)은 머신러닝의 기본적인 Workflow를 크게 세 단계(준비-모델링-배포)로 구분하였고, 이식 외(2019)는 5단계(데이터 수집, 데이터 가공, 피처 추출, 학습모델 구현 및 검증, 테스트)로 구분하였다.

송경두 외(2019)는 의학 분야에서 딥러닝 모델링 프로세스를 주제 선정, 데이터 수집, 데이터 탐색 및 정제, 알고리즘 개발, 알고리즘 평가, 임상적용의 단계로 구분하였다.

• ⦁ 주제 선정 : 주제 선정이란 해결하고자 하는 문제를 찾는 것으로, 여러 해결과제 중에서 딥러닝에 적합한 과제를 찾는 단계를 말한다.
• ⦁ 데이터 수집 : 데이터 프로젝트 진행을 위해 데이터를 수집하는 단계이다. 머신러닝에서는 검출하고자 하는 피처(feature)를 전문가가 미리 정의하였지만, 딥러닝은 피처의 정의 없이 데이터로부터 자동적으로 피처를 학습한다.
• ⦁ 데이터 탐색 및 정제 : 데이터가 수집된 이후에는 데이터를 탐색하는 과정이 필요하다. 예를 들어, 수집된 데이터의 질이 알고리즘 개발에 적합한지, 데이터의 분포가 왜곡되어 있지는 않은지, 데이터의 특성은 어떠한지 등에 대한 탐색이 필요하다. 즉 탐색적 자료 분석(exploratory data analysis)을 통해 데이터 수집 과정에 문제가 없었는지 파악하고, 데이터 정제 방법에 대한 아이디어를 얻을 수 있다. 데이터 정제 과정을 세부적으로 살펴보면 데이터 알고리즘 개발에 적합하게 변환하는 과정과 데이터 레이블링 과정이 있다. 처음 수집된 데이터는 각각의 데이터마다 특성이 다르며 노이즈로 작용할 수 있는 부분들을 포함하고 있기 때문에, 각각의 영상데이터의 크기를 동일하게 맞추고, 실제 알고리즘 개발에 입력할 영상 이외의 부분을 잘라내는 등의 과정이 필요하다.
• ⦁ 알고리즘 개발 : 알고리즘 개발 단계는 전처리, 모델학습, 후처리 세 가지 단계로 나눌 수 있다. 전처리는 각 영상데이터가 원래 저장되어 있던 형태에서, 딥러닝 모델이 가장 효율적으로 문제를 해결할 수 있는 형태로 변환하는 과정이며, 후처리는 모델이 예측한 이후에 의사나 사용자가 인식할 수 있는 형태로 변환하는 과정을 말한다.
• ⦁ 알고리즘 평가 : 알고리즘이 개발되면 이를 평가하는 단계가 필요하다. 가장 일반적인 방법은 개발된 알고리즘을 평가 데이터에 적용하여 그 정확도를 평가하는 방법이며, 과제에 따라서 해당 분야의 전문가와 정확도 비교를 통해 개발된 알고리즘을 평가하기도 한다.

관련된 연구로, Gibson et al.(2017)은 딥러닝의 경우 3단계(모델 선택: 학습 데이터에 대한 모델 선택 및 설정, 모델 평가: 검증 데이터를 통해 모델 성능 측정, 모델 배포)로 구성된 일반적인 머신러닝 파이프라인을 채택한다고 하며, 이 과정은 매우 단순해보이지만 실제로는 좀 더 복잡한 과정이 들어가게 된다고 주장하였다.

이외에도 인공지능과 관련된 연구를 진행하며 모델링 구축 프로세스를 언급한 사례로, Park et al.(2018)은 인공지능 개발 사례분석을 위해 스캐터랩의 서비스 사례를 데이터 수집 - 레이블링 - 분석(패턴축소, 패턴인식 등) - 활용 4단계로 구분하여 연구를 진행하였다. Liu et al. (2018)은 스마트 헬스케어를 기반으로 Digitize(데이터 수집, 저장) - Analysis(인공지능을 통한 분석, 결과 도출) - Service(분석된 결과 기반으로 맞춤형 서비스 제공)로 구분하여 사례 조사를 실시하였다. Yun & Ahn(2017)은 인공지능 기술을 활용한 가짜 뉴스 예측 모형을 위해 데이터 수집과 클래스 구분(진실, 판단유보, 거짓) - 특징값들로 변환 - 학습용과 검증용 데이터 세트 구분, 특징값들을 다양한 기계학습 기법에 적용, 분류 예측 수행 - 성과 비교로 구성하여 제안하였다. 마지막으로 Lee et al.(2016)은 기계학습의 적용단계를 데이터 수집 - 알고리즘을 통한 데이터 학습 - 알고리즘에 대한 유의미성 단계로 구분하였다.

머신러닝과 딥러닝의 파이프라인은 단순해보이지만, 실제로는 좀 더 복잡한 과정이 들어가게 된다. 각 단계별 시각화 방법을 효과적으로 보여주기 위해, 본 연구에서는 머신러닝과 딥러닝의 파이프라인을 다룬 논문들을 토대로, 인공지능의 수행과정을 ① 탐색단계 (데이터 수집, 전처리, 다양한 기계학습 기법에 적용 등 모형개발 전 단계에 관한 시각화) ② 학습단계 (특징 추출, 특징 선택 등 모형 선택 후 실제 데이터 학습 과정에서의 시각화) ③ 추론단계 (알고리즘의 정확성과 유의미성 평가 등 모형의 성능에 관한 시각화)로 구분하여 연구를 진행해나간다.

Kwon et al.(2018)은 모든 환자의 개요를 스캐터 플롯(A)으로, 환자의 속성(Feature)은 바 차트(B, C)로 제공한다. 오른쪽 상단 바 차트(B)에서는 상위 3가지 공헌인자와 평균 점수를 보여주고, 차트 C에서는 성별, 연령, 예측된 진단 위험도의 평균점수를 각각 바 차트(Bar Chart), 면적 차트(Area Chart), 원형 차트(Circle Chart)로 보여준다(Figure 2). 사용자들은 차트의 컬러와 xy 각 축의 정보를 직접 선택할 수 있다. 여러 형태의 그래프를 활용한 시각화 제공으로 사용자(건강 전문가)들이 데이터 분포나 특성, 크기를 한 눈에 쉽고 빠르게 파악하는데 도움을 줄 수 있을 것이다.

Figure 2 Visualization of all collected patients(A) and features(B,C) (Kwon et al., 2018)

Krause et al.(2016)은 전자 의료 기록을 통해 정의한 진단 코드와 절차, 환자 상태 등을 기반으로 환자의 기록 특성을 두 개의 열(당뇨병 확진을 받은 집단, 당뇨병에 걸리지 않은 집단)로 보여주고, 각 칼럼은 0.1 단계씩 예상 확률로 분류되어 사용자들은 해당 기준에 맞는 환자 선택이 가능하다. 영역이 너무 작아 마우스 클릭이 어려울 경우를 고려하여 각 영역 옆에 박스가 표시되며, 모집단 선택 시엔 환자 개개인의 예측 결과를 숫자로 확인할 수 있다(Figure 3). 색과 면적을 기준으로 표시되는 트리맵 차트의 제공으로 집단별 상대적인 크기를 비교하는 것이 가능하지만, 기본적인 막대 차트나 원 차트가 아닌 트리맵 차트를 사용함으로써 대부분의 사람들은 데이터 파악에 어려움을 겪게 될 가능성이 있다.

Figure 3 The experimental group and the control group are organized into two columns based on the recording characteristics (Krause et al., 2016)

Wang et al.(2019)은 각 환자별 24시간동안 측정된 심박수, 확장기 혈압, 수축기 혈압, 혈당, 체온 등을 원형의 데이터 포인트로 보여주지만(Figure 4), 각각의 데이터 포인트를 추세선으로 보여주지 않기 때문에 특징적인 패턴을 한 눈에 파악하긴 어려울 수 있다.

Figure 4 Vital visualization of patients measured for 24 hours (Wang et al., 2019)

Hohman et al.(2019)은 로우 데이터를 Interactive Table로 제공하며, 사용자가 직접 데이터 정렬과 필터링 등을 할 수 있다(Figure 5). 전체 데이터를 한 눈에 볼 수 있는 Interactive Table을 통해 데이터 과학자들이 원시데이터를 측정항목과 기준에 따라 한 눈에 파악하는데 도움을 줄 수 있고, 바로 비교, 필터링 및 구성을 할 수 있다.

Figure 5 Provides raw data as an interactive table

분별력을 유지하며 차원을 축소한 사례로, Siang et al.(2018)은 수집된 센서 데이터에서 추출한 561차원의 요인들을 T-SNE 알고리즘을 활용하여 2차원으로 축소해 동작별로 시각화하여 제공한다. 이를 통해 어떤 동작이 모델의 정확성을 떨어뜨리는지 확인할 수 있고, 유사패턴을 갖는 동작에 대한 정보파악도 가능하다(Figure 6, 좌측). Kahng et al.(2017)의 연구에서도 사용자가 고차원적인 패턴을 더 잘 탐색 할 수 있도록 ‘t-SNE 뷰’를 제공한다(Figure 6, 우측). 즉 변수들 사이의 데이터 분포를 확인하기 쉬운 산점도 차트를 사용하여 각 요소들의 위치, 크기에 따른 값들의 관계 등 분류 분석 결과를 시각적으로 이해하고 빠른 데이터 탐색에 유용하다(Byun & Park, 2016).

Figure 6 Left: Visualization of extracted factors for each motion to grasp the information of motions with similar patterns (Siang et al., 2018), Right: t-SNE View (Kahng et al., 2017)

Smilkov et al.(2016)도 데이터 종류(훈련데이터, 검증데이터)를 두 가지 색상으로 구분해서 보여준다. 사용자는 테스트 데이터세트를 직접 선택해서 사용해 볼 수 있고, ‘Show Test Data’ 버튼 클릭 시 테스트 데이터의 외곽선은 검은 원형으로 구분되어 표시된다. 또한 슬라이드 바(slider)를 통해 학습과 검증에 사용할 데이터의 비율, 노이즈를 얼마로 둘 것인지, 배치 사이즈를 몇 개로 할지 정할 수 있다(Figure 7). 이처럼 데이터 종류나 데이터 비율 등을 사용자가 직접 설정해서 실험해 볼 수 있도록 설계한다면, 비전문가들의 인공지능 기술과 모델 작동 이해에 도움을 줄 수 있을 것이다.

Figure 7 Visualization of the test dataset (playground.tensorflow.org)

Amershi et al.(2015)은 레이블이 있는 박스의 색상을 다르게 제공하며 (녹색-증가, 적색-감소), 학습 데이터는 디스플레이 상단에, 검증 데이터는 하단에 표시된다. 모델의 예측 점수(0~1)에 따라 박스가 배치되기 때문에, 성능이 좋은 모델의 경우 녹색 박스가 오른쪽으로, 빨간 박스가 왼쪽으로 배치된다. 만일 사용자가 모델 구축을 반복하며 더 많은 데이터를 추가할 시, 박스는 재배열되고 자동으로 업데이트 된다(Figure 8). 이를 통해 모델의 성능을 시각적으로 한 눈에 파악, 전달하는 것과 동시에 사용자가 직접적으로 데이터의 오류 등을 검사하는 것이 가능할 수 있다.

Figure 8 Visualization of a labeled box (Amershi et al., 2015)

은닉계층의 정보를 시각화한 사례로, Amershi et al.(2015)의 ‘ModelTracker’에서는 실무자들이 모델 구축을 반복하며 데이터를 추가로 입력할 시 박스도 추가된다. 예측 점수가 바뀔 경우 박스는 재배열되며 자동 업데이트되며, 속성(feature)이 영향을 미치는 정도에 따라 박스 밝기의 활성화로 구분된다(Figure 9). 활성화를 시각화하여 제공함으로써 어느 부분이 결정에 중요하게 기여하는지 이해할 수 있고, 분류에 실수가 있는 경우 결정 과정을 디버깅하는데 도움을 줄 수 있을 것이다.

Figure 9 According to the degree of influence of the feature, it is divided into box brightness activation (Amershi et al., 2015)

Kahng et al.(2017)은 활성화된 인스턴스(같은 클래스에 속하는 개개의 개체)의 하위 세트 및 클래스의 활성화 정보를 ‘뉴런 활성화 패널 행렬 뷰’를 통해 계층적으로 시각화하여 제공한다. 녹색 화살표가 가리키는 칼럼(column)은 뉴런을 나타내며, 활성화가 강할수록 어두운 회색으로 보인다(Figure 10). ‘ModelTracker’와 마찬가지로 활성화를 시각화하여 보여줌으로써 어느 부분이 모델의 결정에 중요하게 기여하는지 파악하는데 도움을 줄 수 있을 것이다.

Figure 10 Neuron activation panel matrix view (Kahng et al., 2017)

Kwon et al.(2018)의 연구에서는 환자별 방문 기록은 가로로 배열된 박스를 통해 제공한다. 각 상자는 방문 시 산정된 모든 의료 코드의 공헌도 점수의 합을 나타내며, 그 점수에 따라 청색-백색-적색(음-0-양) 의 척도로 변화하도록 구성하였다(Figure 11).

Figure 11 Sequence-based data visualization 2 (Kwon et al., 2016)

모델의 예측이 단일 입력 변수에 어떻게 의존하는지 보여준 사례로, Krause et al.(2016)은 부분 의존성(Partial Dependence: 소수의 입력 변수와 예측 사이의 함수관계 나타냄) 플롯을 시각화하여 제공한다 (Figure 12). 이를 통해 예측이 관심 입력 변수의 값에 따라 부분적으로 영향을 받는지 확인할 수 있다. 즉 특성과 예측 사이의 인과관계를 분석하여 명시적으로 보여줌으로써 데이터 과학자들의 빠른 원인 해석에 도움을 줄 수 있지만, Figure 12의 경우 특성 분포가 표시되지 않아 사용자들의 오해를 유발할 가능성이 있다.

Figure 12 For understanding the relationship between input variables and predictions Partial dependence plot (Krause et al., 2016)

Hohman et al.(2019)은 각 속성(Feature)에 대한 데이터 밀도를 라인차트로 제공하며, 사용자는 오른쪽의 Feature Sidebar에서 어떤 속성을 보여줄지 선택할 수 있다. Feature Sidebar에 나열된 키워드 순서는 모델에서의 중요도에 따라 정렬된 것이다(Figure 13). 이를 통해 데이터 과학자들이 모델에서의 중요도에 따른 키워드를 한 눈에 파악하는 데 도움을 줄 수 있고 바로 비교, 필터링 및 구성이 가능하다.

Figure 13 Feature Sidebar (Hohman et al., 2019)

Wang et al.(2019)은 환자의 바이탈 수치가 시스템이 예측하는 5가지 위험상황(e.g., 쇼크, 급성 심근 경색, 관상동맥심장질환 등)에 어느 정도의 영향을 미치는지 토네이도 다이어그램(Tornado Diagram)을 통해 보여줌으로써(Figure 14), 의료진들이 바이탈 수치와 예측되는 위험 상황간의 인과관계를 빠르게 파악하는데 도움을 줄 수 있다.

Figure 14 Tornado Diagram (Wang et al., 2019)

Grimaldo & Novak(2020)의 연구에서는 예측 날짜(결과값)의 시간별 에너지 수요를 라인차트(Line Chart)를 통해 보여주며, 시간별 데이터는 과거 유사한 날의 평균값을 기반으로 제공한다. 또한 레이더 차트(Radar Chart)를 통해 예측 날짜와 가장 유사한 과거 5일의 바람, 온도, 일조량 등을 비교해서 보여주며, 사용자는 대시보드에서 필터 기능을 적용하여 특정 요소만을 선택해서 보는 것도 가능하다(Figure 15). 예를 들어, 일조량과 온도가 비슷한 두 개의 날을 선택해서 생산량과 소비량을 분석한 후 최대 소비 시간을 비교할 수 있다. 레이더 차트를 통해 다양한 요소를 한 눈에 비교하여 볼 수 있지만, Figure 15의 레이더 차트에서는 뚜렷하게 경계가 구분되는 색상을 활용하지 않아 해석에 오류가 생길 가능성이 있다.

Figure 15 Demand on similar days (Left), Weather input parameters (Right) (Grimaldo & Novak, 2020)

Smilkov et al.(2016)이 개발한 ‘Playground’에서는 뉴런의 활성화 함수 노드와 히든 레이어(hidden layer)를 추가시켜가며 학습 진행과정을 파악할 수 있다. 사용자는 학습률(Learning rate)과 문제유형(Problem type) 등을 선택할 수 있고, 플레이 버튼을 누르면 각 뉴런에서 어떤 종류의 데이터에 대한 가중치가 높아지는지 선의 굵기 변화를 통해 시각적으로 확인할 수 있다(Figure 16). 사용자는 클릭 몇 번으로 쉽게 자신만의 인공신경망을 설계하고 학습, 실행시킬 수 있으며, 인공지능 신경망이 자료를 분류해주는 것을 그래픽으로 보여줌으로써 인공지능 신경망의 원리를 파악하는데 도움을 줄 수 있다.

Figure 16 Visualize the learning process as it passes through nodes and layers (playground.tensorflow.org)

시퀀스 기반 데이터의 학습 과정을 시각화한 사례로, Kwon et al.(2018)은 선택한 환자 정보를 면적 차트와 코드 바 차트(Code Bar Chart)를 통해 제공한다. 면적 차트에서는 시간이 지남에 따라 산정된 평균과 표준편차를 수평축을 따라 제공하고, 코드 바 차트(Code Bar Chart)에서는 환자들의 공헌인자 9가지를 보여준다(Figure 17). 시간의 흐름에 따른 양적 진전을 면적 차트로 보여주어 사용자가 그 추이를 쉽게 확인하는데 도움을 줄 수 있지만, 한 눈에 직관적으로 파악하긴 어려울 수 있다.

Figure 17 Sequence-based data visualization 1 (Kwon et al., 2018)

Kahng et al.(2017)은 ‘인스턴스 선택 패널’을 통해 분류 결과를 제공하며(오-오분류된 인스턴스, 왼-올바르게 분류된 인스턴스), 오분류 된 인스턴스에 마우스 오버 시 그 이유를 확인할 수 있다(Figure 18). 만일 분류에 실수가 있을 경우, 사용자들이 ‘인스턴스 선택 패널’을 통해 인공지능의 결정 과정을 확인하고 이해하는데 도움을 줄 수 있을 것이다.

Figure 18 Instance selection panel for visualization of classification results (Kahng et al., 2017)

Smilkov et al.(2016)은 출력 결과를 그래프로 제공하며(Figure 19), 오류가 줄어드는 상황은 ‘OUTPUT’의 ‘Test loss’를 통해 확인할 수 있고, 계산 횟수는 플레이 버튼 옆 ‘Epoch’ 횟수로 알 수 있다. 학습 단계에서 자신이 설계한 인공신경망의 분류 결과를 시각적으로 확인 가능함으로써, 사용자는 어떤 feature가 회오리 무늬를 만들어낼 수 있을지, 몇 겹의 hidden layer가 적당할지 고민해 볼 수 있고, 계산횟수가 증가함에 따라 모델이 어떻게 발전해나가는지 확인해 볼 수 있다.

Figure 19 Visualize output results (playground.tensorflow.org)

Kwon et al.(2018)은 시간의 진행에 따라 예측된 진단 위험을 라인차트(Line Chart)로 제공한다. 라인차트 바로 아래 코드 바 차트(Code Bar Chart)를 통해 9가지 상위 공헌도 의료 코드를 보여주어, 예측된 진단 위험의 진행과 왜 이러한 예측이 이루어졌는지 확인할 수 있다. 만일 사용자가 x축을 따라 이동하면, 시간점까지 이전의 방문에 대한 의료 코드의 업데이트된 공헌도 점수를 확인할 수 있다(Figure 20). 단순 결과값이 아닌 라인 차트와 코드 바 차트를 통해 예측 결과에 대한 근거를 제공하여, 사용자들(의료진)의 효율적이고 효과적인 처방에 도움을 줄 수 있을 것이다.

Figure 20 Visualize prediction scores (Kwon et al., 2019)

Wang et al.(2019)은 각 환자별 예측되는 질병 위험도를 색상이 다른 바 차트(Bar Chart)를 통해 제공하며, 어떤 조건을 충족시켜야 환자가 위험 상황(쇼크, 급성 심근 경색 등)을 예방할 수 있을지 텍스트를 통해 제시한다(Figure 21). 인공지능이 제안하는 결과값(예측되는 질병 위험도)만을 제공하는 것이 아닌 마우스 오버 시 환자별 예방법을 의료진에게 제공으로써, 사용자(의료진)들의 잘못된 판단을 줄이는 데 도움을 줄 수 있을 것이다.

Figure 21 System Predicted Risk(Left), Counterfactual Rule(Right) (Wang et al., 2019)

Grimaldo & Novak(2020)은 사용자(기술적 지식이 없는 비전문가)가 예측 결과를 이해하고 분석하는데 도움이 되도록 예측 날짜와 과거 날짜 사이의 평균 에너지 수요를 유사성에 따라 바 차트(Bar Chart)로 정렬하여 보여준다(Figure 22). 예측하는 날이 가장 왼쪽에 표시되며, 소비량이 유사한 과거 날짜 5일이 순서대로 표시된다. 기본적으로 많이 활용되는 바 차트를 제공하여 사용자들이 한 눈에 에너지 수요를 쉽게 비교, 파악하는 것이 가능할 수 있다.

Figure 22 Demand on similar days (Grimaldo & Novak, 2020)

Hohman et al.(2019)의 예측 결과 그래프에서 가로축은 모든 속성(feature)의 카테고리를, y축은 최종 예측값을 나타낸다. Figure 23에서 Instance(인스턴스: 같은 클래스에 속하는 개개의 객체) 550과 798은 속성(feature)이 영향을 미치는 정도에 따라 박스 밝기의 활성화로 구분된다. 결과적으로 waterfall chart가 비슷하게 그려지고, 예측값(190.606과 188,620)도 큰 차이가 없는 것으로 보이지만, ‘OverallQual’ 피처에 마우스 커서를 갖다 댈 시 Instance 550에서는 +22,295로 기여하는 반면, Instance 798에서는 –14,340으로 기여함을 알 수 있다. 즉 인공지능이 도출한 결과에 대한 근거 확인이 가능하기 때문에 사용자들이 모델의 예측 결과를 올바르게 해석하는 데 도움이 될 것이며, 각 속성(feature)이 영향을 미치는 정도에 따라 박스 밝기를 다르게 시각화함으로써 어느 부분이 결정에 중요하게 기여하는지 파악할 수 있다.

Figure 23 Possible to confirm the basis for the result value derived by artificial intelligence (Hohman et al., 2019)

Krause et al.(2016)의 Prospector에서는 환자별 예측 위험도를 바 차트(Bar Chart)로 제공하며(Figure 24, 좌), 예측된 위험을 가장 크게 감소시킬 수 있는 값에 대해 외곽선이 흰색인 원으로 표시하여 제안한다(Figure 24, 가운데). 또한 사용자가 직접 값을 변경했을 경우 (bmi 값을 0에서 1로 변경), 예측 위험도가 어떻게 변화하는지 오른쪽의 바 차트를 통해 확인할 수 있다(Figure 24, 우).

Figure 24 System Predicted Risk(Left), Suggest a value that can reduce the predicted risk (Middle), Predicted risk change as the value changes (Right) (Krause et al., 2016)

구현한 모델의 성능 평가 및 결과값의 구체적 확인을 목적으로 한 사례로, Amershi et al.(2015)은 Confusion Matrix(분류 모델의 정확성을 평가할 때 활용하는 오차행렬)를 제공한다. Figure 25의 AUC값은 모델 성능을 요약하여 보여주는 것으로 점수가 높을수록 수행능력이 좋음을 의미하며, 오른쪽의 ‘Precision Recall Curves’는 알고리즘의 정밀도(Precison)와 재현율(Recall)의 관계를 나타낸 것이다. Confusion Matrix를 단순 텍스트로 제공하는 것이 아닌 집계한 값에 비례해서 색상이 다른 2차원 자료로 시각화하여 모델이 얼마나 정밀하고, 얼마나 실용적인지 한 눈에 파악하는데 도움을 줄 수 있다. Precision Recall Curves의 경우, 모델 비교 후 선택하고자 할 때 유용하게 사용될 수 있다.

Figure 25 Confusion Matrix for model performance evaluation (Amershi et al., 2015)

Siang et al.(2018)은 분류 성능이 좋지 않은 동작에 대한 예측 결과의 구체적 확인을 위해 Confusion matrix를 제공한다. 세로축은 실제 동작을, 가로축은 모델이 분류한 동작을 의미한다(Figure 26, 좌). (Figure 26, 우)를 보면 sitting이 standing으로 잘못 분류되어 Recall(관련 있는 것으로 분류된 항목들 중 실제 검색된 항목들의 비율)값이 가장 낮게 나온다. 하지만 standing은 sitting으로 오분류되지 않는 것을 보아, 학습한 DNN 모델이 두 가지 동작(standing, sitting) 중에서 standing으로 분류하는 성향이 높음을 알 수 있다. 이를 통해 모델이 얼마나 정밀하고, 얼마나 실용적인지 한 눈에 파악하는 데 도움을 줄 수 있다.

Figure 26 Confusion Matrix for concrete confirmation of prediction results (Siang et al., 2018)

모델의 성능 비교를 가능하게 한 사례로, Krause et al.(2016)은 하나의 플롯(plot, 여러 값 사이의 수치적인 관계를 좌표계에 점으로 찍어서 선 또는 면으로 나타낸 것)에서 세 가지 모델을 동시에 볼 수 있도록 구성하였다. 이를 통해 사용자는 본인이 진행하는 프로젝트에서의 적합한 모델을 선택하는데 도움을 얻을 수 있다(Figure 27).

Figure 27 Multiple models can be compared (Krause et al., 2016)