
의사-환자 의사소통 향상 및 환자의 합리적인 의사결정을 위한 Explainable AI(XAI) 기반의 진료보조 서비스 시스템 제안: 치과 진료 사례를 중심으로
초록
연구배경 치과 진료는 영상 기반 진단, 전문 용어, 제한된 상담 시간 등으로 인해 환자의 이해와 참여가 저해되며, 의료진 중심의 일방적 설명과 정보 비대칭이 지속된다. 기존 AI는 진단 정확도 개선에 치중해 환자 맞춤형 설명과 소통 개선에는 한계가 있다. 이에 본 연구는 인간 중심 AI(HCAI), 설명 가능한 AI(XAI), 인간 개입(HITL)을 통합한 설명형 AI 협업 모델을 제안하였다.
연구방법 인간-AI 협업 구조를 정의하기 위해 이론적 고찰, 심층 인터뷰, 사용자 관찰을 수행해 페르소나와 여정을 도출하고, 협업 기회 요소 기반 시나리오를 작성하였다. 의료진·환자 대상 리커트 척도 기반 정량 설문과 심층 인터뷰를 병행하여 설계 방향을 확정한 뒤, 프로토타입 제작과 사용자 테스트를 통해 통합 서비스 프로세스를 제시하였다.
연구결과 제안된 시스템은 ‘X-ray 설명’, ‘My차트 요약’, ‘맞춤형 치료 시뮬레이션’, ‘지능형 사후관리 챗봇’의 네 서비스로 구성되며, 의료진 판단-AI 해석-환자 참여가 순환하는 협업 구조로 설계되었다. 사용성 평가에서 환자와 의료진 모두 높은 만족도를 보였으며, 정성 분석 결과, 의료진은 설명 신뢰성, 설명 방식의 개인화, 시각화·요약 기능 강화를 요구하였고, 환자는 전문가 개입 여부 명확화와 챗봇 상호작용성 개선을 제안하였다. 이를 반영해 신뢰성과 자율성의 균형을 고려한 설계 개선 방향을 도출하였다.
결론 본 연구는 HCAI-XAI-HITL 기반 프레임워크를 통해 설명 가능한 AI를 ‘설명 파트너’로 재정의하고, 환자의 자기결정권과 의료진의 판단권을 모두 보장하는 인간-AI 협업 구조를 제시하였다. AI 개입 수준을 Automate-Enhance-Amplify-Augment의 4단계로 구조화하고, 설명 수준과 협업 방식을 연계하여 자기결정권과 설명 수준의 관계를 구체화하였다. 제안 모델은 설명 가능한 AI의 의료 적용 가능성을 확장하고, 진료 전-중-후를 아우르는 서비스 청사진으로 의료 AI 설계·평가의 실무적 기반을 제공한다. 다만, 연구 범위가 치과 진료에 한정되어 있어 타 진료과 확장, 문화적 맥락 적응성, AI 설명 실패 시 법적·윤리적 기준 마련이 필요하다.
Abstract
Background Dental care often relies on image-based diagnosis, specialized terminology, and limited consultation time, which often hinders patient understanding and engagement. This environment reinforces one-way, clinician-centered explanations and information asymmetry. Existing artificial intelligence (AI) applications have focused primarily on improving diagnostic accuracy, with limited impact on personalized explanations and patient–clinician communication. This study proposes an explanatory AI collaboration model that integrates human-centered AI (HCAI), explainable AI (XAI), and human-in-the-loop (HITL) approaches, tailored for dental care.
Methods To define the human–AI collaboration structure, we conducted theoretical research, in-depth interviews, and user observations to derive personas and user journeys. Collaboration opportunity factors were then translated into scenarios. Design directions were refined through Likert scale surveys and in-depth interviews with clinicians and patients, followed by prototype development and user testing to propose an integrated service process.
Results The proposed system comprises four core services—X-ray Explanation, MyChart Summary, Personalized Treatment Simulation, and Intelligent Post-Care Chatbot—designed as a cyclical collaboration model linking clinician judgment, AI interpretation, and patient engagement. Usability evaluations showed high satisfaction among both patients and clinicians. Qualitative analysis revealed that clinicians emphasized explanation reliability, personalization, and enhanced visualization/summary functions, while patients requested clear indication of expert involvement and improved chatbot interactivity. These insights informed design improvements balancing trust and patient autonomy.
Conclusions This study redefines explainable AI as an “explanation partner” through an HCAI–XAI–HITL framework, presenting a collaboration structure that safeguards both patient autonomy and clinician decision authority. AI intervention levels were structured into four stages—Automate, Enhance, Amplify, and Augment—linking explanation depth with collaboration modes to clarify the relationship between autonomy and explanation levels. The model expands the theoretical applicability of explainable AI in healthcare and provides a practical blueprint covering pre-, intra-, and post-consultation phases for AI system design and evaluation. However, as the study is limited to dental care, future work should address scalability to other medical fields, cultural adaptability, and legal/ethical considerations in cases of AI explanation failure.
Keywords:
Explainable AI (XAI), Human-Centered AI (HCAI), Dental Care Services, Patient-Centered Design, Shared Decision-Making, 설명 가능한 인공지능(XAI), 인간 중심 AI(HCAI), 치과 진료 서비스, 환자 중심 설계, 공동 의사결정1. 서론
1. 1. 연구의 배경 및 목적
의료 분야에서는 환자의 치료 자기결정권 보장, 의사–환자 간 원활한 의사소통 및 신뢰 형성을 위한 변화 요구가 꾸준히 증가하고 있다(Lipovetski & Cojocaru, 2019; Alyami et al., 2024). 특히 치과 진료에서는 의료진 주도의 영상 기반 진단과 치료 계획, 짧은 진료 시간, 복잡한 전문 용어 사용 등으로 인해 환자의 이해와 참여가 제한되는 문제가 빈번히 발생한다. 알리아미(Alyami et al., 2024)는 시간 제약, 전문 용어의 난해함, 환자의 불안이 이러한 한계를 심화시키는 주요 요인이라고 지적하였다. 이는 시각 자료 부족, 치료 옵션 비교 설명의 미흡, 환자 개인 상황에 맞춘 맞춤형 정보 제공의 부족으로 이어지며, 궁극적으로 의사–환자 간 소통의 장벽을 심화시키고 정보 비대칭과 치료 만족도 저하를 초래한다(Avramova, 2021; Alyami et al., 2024).
이 문제를 해결하기 위해서는 환자의 건강정보 이해능력(Health Literacy) 향상, 공동 의사결정(Shared Decision-Making) 활성화, 진료 연속성(Continuity of Care) 보장이 필수적이다. 건강 문해력과 SDM의 통합은 환자 참여를 강화하며(Khatri et al., 2023; Muscat et al., 2021) 특히 인간 중심 인공지능(Human-Centered AI, HCAI)과 설명 가능한 인공지능(Explainable AI, XAI)을 기반으로 한 시스템은 환자 특성과 진료 맥락을 반영하여, 신뢰 기반의 협업 진료 환경을 구현할 잠재력을 지닌다(Pawar et al., 2020; Shneiderman, 2020).
기존 AI 기반 의료 연구는 진단 정확도 향상, 정보 기반 의사결정, 치료 계획 최적화 등에서 의료 오류 감소와 환자 결과 개선에 기여해왔다(Ahmed et al., 2020). 그러나 맞춤형 설명, 맥락 기반 정보 제공, 의사–환자 소통 개선과 같은 측면에서는 여전히 한계가 있으며, 서비스 디자인 관점에서 HCAI와 XAI를 통합해 환자 경험 전반을 설계한 사례는 드물다.
따라서 본 연구는 HCAI와 XAI 개념을 바탕으로, 건강정보 이해능력, 공동 의사결정, 진료 연속성을 지원하는 설명형 AI 기반 진료 보조 시스템 구조를 설계·제안한다. 이를 통해 환자의 이해도와 참여도를 높이고 의사–환자 간 신뢰 기반 협업 진료 환경을 조성하며, 진료 효율성과 환자 만족도를 동시에 향상시키는 것을 목표로 한다. 궁극적으로 본 연구는 임상 현장에서 서비스 품질과 환자 경험을 함께 개선하는 데 기여하고자 한다.
1. 2. 연구 범위 및 방법
본 연구는 치과 진료 환경에서 설명 가능한 인공지능(XAI) 기반 의사결정 지원 시스템 설계를 목표로 하며, 대상은 치과의사, 치위생사, 환자이다. 진료 현장의 정보 비대칭과 제한적 설명 문제를 설명 방식의 적절성, 정보 수용 정도, 의사–환자 협력 가능성으로 구분하고, 이를 토대로 설명형 AI 설계 방향을 도출한다.
연구 방법은 설문조사와 심층 인터뷰를 통해 인식을 수집한 뒤, AI 개입 수준, 협업 구조 유형, 설명 도구 형태를 기준으로 시나리오별 효과를 분석한다. 이를 통해 XAI 기반 설명 도구가 환자의 이해도, 자율성, 의료진 신뢰에 미치는 영향을 검토한다. 최종적으로 시각화, 시뮬레이션, 요약 등 다양한 설명 수단이 환자 참여를 어떻게 증진시키는지 분석하고, 인간–AI 협업 기반의 설명형 시스템 구조를 체계화한다. 연구의 단계별 과정은 [Table 1]에 제시하였다.
2. 이론적 배경
2. 1. 치과 진료에서 환자의 이해도 향상을 위한 인공지능(XAI)의 활용
치과 진료는 영상 기반 진단과 치료 계획 중심으로 진행되며, 전문 용어와 짧은 진료 시간으로 인해 환자의 이해와 참여가 제한되는 경우가 많다(Sharma & Patnaik, 2018). 이러한 문제는 의료진이 공유 의사결정을 단순한 정보 제공으로 오해하거나, 환자 이해도보다 시간 효율성을 우선시하는 진료 관행과 맞물려 의료진 중심의 일방적 진료로 이어질 수 있다(Hayer & Wassif, 2022). 이러한 한계를 보완하는 방안으로 설명 가능한 인공지능(XAI)이 진료 환경에서의 정보 비대칭 해소 방안으로 주목받고 있다. XAI는 환자 맞춤형 시각 자료, 치료 옵션 비교, 예후 시뮬레이션 등을 제공해 정보 비대칭을 완화하고 신뢰 기반의 협력을 촉진한다(Pawar et al., 2020). 예를 들어 아후초구(Ahuchogu et al., 2025)는 폐렴 진단에 XAI를 적용해 진단 근거를 시각화함으로써 의료진 신뢰를 높였고, XAI는 의료진뿐 아니라 환자의 신뢰 형성에도 기여할 수 있다(Shneiderman, 2020).
그러나 현재 XAI 활용은 기술적 정확성에 치중되어 있으며, 의사–환자 소통 개선을 핵심 목표로 한 설계는 부족하다(Yang, 2022). 이에 본 연구는 인간 중심 인공지능(HCAI) 개념을 도입하여, 진료 맥락에 최적화된 상호작용형 XAI 구조를 제안하고자 한다.
2. 2. 인간 중심 AI(HCAI) 기반 협업 구조
HCAI(Human-Centered AI, HCAI)는 AI 설계에서 인간의 가치, 통제권, 이해 능력을 우선시하는 설계 철학이다(Shneiderman, 2020).
슈나이더만은 AI 자동화 수준(Automation Level)과 인간 주도성(Human Agency)을 두 축으로 네 가지 협업 유형을 제시했다: ▲AI 주도형(High Automation, Low Agency), ▲제한형(Low Automation, Low Agency), ▲인간 보조형(Low Automation, High Agency), ▲양측 적극 참여형(High Automation, High Agency).
의료 분야에서는 환자 안전성과 전문성 보장을 고려할 때 ‘양측 적극 참여형’ 협업 구조가 가장 적합하다. 이 구조에서 AI는 대규모 데이터 분석과 예측을 담당하고, 의료진은 이를 검토·판단해 최종 결정을 내린다. 따라서 HCAI는 AI를 대체자가 아닌 ‘설명형 파트너’로 규정하며(Brynjolfsson & McAfee, 2014; Daugherty & Wilson, 2018), 특히 복잡하고 심리적 부담이 큰 치과 진료에서 환자와 의료진 모두의 이해와 판단을 지원하는 체계를 강조한다.
2. 3. 치과 진료를 위한 인간-AI 협업 프레임워크
HITL(Human in the Loop)은 AI가 분석·예측을 수행하면 인간 전문가가 이를 검증하고, 상황적·윤리적 판단을 반영해 최종 결정을 내리는 구조를 의미한다(Amershi et al., 2014; Holzinger, 2016). HITL 방식은 AI의 판단 오류를 줄이고, 다양한 환경에서 적용성을 높이며, 피드백을 통해 성능을 개선할 수 있다는 점에서 의료 분야에서 필수적이다. 의료 현장은 안전성과 임상 타당성이 동시에 요구되므로, AI의 분석 능력과 의료진의 경험을 결합해 신뢰성 있는 의사결정을 가능하게 한다.
동일한 진료 과정에서도 의료진과 환자의 목적이 다르므로, AI가 수행하는 기능의 성격에 따라 협업 방식을 구조화할 필요가 있다. 본 연구에서는 Liao et al.(2020)의 인간 중심 AI 설계 프레임워크와 Shneiderman(2020)의 HCAI 협업 유형을 기반으로, ‘AI가 정보를 처리하는 주체성의 정도’를 기준으로 네 가지 협업 단계를 재정의하였다.
- - Automate(자동화): 반복적 데이터 수집 및 행정 업무를 AI가 독립적으로 수행. 의료진 개입 최소, 환자는 정보 제공자 역할.
- - Enhance(향상): AI가 시각적 강조·요약으로 환자의 이해를 돕되, 의료진이 최종 설명. 환자는 정보 수용자 역할.
- - Amplify(증폭): AI가 시뮬레이션·비교 분석 제공, 의료진과 환자가 함께 검토하여 의사결정. 환자는 능동적 선택자 역할.
- - Augment(보완): 환자 맞춤형 설명과 사후관리를 AI가 생성하되, 의료진이 검증 후 승인. 환자는 자율 관리자 역할.
각 단계별 AI 기능, XAI 설명 기법, 사용자 협업 구조는 [Table 2]에 제시하였다.
3. 사용자 조사 및 인터뷰
3. 1. 조사 목표 및 대상
본 조사는 XAI 기반 치과 서비스 설계를 위한 심층인터뷰(In-depth Interview) 단계로, 환자와 의료진의 진료 경험과 정보 활용 방식을 정성적으로 파악하는 것을 목표로 한다. 이를 통해 진료 과정의 정보 격차, 의사소통 문제, 개인 건강 기록(Personal Health Record, PHR) 기반 AI 협업 가능성을 탐색하고자 하였다.
2025년 4월 13일부터 5월 9일까지 1차 진료기관의 치과의사 1명, 치위생사 2명, 환자 6명(20~50대, 최근 1년 내 치과 방문 경험 환자) 총 9명을 대상으로 개별 심층 인터뷰를 실시하였다.
주요 탐색 항목은 ▲진료 전·중·후 단계별 정보 전달 방식과 한계, ▲의사결정 과정의 인지적 어려움, ▲AI 기반 설명 도구에 대한 기대와 우려, ▲AI 개입 시점과 설명 방식의 수용 조건이다. 인터뷰는 반구조화 형식으로 약 1시간씩 진행했으며, 실시간 메모와 녹음 전사 자료를 활용해 정성 분석을 수행하였다.
3. 2. 심층인터뷰 분석
어피니티 다이어그램 분류 기법을 통해 인터뷰 응답을 클러스터링한 결과, 다음의 네 가지 XAI 서비스 설계 방향성이 도출되었다. 첫째, 의료진은 AI를 설명 보조 도구로 활용하되 최종 판단은 의료진이 수행해야 한다고 인식하고 있었으며, 반복 설명 및 정보 전달 업무를 AI가 분담하는 협업 구조에 긍정적 반응을 보였다. 둘째, 환자는 전문 용어 중심의 빠른 설명으로 진료 내용 이해에 어려움을 겪고 있었으며, 치료 옵션 비교 정보 부족과 사후 관리 안내 부재가 주요 Pain Point로 확인되었다. 셋째, 의료진과 환자 모두 AI 단독 설명에 대한 신뢰도가 낮아, 의료진이 진단 및 치료 방향을 제시하고 AI가 이를 시각화·요약하여 환자의 이해를 돕는 병행 구조가 필요하였다. 넷째, 진료 전·중·후 전 과정에서 AI 개입 기회가 존재하나 단계별로 차등화되어야 하며, 진료 전 사전 정보 제공, 진료 중 영상 판독 보조 및 치료 옵션 시뮬레이션, 진료 후 결과 요약 및 사후 관리 안내가 주요 설계 기회로 도출되었다.
나아가 인터뷰 전사 자료에 대해 개방 코딩 및 축 코딩을 실시하고 내용 분석(content analysis)을 수행하여, 환자 측 의미 단위 PI-1–PI-4와 의료진 측 의미 단위 DI-1–DI-4를 도출하였다. 도출된 의미 단위를 상위 범주로 통합한 결과, 페르소나 유형을 분류하는 다섯 가지 핵심 속성이 수렴되었으며, 그 과정은 [Table 3]에 제시하였다.
3. 3. 핵심 사용자 페르소나 도출
3.2절에서 도출된 다섯 가지 핵심 속성([Table 3])을 기준으로, 각 속성을 인터뷰 발화에 근거하여 ‘높음/중간/낮음’으로 분류하고 속성 조합 패턴에 따라 환자 2명과 의료진 1명의 대표 페르소나를 구성하였다.
① 환자 A - 능동적 비교·판단형 (30대 남성, 치주질환 및 사랑니 치료)
환자 A는 진료 정보에 대한 능동적 접근을 지향하는 환자군을 대표한다. 건강문해력 ‘중간’, 의사결정 참여성향 ‘높음(적극적)’, 비용민감도 ‘높음’으로 분류되었다. 진료 정보에 대한 능동적 접근을 지향하며, 근거 중심의 요점 기반 판단을 선호한다. 주요 Pain Point는 근거 없는 추천에 대한 불신과 고가 치료 제안 시 비교 정보 부재이며, 치료 옵션 간 비교(비용, 효과, 내구도)를 AI가 명확히 제시하는 구조를 요구하였다.
② 환자 B - 정보 수용형 (20대 여성, 교정 및 충치 치료)
환자 B는 의료 정보의 이해에 어려움을 느끼며 질문을 주저하는 환자군을 대표한다. 건강문해력 ‘낮음’, 디지털리터러시 ‘높음’, 의사결정 참여성향 ‘낮음(수동적)’, AI 수용성향 ‘높음’으로 분류되었다. 의료 정보의 이해에 어려움을 느끼며 질문을 주저하는 경향이 있다. 주요 Pain Point는 전문용어 위주의 빠른 설명으로 인한 이해 어려움과 사후관리 안내 미흡이며, AI가 먼저 시각 자료로 설명하고 의사가 정리해주는 보완 구조를 요구하였다.
③ 치과의사 A - 효율 추구형 진료 주도자 (50대, 경력 20년 이상)
치과의사 A는 보존·보철 중심으로 1일 평균 20~30명을 진료하는 개인 병원 운영자이다. 건강문해력 ‘높음(전문가)’, AI 수용성향 ‘중간(조건부 수용)’으로 분류되었다. AI의 설명 보조 기능에 개방적이되 최종 판단 권한은 의료진이 유지해야 한다는 신념이 있다. 주요 Pain Point는 반복 설명으로 인한 집중도 저하와 진료 시간 부족이며, 환자가 사전 정보를 이해한 상태에서 진료를 시작할 수 있는 구조를 요구하였다.
각 페르소나의 프로필, 핵심 속성 분류, Pain Point 및 기대·요구사항은 [Table 4]에 종합 제시하였다.
환자 A(능동적 비교·판단형)는 의사결정 참여성향이 높아 AI가 비교 데이터를 제공하고 환자가 스스로 판단하는 Augment 중심 협업이 적합하며, 환자 B(정보 수용형)는 건강문해력이 낮아 AI가 시각 자료로 정보를 구조화하고 의료진이 보완 설명하는 Enhance 중심 협업이 적합하다.
3. 4. 치과 진료의 경험지도 분석
본 연구는 인터뷰를 통해 수집된 의료진과 환자의 경험을 기반으로, 치과 진료 전 과정을 진료 전·중·후 세 단계로 구분하여 여정 지도 형식으로 시각화하였다. 각 단계에서 의료진과 환자의 Pain Point를 통합하되, 3.3절에서 도출한 페르소나별 경험 차이를 함께 분석하여 XAI 설계 기회를 도출하였다.
진료 전 단계에서 의료진은 예약 정보 누락, 환자 기록의 갱신 지연, 영상 촬영 거부 등으로 진단 준비에 부담을 느꼈다. 환자는 진료 절차와 촬영 내용에 대한 사전 정보 부족으로 불안과 피로를 경험했다. 환자 A(능동적 비교·판단형)는 사전에 치료 옵션과 비용 정보를 확보하지 못하는 점을, 환자 B(정보 수용형)는 절차 자체에 대한 이해 부족을 주요 불안 요인으로 보고하였다. 이에 따라 사전 기록 정리(Automate), 영상 촬영 안내 및 진료 절차 시각 안내(Enhance) 기능이 설계 기회로 도출되었다.
진료 중 단계에서 의료진은 영상 판독과 반복 설명으로 피로를 느끼고, 환자의 경제성 중심 의사결정으로 설명 부담이 가중되었다. 환자 A는 치료 옵션 간 비교 근거가 부족하여 의사결정에 어려움을 겪었고, 환자 B는 전문용어 위주의 빠른 설명으로 질문을 주저하며 수동적으로 결정하는 경향을 보였다. 이에 영상 판독 보조(Augment), 치료 옵션 비교 시뮬레이션(Amplify), 쉬운 언어 요약(Enhance) 기능이 설계 방향으로 제시되었다.
진료 후 단계에서 의료진은 결과 설명 및 사후 관리 안내의 비체계성과 기록 누락 가능성을 지적했다. 환자 A는 치료 결과의 객관적 평가 정보 부재를, 환자 B는 사후 관리 방법에 대한 이해 부족을 경험하였다. 이에 진료 결과 자동 요약(Automate), 설명 누락 체크 및 맞춤형 사후 알림(Enhance) 기능이 제안되었다. 치과 진료 경험지도의 전체 분석 내용은 [Figure 1]에 제시하였다.
4. 인간-AI 협업 시나리오 설계 및 검증
4. 1. 인간-AI 협업 시나리오 도출
본 연구에서는 치과 진료의 과업(Task) 특성을 구조화하기 위해, 2.3절에서 정의한 협업 단계(Collaboration Stage)와 의사결정 주도권에 따른 협업 수준(Collaboration Level)을 결합한 이중 구조의 프레임워크를 제안한다. 협업 단계는 AI가 수행하는 기능의 성격에 따른 연구자의 설계 프레임워크로서, 각 Task에 어떤 유형의 AI 기능을 배치할지를 규정한다([Table 2] 참조). 이에 반해 협업 수준은 Parasuraman et al.(2000)의 인간–자동화 상호작용 모델을 참조하여 6단계로 재구성한 것으로, 동일한 기능 유형 내에서 의사결정 주도권을 인간과 AI 사이에 어떻게 분배할지를 정의한다([Table 5]).
치과 진료 여정지도 분석(3.4절)을 기반으로, 진료 전·중·후 단계별 AI 개입 가능 Task를 도출하였다. 초기에는 의료진 Task(CT)와 환자 Task(PT)를 포함하여 16개 Task를 정의하였으며([Table 6]), 기술적 타당성과 실효성을 고려해 최종 12개를 선정하였다.
동일한 Task라도 의료진과 환자의 역할 및 요구가 상이하므로, AI 개입 방식을 사용자 유형별로 분리하여 설계하였다. 예를 들어 T4 ‘진단하기’에서 의사는 반복 진단으로 인한 피로 감소를, 환자는 진단 내용의 이해 향상을 주요 목적으로 한다. 이러한 관점 분리는 3.3절의 페르소나 분석에서 확인된 의료진–환자 간 목적 차이에 근거한다.
각 Task에 대해 협업 단계(기능 유형)와 협업 수준(자율성 정도)을 결합하여 권장 협업 시나리오를 설계하였으며, 의료진 기준은 [Table 7], 환자 기준은 [Table 8]에 제시하였다.
4. 2. 협업 시나리오 검증 및 분석
도출된 인간–AI 협업 시나리오의 현실성 및 적절성을 평가하기 위해, 의료진과 환자를 대상으로 12개 Task별 선호 협업 수준(Level 1~6)을 조사하였다. 설문은 2025년 4월 25일부터 5월 3일까지 비대면으로 진행되었으며, 총 66명(의료진 23명, 환자 43명)이 참여하였다. 응답자는 각 Task의 시나리오([Table 9] 참조)에 대해 적절하다고 판단한 협업 수준을 선택하였다.
연구자가 설정한 권장 협업 수준과 실제 응답은 대체로 일치하였다. 반복적·절차 중심 Task는 자동화(Automate), 정보 요약·설명 중심 Task는 향상(Enhance)·증폭(Amplify)·보완(Augment)으로 설정되었으며, 응답자 간 수준 차이는 대부분 1~2단계 범위 내에 있었다.
다만 집단 간 차이가 뚜렷하였다. 환자는 판단·설명 기능에 대해 비교적 높은 수용성을 보이며 Level 4~5를 선호한 반면, 의료진은 Level 2~3 중심의 보조적 개입을 선호하였다([Table 10]).
이러한 격차가 두드러진 Task와 그 설계적 대응은 다음과 같다.
첫째, T3(촬영 결과 설명)·T4(진단)에서 환자는 Level 4를 선호하였으나 의료진은 Level 4~5를 선택하여 비교적 일치하였다. 이는 양측 모두 AI의 시각화 보조 기능에 긍정적임을 시사하며, 해당 Task에서는 AI가 시각 자료를 생성하고 의료진이 최종 설명하는 구조를 채택하였다.
둘째, T7(비용 안내)에서 의료진은 Level 2(선택지 제시)를, 환자는 Level 4(AI 단일 안 제안)를 선호하여 격차가 컸다. 이에 비용 비교 자료는 AI가 자동 생성하되, 최종 안내는 의료진이 수행하는 이중 구조를 설계에 반영하였다.
셋째, T11(재방문 일정 안내)에서 의료진은 Level 5를, 환자는 Level 2를 선호하였다. 의료진은 비임상 업무의 자동화를 원한 반면, 환자는 일정 관리에서 직접 확인을 선호하였다. 이에 AI가 자동 리마인드를 발송하되 환자가 수신 방식과 빈도를 직접 설정할 수 있는 제어 인터페이스를 설계에 포함하였다.
자유 발화를 내용 분석한 결과, 다섯 가지 서비스 수요 클러스터가 도출되었다([Table 11]).
첫째, 진단·처방 단계에서 AI는 의료진 판단을 보조하되 최종 책임은 의료진에게 있다는 인식이 강했다(Cluster 1). 둘째, 진료 중 시각 자료의 이해 보완 요구가 높아 자동 설명·반복 안내 기능의 필요성이 확인되었다(Cluster 2). 셋째, 치료 옵션의 사전 비교·선택을 지원하는 시뮬레이션 기능이 강조되었다(Cluster 3). 넷째, 사후 관리 챗봇 및 예약 도우미 기능에 대한 기대가 나타났다(Cluster 4). 다섯째, 진료 후 정보를 정리·공유하는 요약 리포트 제공 필요성이 확인되었으나, 이는 Cluster 2의 확장 기능으로 통합 가능하였다(Cluster 5).
4. 3. XAI 기반 치과 진료 서비스 설계
정량·정성 분석 결과를 종합하여, 설명형 AI 기반 시스템의 설계 방향을 두 가지 축으로 정립하였다.
첫째, 의료진 판단권 기반의 ‘AI 해석자’ 역할이다. 정량 분석에서 의료진이 Level 2~3 중심의 보조적 개입을 선호한 점과, 정성 분석 Cluster 1에서 “최종 책임은 의료진”이라는 인식이 강하게 나타난 점을 반영하여, AI는 진단·설명을 보조하되 의료진이 설정한 권한 내에서만 작동하는 구조를 채택하였다.
둘째, 환자 중심 정보 제공 원칙이다. 환자가 Level 4~5의 높은 AI 개입을 선호한 점과, Cluster 2~3에서 시각화 자료 및 치료 옵션 비교에 대한 요구가 높았던 점을 반영하여, 진료 상태와 환자 선호를 반영한 맞춤형 정보 제공 구조를 설계하였다. 단, 의료진–환자 간 수용성 격차를 고려하여, AI가 생성한 콘텐츠는 의료진의 검토·승인을 거쳐 환자에게 전달되는 이중 구조로 설계하였다.
초기 분석에서 도출된 5개 클러스터 중 Cluster 5(진료 요약 리포트)는 Cluster 2(진료 중 시각화 자료 설명)의 확장 기능으로 통합하여, 최종적으로 4개 핵심 서비스를 도출하였다.
- - X-ray 설명 시스템 (Cluster 1, 2 기반): AI가 진단 영상을 자동 분석하고, 시각 자료와 쉬운 언어로 환자에게 안내하여 영상 이해 부족을 해소한다. 의료진의 승인 후 환자에게 제공된다.
- - 쉽게 이해하는 My차트 (Cluster 2 기반): 전문 진료 기록을 환자 친화적 언어로 자동 요약하여, 웹 기반 환경에서 개인 건강기록(PHR) 열람을 지원한다.
- - 개인 맞춤형 치료 시뮬레이션 (Cluster 3 기반): 환자의 선호 재료·예산·치료 방식을 입력받아, 옵션별 예상 결과와 비용을 시각적으로 비교 제시한다.
- - 지능형 챗봇 기반 사후 관리 (Cluster 4 기반): 치료 종료 후 주의사항 안내, 재방문 예약, FAQ 응답을 제공하고, 대화 이력을 요약하여 의료진과 공유함으로써 연속적 케어를 지원한다.
도출된 4개 핵심 서비스의 작동 과정을 [Table 12]에 정리하였다. 데이터 입력 권한은 의사에게만 부여되며, 치료 시뮬레이션과 AI 챗봇은 진료차트 입력을 전제로 활성화된다. 환자의 서비스 이용기록(시뮬레이션·챗봇 대화 이력)은 요약되어 의사에게 피드백되고, 스케줄 관리 기능과 연동하여 지속적 케어 순환 구조를 형성한다. [Figure 2]에서는 4개 서비스의 구체적 서비스 시나리오를 제시하였다.
5. 프로토타이핑 제작 및 검증
5. 1. 프로토타이핑 제작
도출한 4개 핵심 서비스의 워크플로우와 시나리오를 구현 가능한 형태로 구체화하기 위해, Figma 기반 디지털 프로토타입을 설계하였다. 전체 시스템은 의료진 기능군(진료차트 작성, 스케줄 승인, 설정 관리)과 환자 기능군(My Chart, 치료 시뮬레이션, 챗봇)으로 구분되며, [Figure 3]에 양 서비스의 정보구조와 데이터 연동 관계를 제시하였다. 의료진 서비스는 Patient Chart, Schedule, Setting의 3개 모듈로, 환자 서비스는 My Chart, Simulation, Chatbot의 3개 모듈로 구성된다. 두 서비스 간 데이터 연동은 의료진이 입력한 진료차트를 기점으로 환자 서비스가 활성화되는 단방향 구조(A)를 취하되, 환자의 서비스 이용 기록(시뮬레이션 선택 이력, 챗봇 대화 요약)은 의료진에게 피드백되는 순환 구조(B)를 형성한다.특히 의료진 서비스의 Setting 모듈에는 AI 개입 수준 제어 인터페이스를 설계하였다. 의료진-환자 간 수용성 격차를 조율하기 위해, 서비스별(X-ray 설명, My Chart, 시뮬레이션, 챗봇) AI 개입 정도를 슬라이더로 조정할 수 있도록 하였다. 의료진은 병원의 운영 방침과 환자 특성에 따라 AI의 자동 추천 범위, 설명 상세도, 환자 공유 범위를 개별적으로 설정할 수 있으며, 이를 통해 환자가 기대하는 수준의 AI 설명을 제공하면서도 최종 정보 전달의 범위와 깊이는 의료진이 통제하는 구조를 실현하였다.
프로토타입은 치과 진료 시 의료진과 환자가 동일 화면을 공유하는 유닛체어 환경을 기준으로 웹 기반 인터페이스로 구현하였다. 주요 사용 매체는 병원 내 PC와 태블릿이며, 일부 화면은 환자의 개인 기기(예: 스마트폰, 태블릿 등)에서도 접근 가능하도록 설계하였다.
각 시나리오는 4.1절의 Task 분석에서 도출된 12개 세부 과업과 4.3절의 4개 핵심 서비스를 교차 매핑하여 구성하였다. 의료진 시나리오 7개는 진료 전 정보 확인(Scenario 1~2), 진료 중 판독·기록(Scenario 5~6), 진료 후 관리(Scenario 3, 7), 시스템 설정(Scenario 4)의 업무 흐름을 반영하며, 환자 시나리오 7개는 진료 전 사전 문진(Scenario 1), 진료 중 설명 수신·의사결정(Scenario 2~5), 진료 후 사후 관리(Scenario 6~7)의 경험 흐름을 반영하였다. 각 시나리오에는 관련 Cluster 번호와 Task 번호를 명시하여 설계 근거의 추적 가능성을 확보하였다. 의료진 화면과 환자 화면의 시나리오별 UI 구성은 각각 [Table 13], [Table 14]에 제시하였다.
본 시스템은 XAI 기반 설명형 진료 보조 서비스로서, AI 판단의 근거를 사용자에게 시각적으로 전달하기 위해 서비스별로 다음과 같은 디자인 컴포넌트를 설계하였다.
AI의 자동 판독 결과는 컬러 오버레이 방식으로 병변 영역을 시각화한다. 원본 X-ray 이미지 위에 치아 번호별 컬러 마킹을 중첩 표시하여, 이상 소견이 있는 부위를 직관적으로 식별할 수 있도록 하였다. 의료진 화면에서는 AI가 탐지한 병변 목록이 좌측 패널에 텍스트로 병렬 제시되며, 의료진이 각 항목을 검토·수정·확정한 뒤 환자 공유 화면으로 전달하는 구조이다. 환자 공유 화면에서는 동일한 컬러 오버레이와 함께, 하단에 치아 번호별 상태 요약 테이블이 제공되어 전문 영상을 비전문가도 해석할 수 있도록 지원한다.
전문 진료 기록을 환자 친화적 언어로 변환하는 서비스로, 상단 진단 요약 영역과 하단 상세 설명 영역의 2단 구조로 구성된다. 상단에는 치아 번호, 진단명, 치료 방법이 요약되고, 하단에서는 AI가 전문 용어를 일상어로 변환한 설명 텍스트가 단락별로 제시된다. 치료 시작 전 계획과 치료 후 결과 요약을 탭 전환으로 비교할 수 있으며, 필요 시 프린트 출력이 가능하다.
환자의 치료 옵션 비교를 지원하는 서비스로, 카드형 비교 레이아웃을 채택하였다. 각 치료 옵션(예: 레진, 세라믹, 지르코니아 등)이 개별 카드로 제시되며, 카드 내에 재료 특성, 예상 비용, 내구성, AI 추천 사유가 구조화되어 표시된다. 상단에는 환자가 예산 범위와 선호 조건을 입력하는 필터 영역이 배치되어, 조건에 따라 카드가 동적으로 정렬된다. AI의 추천 사유는 각 카드 하단에 텍스트로 명시되어 추천 근거의 투명성을 확보한다.
사전 문진과 사후 관리를 담당하는 대화형 인터페이스로, 좌측에 대화 영역, 우측에 맥락 정보 패널을 배치한 2열 구조이다. 사전 문진 모드에서는 증상 기반 질의응답이 진행되며, 사후 관리 모드에서는 치료 후 주의사항 안내, FAQ, 재방문 예약 기능이 제공된다. 대화 이력은 자동으로 요약되어 의료진 화면의 환자 차트에 연동되며, 의료진은 해당 요약본을 검토·수정한 뒤 환자에게 재전달할 수 있다.이러한 AI 개입 수준 설정은 앞서 기술한 (1)~(4)의 XAI 디자인 컴포넌트(표현 계층)의 깊이와 범위를 의료진이 임상 맥락에 맞게 조정하는 제어 계층에 해당하며, 양 계층의 연동을 통해 설명의 투명성과 임상적 통제권을 동시에 확보하였다.
5. 2. AI 경험 평가 항목 및 질문 도출
인간–AI 협업 기반의 치과 진료 보조 서비스의 사용자 경험을 평가하기 위해 선행연구와 국제 표준을 바탕으로 평가 항목을 도출하였다. AI 경험 평가의 이론적 기반은 왕(Wang et al., 2023)의 인간 중심 AI 기반 임상 의사결정 지원 시스템 설계·평가 체계와 롱(Rong et al., 2024)의 설명 가능한 인공지능(XAI)의 신뢰·만족도·의존성 관련 지표 연구를 참조하였다. 사용성 평가는 ISO 9241-11:2018의 효과성, 효율성, 만족도를 반영하였으며, 사용자 경험 품질 측정은 모빌(Morville, 2004)의 UX 허니콤 모델 중 사용성, 유용성, 신뢰성, 가치성 네 가지 요소를 채택하였다. 오류 예방 측면에서는 닐슨(Nielsen, 1994)의 사용성 휴리스틱 중 ‘오류 방지’ 항목을 보완적으로 적용하였다.
이 기준에 따라 의료진과 환자 모두에게 적용 가능한 6개 상위 속성을 설정하고, 이를 각각 22개(의료진), 23개(환자) 문항으로 세분화하였다([Table 15, 16]).
5. 3. 검증 방법 및 대상 선정
검증 목적은 설명 가능한 인공지능(XAI) 시스템이 진료 의사결정 과정에서 신뢰성과 유용성을 갖춘 협업 도구로 기능하는지 평가하는 것이다. 대상은 앞선 협업 시나리오 선호도 조사 참여자 중 심층 인터뷰 가능 인원과 신규 참여자를 포함해 총 13명으로 구성하였다. 의료진은 치과의사 3명과 치과위생사 2명으로, 모두 임상 경험을 기준으로 선정하였다. 환자 8명은 최근 1년 이내 치과 진료 경험이 있는 20대, 30대, 50대 성인으로 구성하여 연령과 경험의 다양성을 반영하였다([Table 17, 18]).
본 연구의 참여자 규모(의료진 5명, 환자 8명)는 사용성 평가 분야의 방법론적 기준에 근거한다. Nielsen(2000)은 사용성 테스트에서 5명의 참여자로 전체 사용성 문제의 약 85%를 발견할 수 있음을 실증하였으며, Virzi(1992)는 4~5명의 참여자로 주요 사용성 문제의 80% 이상이 도출됨을 보고한 바 있다. 또한 Faulkner(2003)는 소규모 표본에서의 사용성 테스트가 반복적 설계 개선 목적에 적합함을 제시하였다. 본 연구는 프로토타입의 탐색적 평가 단계로서, 리커트 척도 기반 정량 평가와 심층 인터뷰 기반 정성 분석을 병행하여 소규모 표본의 한계를 보완하였다. 다만, 의료진 5명·환자 8명의 표본 규모는 통계적 일반화에는 한계가 있으며, 집단 간 차이에 대한 추론 통계 적용이 제한적이다. 본 연구의 검증 결과는 서비스 설계의 방향성 확인과 주요 개선 과제 도출에 목적을 두며, 향후 대규모 표본을 활용한 후속 검증이 필요하다. 검증은 Figma 기반 디지털 프로토타입과 GPT 기반 AI 챗봇을 활용한 사용성 테스트로 진행하였다. 정량 평가는 리커트 척도 설문, 정성 인사이트는 후속 대면 인터뷰를 통해 수집하였다. 전체 평가는 2025년 6월 3일부터 13일까지 Google Survey를 통해 온라인으로 실시하였다.
5. 4. 사용성 테스트 결과 및 피드백 분석
속성별 평균 점수는 [Table 19, 20]에 제시하였다. 의료진(22문항) 평균은 신뢰도 3.9, 설명 효과성 3.8, XAI 이해가능성 4.1, 환자–의료진 관계 3.9, 사용성 4.0, 만족도 4.2점이었다. 환자(23문항) 평균은 각각 4.3, 4.4, 4.4, 4.4, 4.3, 4.5점으로 나타났다. 양 집단 모두 ‘사용자 만족도’가 가장 높았으며, 전체 평균은 의료진 4.0점, 환자 4.4점이었다. 의료진과 환자 간 전체 평균 차이(의료진 4.0점 vs. 환자 4.4점)는 6개 속성 전반에 걸쳐 일관되게 나타났으며, 이는 4.2절에서 확인된 수용성 격차와 구조적으로 일치한다. 가장 큰 격차를 보인 항목은 ‘설명 효과성’(차이 0.6점)으로, 의료진은 임상적 판단 근거로 활용하기에 정보의 깊이가 부족하다고 인식한 반면, 가장 작은 격차를 보인 ‘XAI 이해가능성’(차이 0.3점)에서는 양 집단 모두 시각적 명확성을 긍정적으로 평가하였다.
4.3절에서 설계한 ‘의료진 AI 개입 수준 제어 인터페이스’(Setting > AI 개입 수준 관리)에 대해, 의료진은 협업 수준(4.2점)과 협업 방식의 적절성(4.2점)에서 비교적 높은 점수를 부여하였다. C4는 “AI 추천 기능을 끌 수도 있으면 좋겠다”고 응답하여 제어 가능성에 대한 요구를 확인하였으며, 이는 현재 설계된 슬라이더 기반 개입 수준 조절 기능의 방향성이 유효함을 뒷받침한다. 다만, C3는 “AI가 학습한 데이터의 기반에 대한 의문”을 제기하여, AI 판단 근거의 출처와 학습 데이터에 대한 투명성 확보가 추가적으로 필요한 과제로 확인되었다.
본 연구의 프로토타입 평가는 기존 대면 진료 방식과의 직접적 실험 비교(A/B 테스트)를 수행하지 않았으며, 이는 표본 규모 및 프로토타입 단계의 제약에 따른 것이다. 다만, 인터뷰 응답에서 참여자들은 기존 진료 경험과의 비교 관점을 자발적으로 언급하였다. C3는 “기존의 차트 작성 및 진료 절차와 시스템 흐름이 잘 통합되어 있다”(업무흐름 적합성 4.2)고 평가하였으며, P3는 “내 구강 상태에 대해 인지를 하고 가다 보니 의사를 직접 대면해서 겪는 상황에 대해 걱정과 불안이 줄었다”고 응답하여, 기존 대면 진료 대비 정보 비대칭 해소 효과를 시사하였다. 향후 연구에서는 기존 진료 프로세스와의 정량적 비교 실험 설계가 필요하다.
의료진은 ‘설명 효과성’, 환자는 ‘신뢰도’에서 비교적 낮은 점수를 보여, 향후 개선이 필요한 영역으로 해석된다.
낮은 점수 항목의 원인을 파악하기 위해 인터뷰 내용을 코딩 분석한 결과, 의료진과 환자 양 집단에서 다음과 같은 피드백이 도출되었다.
의료진은 AI 설명의 임상적 신뢰성 확보(C1–C5), 환자 연령·성향에 따른 설명 방식 개인화(C2, C4), 정보 시각화 및 요약 기능의 강화(C3, C4)를 주요 개선 요구로 제시하였다. 환자는 전반적으로 높은 만족도를 보였으나, AI 제공 정보에 의료진의 검토를 거쳤음을 명시하여 신뢰를 확보해야 한다는 점(P1, P2, P3, P5, P6)과, 사후관리 챗봇의 상호작용 깊이 및 개인화 수준이 부족하다는 점(P1, P2, P5, P6, P8)을 지적하였다. 반면, AI 설명을 진료 중 의료진과 함께 청취한 뒤 My Chart와 시뮬레이션을 통해 반복 확인할 수 있는 구조에 대해서는 긍정적으로 평가하였다.
이상의 결과를 종합하여, 개선 방향을 다음과 같이 도출하였다. 의료진 측면에서는 AI 판단의 학습 데이터 출처 및 신뢰 근거를 투명하게 제시하는 정보 체계 구축, 환자 성향에 맞춘 맞춤형 소통 인터페이스 설계, 요약 뷰·진료 인사이트 패널 등 시각화 기능의 도입이 요구된다. 환자 측면에서는 모든 AI 생성 정보가 의료진의 검토·승인을 거친 결과임을 화면 내에서 명확히 인지할 수 있도록 설계하고, 챗봇의 응답 정밀도와 개인화 수준을 향상시켜 서비스 간 유기적 연결을 강화할 필요가 있다.
의료진은 ‘설명 효과성’, 환자는 ‘신뢰도’에서 비교적 낮은 점수를 보여, 이 두 영역이 향후 우선적으로 개선해야 할 과제로 확인되었다.
6. 치과 환자를 위한 XAI 기반 지능형 치과 서비스 청사진
6. 1. XAI 기반 서비스 청사진 설계
5.4절에서 도출된 4가지 핵심 개선 과제와 4.2절의 협업 수준 선호도 분석을 종합하여, 진료 전·중·후 단계에서 환자와 의료진이 경험하는 인터페이스를 서비스 단위로 구조화한 XAI 기반 서비스 청사진(Service Blueprint)을 설계하였다.
본 서비스는 개인 건강기록(PHR)을 기반으로 환자의 합리적 의사결정을 지원하며, 4.3절에서 도출한 네 가지 핵심 서비스–‘X-ray 설명 시스템’, ‘쉽게 이해하는 My차트’, ‘개인 맞춤형 치료 시뮬레이션’, ‘지능형 챗봇 기반 사후 관리’–로 구성된다. 청사진은 각 서비스에 대해 AI 후면부 처리 항목, 의료진이 설정한 개입 수준, HCAI 프레임워크 기반 협업 방식을 반영하여 환자와 의료진에게 차별화된 설명을 제공하도록 설계하였다.
청사진의 후면부(backstage) 설계를 위해, 진료 전·중·후 전 과정의 데이터 흐름을 기반으로 AI가 처리해야 할 데이터 항목을 6가지로 정의하였다([Table 21]). A(데이터 수집 및 NLP 분석)는 환자의 비정형 입력을 자동 전처리하며, B(의료 정보 요약 및 시각화)는 진단 이미지·기록을 환자 눈높이에 맞게 변환한다. C(환자 이용 데이터 의사차트 자동 연동)는 환자의 서비스 이용 기록을 EMR에 자동 반영하고, D(챗봇 상호작용 및 사후 기록 관리)는 대화 이력 기반의 맞춤 정보를 생성한다. E(의료진 설정 기반 정보 가공)는 5.1절에서 설계한 AI 개입 수준 제어 인터페이스의 설정값을 기반으로 시뮬레이션 및 설명 정보를 생성하며, F(예측 진단명 제안)는 AI가 영상을 분석하여 진단명을 제안하되 최종 판단은 의료진이 수행하는 구조이다.
각 데이터 처리 항목은 2.3절에서 정의한 HCAI 프레임워크의 협업 방식(Automate, Amplify, Augment, Enhance)과 연결되며, 알파벳(A~F)과 숫자 조합으로 코드화하여 청사진 내에서 AI 처리 순서와 기능별 협업 유형을 시각적으로 추적할 수 있도록 구조화하였다([Table 22]).
본 청사진은 환자용 서비스 흐름만이 아니라, 실제 진료 과정을 기반으로 의료진 인터페이스와 후면부 시스템 처리까지 통합 구성하였다. [Figure 4]는 이러한 구조를 시각화한 것으로, 상단부터 고객 행위(customer actions), 프론트스테이지(onstage), 백스테이지(backstage), 지원 프로세스(support processes)의 4개 수평 영역으로 구성된다. 고객 행위 영역은 환자가 각 서비스에서 수행하는 행동을 진료 단계별로 나열하며, 프론트스테이지는 환자에게 직접 노출되는 AI 인터페이스(X-ray 시각화, My차트, 시뮬레이션 카드, 챗봇 대화)를 배치한다. 백스테이지에는 의료진의 입력·검토·승인 과정을 포함시켜, 환자에게 제공되는 모든 AI 정보가 의료진의 워크플로우를 거치는 구조를 명시하였다. 지원 프로세스 영역에는 각 서비스의 후면부 AI 처리 기능이 배치되어, 서비스 기능과 시스템 처리 간의 대응 관계를 확인할 수 있다. 청사진의 가독성을 확보하기 위해, [Figure 4]에서는 진료 단계별 행위 흐름과 영역 구분을 중심으로 제시하며, 각 서비스에 적용되는 AI 데이터 처리 항목(A~F)의 상세 코드, HCAI 협업 방식 및 협업 수준(Level)은 [Table 22, 23]에서 체계적으로 정리하였다.
6. 2. 치과 진료 서비스 청사진 기반 기능별 협업 구조
본 절에서는 6.1절의 청사진을 기반으로, 각 서비스의 AI 데이터 처리 항목과 HCAI 협업 방식·수준(Level)의 배정 근거를 기술한다.
환자 측은 초기 증상 질문·기술에 대해 Automate 방식(A)을 적용한다. 비정형 정보 수집이 표준화된 선택지를 통해 이루어지므로 사용자의 개입은 제한적이며, Level 2로 설정하였다. 이후 AI가 증상 관련 시각 자료와 요약 정보(D)를 제공하여 사전 이해를 돕는 Enhance 방식이 적용되며, 환자가 AI 제안을 검토·판단하는 구조이므로 Level 4로 설정하였다.
의료진 측에서는 환자 대화 및 문진 결과가 차트에 자동 연동(C)되며, AI 실행 후 의료진이 결과를 확인·승인하는 Automate 방식의 Level 5에 해당한다. AI가 요약·가공한 정보(B)는 의료진이 제시된 대안 중 하나를 선택하는 Amplify 방식의 Level 3으로 제공되어, 진료 전 환자 상태를 신속히 파악하고 맞춤형 질문을 준비할 수 있도록 지원한다.
AI는 촬영 이미지를 분석하여 예측 진단명(F)과 시각 자료를 생성하고, 정보 요약(B)과 설정 기반 가공(E)을 거쳐 이해하기 쉬운 언어와 시각 자료로 재구성한다. 환자에게 제공되기 전 최종 판단·승인 권한은 의료진에게 있다.
환자 측 협업은 시각화된 설명을 통해 판단을 보조받는 Augment 방식이며, AI의 결과를 확인하는 수준으로 Level 5를 배정하였다. 의료진 측은 예측 진단(F), 정보 요약(B), 설정 기반 가공(E)이 결합된 AI 자료를 활용하여 판단을 보조받고 환자와 공유하는 Augment 방식의 Level 4에 해당한다.
AI는 환자의 선호와 조건을 기반으로 치료 옵션을 설정·가공(E)하고, 이를 요약(B)하여 시각 자료로 제공한다. 병원 내에서는 의료진과 함께, 병원 외부에서는 환자가 독립적으로 판단할 수 있는 구조이다.
환자 측 협업은 조건별 비교와 시각화를 통해 의사결정을 보완하는 Augment 방식의 Level 5이며, 모든 옵션은 환자에게 전달되기 전 의료진의 최종 검증을 거친다. 의료진 측은 설정 기반 가공(E)과 차트 연동(C)을 통해 환자의 선택지를 구조화하는 Amplify 방식의 Level 5에 해당한다. AI가 분석·비교 데이터를 제공하고 의료진이 이를 토대로 환자 맞춤형 조언을 제시하는 구조이기 때문이다.
AI는 의료진이 입력한 차트 정보를 요약(B)하고, 설정 기반 가공(E)을 거쳐 시각 자료 형태의 맞춤형 리포트를 생성한다. 리포트 제공 전 모든 정보의 정확성과 적합성은 의료진이 최종 검증한다. 환자 측 협업은 AI가 제시한 대안을 선택하며 판단을 보조받는 Augment 방식의 Level 3이며, 의료진 측은 요약(B)과 시각화(E)가 결합된 데이터를 활용하여 환자에게 치료 내용을 설명하는 Amplify 방식의 Level 3에 해당한다.
각 단계별 기능, AI 데이터 처리 항목, 협업 방식 및 Level을 종합한 결과는 Table 23, Table 24에 제시하였다. Table 23는 의료진이 각 서비스에서 수행하는 행동 흐름과 해당 과업에 적용되는 AI 처리 항목·협업 수준을 대응시키며, Table 24은 동일 구조를 환자 관점에서 제시한다.
7. 결론
7. 1. 연구요약
본 연구는 설명 가능한 인공지능(XAI)과 인간 중심 AI(HCAI) 프레임워크를 기반으로, 환자의 자기결정권과 신뢰 형성을 지원하는 치과 진료 보조 서비스를 설계하고 그 구조적 기준과 적용 가능성을 탐색하였다.
연구 과정은 다음과 같이 전개되었다. 첫째, 의료진 3명과 환자 6명에 대한 심층 인터뷰를 실시하고, 어피니티 다이어그램 분석을 통해 4가지 설계 방향성을 도출하였다. 이를 기반으로 5개 핵심 속성(건강문해력, 디지털리터러시, 의사결정 참여성향, AI 수용성향, 비용민감도)을 추출하여 의료진 1명, 환자 2명의 페르소나를 구축하고, 진료 전·중·후 5단계의 사용자 여정지도를 작성하였다.
둘째, HCAI 프레임워크의 4가지 협업 방식(Automate, Enhance, Amplify, Augment)과 6단계 협업 수준(Level 1~6)을 치과 진료 맥락에 적용하여, 14개 세부 과업에 대한 의료진·환자 각각의 협업 시나리오를 도출하였다. 설문 조사를 통해 양 집단의 AI 개입 수준 선호도를 분석한 결과, 환자는 Level 4~5의 높은 개입을, 의료진은 Level 2~3의 보조적 개입을 선호하는 수용성 격차가 확인되었다. 이 격차를 조율하기 위해 의료진이 서비스별 AI 개입 정도를 조정할 수 있는 제어 인터페이스를 설계하였다.
셋째, 분석 결과를 종합하여 X-ray 설명 시스템, 쉽게 이해하는 My차트, 개인 맞춤형 치료 시뮬레이션, 지능형 챗봇의 4개 핵심 서비스를 설계하고, Figma 기반 프로토타입과 GPT 기반 챗봇으로 구현하였다. 의료진 5명, 환자 8명을 대상으로 한 사용성 테스트에서 의료진 평균 4.0점, 환자 평균 4.4점(5점 척도)의 평가를 받았으며, 인터뷰를 통해 임상적 신뢰성 확보, 설명 개인화, 의료진 검토 명시 등의 개선 과제를 도출하였다.
넷째, 검증 결과를 반영하여 진료 전·중·후 전 과정을 포괄하는 XAI 기반 서비스 청사진을 제안하였다. 청사진은 환자 행위, 프론트스테이지, 백스테이지(의료진 인터페이스), 지원 프로세스의 4개 영역으로 구성되며, 6가지 후면부 AI 데이터 처리 항목과 HCAI 협업 방식을 코드화하여 서비스 기능과 AI 처리 간의 대응 관계를 체계적으로 제시하였다.
7. 2. 시사점 및 한계
본 연구의 학술적 시사점은 다음과 같다. 첫째, HCAI 이론을 의료 맥락에서 구체화한 협업 프레임워크를 제시하여, XAI의 설명 방식을 협업 수준별로 체계화하였다. 이를 통해 설명 가능한 AI를 단순 자동화 도구가 아닌 의료진–환자 간 설명 매개체로 재정의하고, 환자 자기결정권과 AI 설명성의 관계를 구조적으로 규명하였다. 둘째, 의료진–환자 양방향 협업 구조를 서비스 청사진 형태로 시각화함으로써, 설계 의도를 재현 가능한 형태로 문서화하였다. 이러한 접근은 향후 의료 AI 시스템의 설계·평가에서 참고 가능한 방법론적 도구로 활용될 수 있다.
실무적 시사점으로는, AI 개입 수준과 설명 방식을 구조적으로 정의함으로써 의료 AI 거버넌스 및 윤리 기준 수립, 디지털 헬스케어 정책 설계에 필요한 실무적 가이드라인을 제공한다. 특히 의료진이 서비스별 AI 개입 수준을 직접 제어하는 설정 인터페이스는, 환자가 기대하는 수준의 AI 설명을 제공하면서도 최종 정보 전달의 범위를 의료진이 통제하는 현실적 조율 구조를 실현하였다.
다만, 본 연구는 다음과 같은 한계를 지닌다. 첫째, 치과 진료를 중심으로 한 사례 연구에 기반하므로, 타 진료과 및 다학제 협진 환경으로의 일반화에는 추가 검증이 필요하다. 둘째, 사용성 테스트 참여자 규모(의료진 5명, 환자 8명)는 탐색적 평가에는 적합하나, 통계적 일반화에는 한계가 있으며, 기존 대면 진료 방식과의 직접적 비교 실험(A/B 테스트)이 수행되지 않았다. 셋째, 현재 평가는 리커트 척도 기반 인식 평가에 머물러 있으므로, 향후에는 환자의 설명 이해도, 치료 순응도, 진료 소요 시간 등 행동적 성과지표를 활용한 정량 검증이 필요하다.
향후 연구에서는 대규모 표본을 활용한 후속 검증, 진료과 확장을 통한 프레임워크의 일반화 가능성 검토, 문화적 맥락에 따른 설명 방식의 적응성 검증이 요구된다. 아울러 AI 설명 오류 발생 시 책임 주체에 대한 법적·윤리적 기준 마련과, 다양한 설명 기능의 통합으로 인한 의료진 입력 부담을 최소화하는 UI·UX 보완이 후속 과제로 제시된다.
Notes
Copyright : This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/), which permits unrestricted educational and non-commercial use, provided the original work is properly cited.
References
-
Ahmed, Z., Mohamed, K., Zeeshan, S., & Dong, X. (2020). Artificial intelligence with multi-functional machine learning platform development for better healthcare and precision medicine. Database, 2020, baaa010.
[https://doi.org/10.1093/database/baaa010]
-
Ahuchogu, M. C., Saha, H., & Saha, G. C. (2025). Explainable AI in medical imaging: Improving clinical trust in deep learning model. Eksplorium: Bulletin of the Center for Nuclear Mineral Technology, 46(1), 1230-1242.
[https://doi.org/10.52783/eksplorium.144]
- Alyami, I. M. R., Abumilhah, K. M. A., Alshehri, T. M., Al Hweadi, A. A., Alqarni, I. A., Alqahtani, F. A., Almutairi, H. H., & Farrash, F. A. (2024). Enhancing trust and communication in dentist-patient relationships: A pathway to improved dental care and patient outcomes. Journal of International Crisis and Risk Communication Research, 7(S3), 581-587. https://jicrcr.com/index.php/jicrcr/article/view/1788.
-
Amershi, S., Cakmak, M., Knox, W. B., & Kulesza, T. (2014). Power to the people: The role of humans in interactive machine learning. AI Magazine, 35(4), 105-120.
[https://doi.org/10.1609/aimag.v35i4.2513]
- Avramova, N. (2021). Insight on improving professional performance in dental practice: Essentials of verbal and nonverbal communication in dentist-patient relationship (a critical review). International Journal of Research and Reports in Dentistry, 4(1), 7-15. https://www.researchgate.net/publication/348975941.
- Brynjolfsson, E., & McAfee, A. (2014). The second machine age: Work, progress, and prosperity in a time of brilliant technologies. New York: W. W. Norton & Company.
-
Charles, C., Gafni, A., & Whelan, T. (1997). Shared decision-making in the medical encounter: What does it mean? (or it takes at least two to tango). Social Science & Medicine, 44(5), 681-692.
[https://doi.org/10.1016/S0277-9536(96)00221-3]
- Daugherty, P. R., & Wilson, H. J. (2018). Human + machine: Reimagining work in the age of AI. Boston: Harvard Business Review Press.
-
Davis, F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Quarterly, 13(3), 319-340.
[https://doi.org/10.2307/249008]
-
Faulkner, L. (2003). Beyond the five-user assumption: Benefits of increased sample sizes in usability testing. Behavior Research Methods, Instruments, & Computers, 35(3), 379-383.
[https://doi.org/10.3758/BF03195514]
- Gilster, P. (1997). Digital literacy. New York: Wiley.
-
Hayer, N., & Wassif, H. S. (2022). General dental practitioners' perceptions of shared decision making: A qualitative study. British Dental Journal, 232(4), 227-231.
[https://doi.org/10.1038/s41415-022-3980-9]
-
Holzinger, A. (2016). Interactive machine learning for health informatics: When do we need the human-in-the-loop? Brain Informatics, 3(2), 119-131.
[https://doi.org/10.1007/s40708-016-0042-6]
- International Organization for Standardization. (2018). ISO 9241-11:2018: Ergonomics of human-system interaction - Part 11: Usability: Definitions and concepts. https://www.iso.org/obp/ui/#iso:std:iso:9241:-11:ed-2:v1:en.
-
Khatri, R., Endalamaw, A., Erku, D., Wolka, E., Nigatu, F., Zewdie, A., & Assefa, Y. (2023). Continuity and care coordination of primary health care: A scoping review. BMC Health Services Research, 23, 750.
[https://doi.org/10.1186/s12913-023-09718-8]
-
Liao, Q. V., Gruen, D., & Miller, S. (2020). Questioning the AI: Informing design practices for explainable AI user experiences. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (pp. 1-15).
[https://doi.org/10.1145/3313831.3376590]
-
Lipovetski, O., & Cojocaru, D. (2019). Patient-centered care with shared decision-making: Physician-patient relationship: Comparative analysis. Social Research Reports, 11(3), 18-34.
[https://doi.org/10.33788/srr11.3.2]
- Morville, P. (2004). User experience design [Web log post]. Semantic Studios. https://semanticstudios.com/user_experience_design/.
-
Muscat, D. M., Shepherd, H. L., Nutbeam, D., Trevena, L., & McCaffery, K. J. (2021). Health literacy and shared decision-making: Exploring the relationship to enable meaningful patient engagement in healthcare. Journal of General Internal Medicine, 36(2), 521-524.
[https://doi.org/10.1007/s11606-020-05912-0]
- Nielsen, J. (1994, April 24). 10 usability heuristics for user interface design. Nielsen Norman Group. https://www.nngroup.com/articles/ten-usability-heuristics/.
- Nielsen, J. (2000, March 19). Why you only need to test with 5 users. Nielsen Norman Group. https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/.
-
Nutbeam, D. (2000). Health literacy as a public health goal: A challenge for contemporary health education and communication strategies into the 21st century. Health Promotion International, 15(3), 259-267.
[https://doi.org/10.1093/heapro/15.3.259]
-
Parasuraman, R., Sheridan, T. B., & Wickens, C. D. (2000). A model for types and levels of human interaction with automation. IEEE Transactions on Systems, Man and Cybernetics. Part A, Systems and Humans, 30(3), 286-297.
[https://doi.org/10.1109/3468.844354]
-
Pawar, U., O'Shea, D., Rea, S., & O'Reilly, R. (2020, June). Explainable AI in healthcare. In 2020 International Conference on Cyber Situational Awareness, Data Analytics and Assessment (CyberSA) (pp. 1-2). IEEE.
[https://doi.org/10.1109/CyberSA49311.2020.9139655]
-
Rong, Y., Leemann, T., Nguyen, T.-T., Fiedler, L., Qian, P., Unhelkar, V., Seidel, T., Kasneci, G., & Kasneci, E. (2024). Towards human-centered explainable AI: A survey of user studies for model explanations. IEEE Transactions on Pattern Analysis and Machine Intelligence, 46(4), 2104-2122.
[https://doi.org/10.1109/TPAMI.2023.3331846]
-
Sharma, N., & Patnaik, S. (2018). Is jargon deterrent to effective communication in dental practice? The budding dentists' outlook. Journal of Indian Association of Public Health Dentistry, 16(1), 48-53.
[https://doi.org/10.4103/jiaphd.jiaphd_123_17]
-
Shneiderman, B. (2020). Human-centered artificial intelligence: Reliable, safe & trustworthy. International Journal of Human-Computer Interaction, 36(6), 495-504.
[https://doi.org/10.1080/10447318.2020.1741118]
-
Virzi, R. A. (1992). Refining the test phase of usability evaluation: How many subjects is enough? Human Factors, 34(4), 457-468.
[https://doi.org/10.1177/001872089203400407]
-
Wang, L., Zhang, Z., Wang, D., Cao, W., Zhou, X., Zhang, P., Liu, J., Fan, X., & Tian, F. (2023). Human-centered design and evaluation of AI-empowered clinical decision support systems: A systematic review. Frontiers in Computer Science, 5, 1187299.
[https://doi.org/10.3389/fcomp.2023.1187299]
-
Yang, C. C. (2022). Explainable artificial intelligence for predictive modeling in healthcare. Journal of Healthcare Informatics Research, 6, 228-239.
[https://doi.org/10.1007/s41666-022-00114-1]




