사고 패턴 분석 및 시나리오 추출에 기반한 건설 기계 HMI 디자인

1. 서론

1. 2. 연구 방법

시나리오 생성을 위한 건설 기계 사고 발생의 원인과 패턴을 도출하기 위해 1)문헌연구 2)사고분석 3)시나리오 생성 4)시뮬레이션 제작 5)사용자 실험으로 연구를 진행하였다<Table 1>. 먼저 문헌 연구 단계에서는 인적 오류, Human Machine Interface 그리고 건설 현장의 MR과 윈드실드 디스플레이, 시나리오 생성기법에 대해 알아본다. 사고 분석 단계에서는 국토안전관리원에서 제공하는 실제 건설 기계 사고사례 중, 운전자와 관련되어 발생한 사고를 수집하여 사고의 다양한 양상을 파악하고 그래프를 그려 사고 원인의 패턴을 찾는다. 다음으로 시나리오 생성 단계에서는 사고 분석 단계에서 도출한 패턴을 적용한 시나리오를 대형 언어 모델인 OpenAI ChatGPT API로 생성한다. 시뮬레이션 단계에서는 생성한 시나리오를 적용한 가상 시뮬레이션을 구현하며 마지막으로 전문가 테스트, 인터뷰, 설문조사, 시각 자극물을 통해 이를 검증한다.

Table 1

Research Process

2. 이론적 배경

2. 1. 인적 오류

인적 오류란 개인의 신체적, 정신적인 조건으로 인해 발생하는 오류를 말하며(Jeong, 2012) 의도한 실수와 의도하지 않은 실수를 포함한다 (Larouzee & Le Coze, 2020). 인적 오류는 그 원인이 다양하고 복잡하기 때문에 사고를 면밀히 분석하는 것이 중요하다. 이 중에서도 사후 원인 탐색이 아닌 인적 오류가 발생하기 쉬운 작업 프로세스에서 피해를 예측하고 방지하기 위한 목적으로 개발된 모델을 인적 오류 모델이라 한다(Stanton & Baber, 2005). 그 예시로 사고를 발생시키는 원인 간의 관계를 연역-하향 접근으로 분석하는 Fault Trees(Kirwan & Ainsworth, 1992), 사고 발생의 빈도가 잦고 결과의 심각성이 높은 사고에 활용되는 원인 결과 분석 기법인 Bow-tie 모델(Haddon, 1973), 그리고 안전사고의 관련된 다양한 요인들을 분석하는 접근 방식인 Swiss Cheese 모델이 있다(Reason, 1990; Reason, Hollnagel, and Paries, 2006). 이들은 이미 일어난 사고의 발생 과정과 원인을 다각적으로 접근하여 인적 오류에 따른 안전사고의 이해와 분석을 하기 위해 개발된 모델이다. 이 중에서도 Swiss Cheese 모델은 사고 발생단계를 4단계 과정으로 정리하며 Management State(조직), Supervision(감독), Preconditions For Unsafe Act(불안전 행동 전제조건), Unsafe Acts(불안전 행동)로 나눈다. Management State(조직)는 조직의 문제를 말하며 잠재 요인으로 인해 잘못된 조직의 풍토나 운영 과정 등으로 인한 사고를 말한다. Supervision(감독)은 불안전한 관리 감독을 말하며 잠재 요인인 부적절한 관리 감독, 부적절한 실행계획 등을 말한다. Preconditions For Unsafe Act(불안전 행동 전제조건)는 불안전한 행동을 야기하는 조건이며 직간접 요인으로 부적절한 실행상태나, 부족한 의사소통, 지각의 부족 등을 말한다. Unsafe Acts(불안전 행동)는 직접 요인으로 사고를 일으킨 행위자의 직접적인 행동을 말하며 잘못된 의사결정, 기술 부족 지각 부족을 말한다(Reason, 1990)<Table 2>.

Table 2

Human Error Model

2. 2. Human Machine Interface(HMI)

HMI는 인간과 기계 사이에서 의사 및 정보 교환을 이루어지게 하는 매개체를 말한다. 또한, 기계가 가지고 있는 정보를 인간이 이해할 수 있는 형태나 형식으로 변환하여 보여주고, 인간의 명령을 기계가 인식할 수 있는 정보로 변환하여 주는 역할을 하는 시스템이기도 하다. 그러나 과도하게 복잡한 인터페이스나 적절하지 않은 정보 제공으로 인해 작업자들은 상황을 정확하게 이해하지 못하고 과업을 수행하지 못할 수 있어 사용자 중심의 HMI 디자인을 연구할 필요가 있다(Monsaingeon et al., 2021; Jang & Lee, 2024). 건설기계 HMI 디자인의 대부분 연구는 이미 디자인된 인터페이스의 조작에 대한 사용성 효과를 검증하는 경우가 많다. 예를 들어, 관리자를 위한 현장 모니터링 소프트웨어 디자인이나 (Mulyana, Ibrahim, and Abd Rahim, 2019; Alateeq, Rajeena, and Ali, 2023; Jo et al., 2019) 인지심리학과 컬러, 그리고 디스플레이를 고려한 HMI 인터페이스 디자인 연구가 있다(Zhang, He, and Ji, 2019). 최근에는 관행적인 HMI 설계의 문제점을 지적하고 개선 방안을 제안하고 있으며(Shahab, Srinivasan, and Srinivasan, 2023) 인터뷰를 통한 질적 분석으로 사고사례를 수집하고 이를 분석하는 연구도 진행되었다(Bedi, Rahman, and Din, 2021)<Table 3>.

Table 3

MR and HMI at Construction Sites

2. 3. 건설 현장에서의 Mixed Reality(MR)와 윈드실드 디스플레이

건설 현장의 안전에 대한 관심도가 높아지면서 최신 VR/AR 기술을 적용한 스마트 건설 기계에 관한 연구도 활발하게 진행되고 있다(Bhoir & Esmaeili, 2015; Sitompul, Wallmyr, and Lindell, 2020). 그 응용 분야는 건축설계, 인공지능, 컴퓨터 지원 설계 등이며, 주로 협업을 위한 MR 연구나 현장 운영에서 위험 방지 목적으로 한 스마트 기계의 활용이 연구되고 있다(Song, Koeck, and Luo, 2021; Teizer et al., 2015). 특히, 건설기계의 전면 유리창을 디스플레이로 활용하여 운전자에게 정보를 제공하는 연구도 활발하다.

윈드실드 디스플레이(Windshield Display)란 Head-Up Display(HUD)의 일종으로 차량의 전면부 유리에 정보를 띄워서 실시간으로 운전자에게 정보를 제공하는 방법을 말한다(Yamin, Park, and Kim, 2024). 자동차 사고 방지, 광고, 정보 제공 등으로 다양하게 연구가 진행되고 있으며 스마트 건설 기계의 중요성이 점차 커지면서 건설 기계 분야에서도 윈드실드 디스플레이의 중요성이 높아지고 있다. 페레이라 외(Pereira et al., 2016)의 연구에 따르면 지게차 운전자가 창고 환경에서 적재된 짐을 신속하게 찾는 데에 HUD와 HMD를 적용하였고 지게차 운전자의 과업에 도움을 줄 수 있다는 결론을 얻었다. 시톰풀, 발미르, 그리고 린델(Sitompul, Wallmyr, and Lindell, 2020)의 연구에서는 굴삭기의 윈드실드 디자인을 위해 인터뷰를 통해 운전자가 선호하는 위치, 표기 내용 등을 위한 아이콘을 제안하였다. 제이스왈 외(Jaiswal et al., 2021)의 연구에서는 트랙터의 윈드실드에 증강현실을 제공하여 운전자의 주의를 분산시키지 않고 실시간 정보를 확인할 수 있도록 가상의 시뮬레이션을 제작한 연구를 진행하였다<Table 4>.

Table 4

Construction Machinery Windshield Display Design

3. 사고 분석 및 패턴 도출

3. 1. 사고 요인 분석

먼저, 실제 건설 기계로 인한 사고 사례를 분석하기 위해, 2023년 4월 14일 기준 국토안전관리원의 건설 안전사고 사례 약 1만 7천 건을 수집하였다. 여기에서 사고빈도가 많은 지게차, 트럭, 굴삭기, 크레인(이동식) 4종을 선택하고 키워드를 추출하여서 관련된 건설 기계 사고끼리 그룹화하여 총 1727개의 사례로 압축하였다. 이 중에 인적 오류와 관련이 있지만 과업 내용과 관련이 없는 음주 운전, 고의로 낸 사고 등을 제외하여 지게차는 170건, 트럭은, 304건, 굴삭기는 467건, 크레인은 488건으로 최종 1429개의 사고를 선정하였다. 이후, 인적 오류 모델로 사고를 분석하였는데 분석 도구는 사고 발생의 원인을 설명하는 도구인 스위스 치즈 모델을 선택하였다. 스위스 치즈 모델은 사고는 어느 한 가지만의 요인에 의한 것이 아니라 여러 개의 장치와 과정이 동시에 제 기능을 못 할 때 사고가 발생한다는 가정을 기본으로 하기 때문에, 앞서 설명한 여러 인적 오류 모델 중 가장 사고의 원인을 다각도로 살펴볼 수 있다고 판단되었다.

요인 분석은 1) 사고 경위 키워드 추출 2) 스위스 치즈 모델 대입 3) 키워드 그룹화 4) 데이터 정제 5) 사고 요인 추출 순으로 진행하였다.

Figure 1

Swiss Cheese Model-Based Factor Analysis Process

자세한 프로세스는 다음과 같다. 먼저, 국토 안전 관리원의 사고 사례와 사고 경위를 보고 사고 요인들을 키워드로 추출하여 스위스 치즈 모델에 대입해 단계별로 사고 요인 분석을 한다. 사고 요인의 경우는 두 명의 연구자가 특별한 용어의 제약 없이 자유롭게 작성하여 사용자의 편견이 적용되지 않도록 하였다. 다음으로 수집된 요인들을 Python 라이브러리 Pandas를 활용하여 빈도수를 기준으로 그룹화하였고 사각, 사각지대처럼 서로 비슷한 의미를 가진 단어는 한 그룹으로 구성하였다. 이후 그룹화된 요인들을 다시 원 사고사례 데이터를 참고하여 정제된 키워드로 정리하였다. 마지막으로 도출한 키워드 중에 빈도수가 높은 것을 선택하여 건설 기계별로 반복적으로 나타나는 사고 요인들을 도출할 수 있었다. 도출한 키워드는 디자인 분야 박사급 연구자 1명과 박사 재학 연구자 1명 총 2명의 카파계수 평균 0.6 이상(0.6653)으로 신뢰성을 확보할 수 있었다.

3. 2. 네트워크 그래프

다음으로, 요인 사이의 관계를 분석하기 위해 연관규칙 알고리즘인 Apriori를 사용하여 건설 현장에서 발생하는 다양한 사고 요인 간의 상관관계를 분석하였다. 이를 통해 하나의 사고 요인이 다른 사고 요인의 발생 가능성에 미치는 영향을 확인할 수 있었다.

먼저 예를 든다면, 전체의 사고 사례가 총 200건 있다고 가정한다. 그리고 ‘안전수칙 미준수’라는 사고 요인이 총 100건 있다고 가정하며 이를 그룹 A라고 한다. 다음으로, ‘안전수칙 미준수’ 요인과 ‘추락’ 사고가 함께 발생한 경우가 10건이 있다고 하자. 그리고 이를 그룹 B라고 한다.

다음으로 사고 요인 간의 지지도(Support)를 분석하였다. 지지도는 전체 사건 중 특정한 요인이 발생한 빈도의 비율을 말한다. 예를 들어, 그룹B인 ‘안전수칙 미준수’와 ‘추락’ 사고가 함께 일어난 경우, 지지도는 10/200으로 0.05(5%)로 계산할 수 있다. 본 연구에서는 지지도가 0.01 이상인 항목만 골라내 빈도수가 높은 단어를 분석하였다.

다음으로 신뢰도(Confidence)를 계산하였다. 신뢰도는 하나의 사건이 일어났을 때, 다른 사건도 일어날 확률을 말한다. 예를 들어, 전체의 사고 사례에서 ‘안전수칙 미준수’ 사고 요인이 총 100건 발생한 그룹 A의 경우에서 그룹B인 ‘안전수칙 미준수’ 요인과 ‘추락’ 사고가 함께 발생한 경우의 신뢰도를 계산한 경우, B/A로 계산할 수 있으며 이는 10/100 = 0.1(10%)로 말할 수 있다.

향상도(Lift)는 두 사고 요인 간의 연관성의 정도를 나타내는 것으로, 특정한 사건의 발생이 다른 사건의 발생에도 미치는 영향을 의미하는데 그룹A가 발생하였을 때, 그룹B의 가능성이 얼마나 증가하는지를 말하며 신뢰도/지지도로 정의가 될 수 있다. 이 상황에서 향상도가 1보다 크면 두 사건 간의 연관성이 양의 상관관계를 가지고, 1보다 작으면 음의 상관관계를 가지는 것으로 볼 수 있다. 예를 들어, 전체 사고 사례가 200개 있고, 그룹A인 ‘안전수칙 미준수’ 사고 요인이 총 100건 발생한 상황에서, 그룹B인 ‘안전수칙 미준수’와 ‘추락’ 사고가 함께 발생한 경우가 10건이라면, 이 예시에서는 신뢰도는 0.1이며 지지도는 0.05이며 향상도는 0.5(50%)가 된다. 이는 ‘안전수칙 미준수’가 발생할 때 ‘추락’이 발생할 확률은 ‘추락’이 일어난 전체의 사고의 경우의 빈도보다는 낮음을 의미하고 음의 상관관계가 있음을 말한다.

다시 말해 지지도는 모든 사건 중 특정 사건의 발생 빈도를 말하며 신뢰도는 사건 하나가 일어나는 경우에 다른 사건도 일어날 확률을 말한다. 향상도는 두 사고 요인 간의 연관성 정도를 나타내는 것을 말한다. 이를 기반으로 지게차는 170건, 트럭은 304건, 굴삭기는 467건, 크레인은 488건의 사고 사례를 데이터 프레임으로 제작하였고, 이 중에 크레인 데이터 프레임의 일부분은 <Figure 2>과 같다.

Figure 2

Crane Data Frame

다음으로 각 요인 간의 네트워크 그래프를 그려서 이를 시각화하여 분석하였다. 지게차의 경우 의사소통 오류, 협착, 안전거리 미확보, 주변 미인지, 작업자 부주의, 안전수칙 미준수가 서로 연관되어 있다는 것을 확인할 수 있었다. 트럭의 경우 안전수칙 미준수, 작업자 부주의, 기타, 전도, 주변 미인지, 추락, 후진, 운전석 탑승이 서로 연관되어 있다는 것을 확인할 수 있었다. 굴삭기의 경우 안전수칙 미준수, 작업자 부주의, 협착, 안전거리 미확보, 기계 장비 관리 미흡, 타격. 위험 구간 접근 주변 미인지가 서로 연관되어 있다는 것을 확인할 수 있었다. 크레인의 경우, 안전수칙 미준수, 작업자 부주의, 안전거리 미확보, 자재 인양, 추락, 타격, 끼임, 협착, 의사소통 오류가 서로 연관되어 있음을 확인할 수 있었다<Table 5>.

Table 5

Network Graph of Accident Factors by Construction Machinery

3. 3. 사고 요인 원형 다이어그램

도출한 사고 요인의 각 건설 기계별, 운전자를 중심으로 분석한 사고 요인 중 상위 5위를 데이터의 비율을 시각적으로 비교하기 용이한 원형 다이어그램으로 살펴보았다. 이를 통해 지게차는 안전 수칙을 미준수하고, 작업자가 부주의하고, 자재를 운반할 때, 의사소통의 오류로 인해 협착한 경우가 가장 많다는 것을 확인할 수 있었다. 트럭은 안전수칙을 미준수하여, 작업자 부주의로, 후진하는 상황에서, 의사소통 오류로 넘어진 사고 사례를 확인할 수 있었다. 굴착기는 안전수칙을 미준수하여, 작업자 부주의로, 기타 상황에서 안전거리 미확보로 협착됨을 확인할 수 있었고, 크레인은 안전수칙 미준수로, 작업자 부주의하여, 자재 인양하는 상황에서, 안전거리 미확보로, 추락함을 확인할 수 있었다. 결과적으로 4개의 건설 기계에서 공통되는 키워드는 안전수칙 미준수, 작업자 부주의, 신호수 부재, 의사소통 오류 및 안전거리 미확보로 나타났다<Table 6>.

Table 6

Top 5 Deduction Factors Analyzed by the Swiss Cheese Model (Forklift)

다음으로 생키다이어그램(Sankey Diagram)을 그려 사고 결과와 추출한 사고 요인의 항목의 기여도를 시각적으로 확인하였다. 생키다이어그램의 노드는 하나의 데이터 항목을 의미하며, 링크는 노드와 노드를 연결하여 데이터의 이동 경로를 시각적인 비율로 보여준다. 시스템 내에서 요소들의 주된 이동이나 흐름을 시각적으로 파악할 수 있어 데이터 전체 구조를 파악하기 좋으며, 사건의 흐름을 보기에 용이하고, 각 노드를 비교하기에 좋다. 생키다이어그램은 앞서 도출한 사고 요인 빈도수를 기반으로 리스트업하고 이를 데이터 시트로 제작한 자바스크립트 라이브러리이며 데이터 시각화가 가능한 D3.js를 활용해 시각화하였다.

지게차의 경우, 데이터를 오른쪽에서부터 보면 상위요소를 그래프화한 것처럼 사고의 주요 요인과 그 흐름을 시각적으로 볼 수 있다<Table 7>. 구체적으로는 ‘안전수칙 미준수’에는, ‘작업자 부주의’의 영향이 결정적인데, ‘자재 운반’ 도중에 발생한 ‘의사소통 오류’가 원인이 되어 ‘협착’ 사고로 이어져 부상을 초래한 시나리오를 확인할 수 있었다. 이러한 시스템 내 주요 요소들을 시각적으로 분석함으로써, 건설 기계 4종의 사고 요인 기여도를 명확하게 파악할 수 있었다.

Table 7

Forklift Sankey Diagram

사고 요인 추출과 그 빈도수에 관한 데이터, 사고 요인 간의 네트워크 그래프, 그리고 생키 다이어그램으로 얻은 시각적인 그래프를 통해 사고 발생의 주요 원인과 그 흐름을 이해함으로써, 건설 현장에서 각 건설 기계별로 빈번하게 발생하는 사고 요인을 체계적으로 분석하고 이를 바탕으로 사용자 중심의 HMI 디자인 개선 방안을 제안하는 데 중요한 기초 자료를 마련할 수 있었다.

3. 4. 시나리오 생성

시나리오 생성을 위해 국토 안전 관리원에서 제공하는 사고 사례와 인적 오류 모델인 스위스 치즈 모델로 분석한 사고 요인 결과를 OpenAI ChatGPT API를 활용하여 인공지능 모델에 학습시켰다.

구체적인 과정은 다음과 같다. Open AI의 GPT-3 모델 중 davincitext-davinci-003 모델을 활용하였으며 구글 코랩(Google Colab)환경에서 학습과 생성 과정을 수행하였다. 학습에 사용된 데이터는 실제 건설기계 사고 자료와, 각 사례를 사고 요인으로 분석한 자료로, 이를 프롬프트 컴플리션(Prompt-Completion) 형식으로 모델에 입력하였다. 프롬프트에서는 실제 사고 경위와 이에 대한 사고 요인을 설명하는 방식으로 구성하였다. 이후 이를 바탕으로 건설 기계 종류별로 사고 시나리오를 생성할 수 있도록 유도하는 질문 형식으로 구성하였다. 특히 각 건설기계의 특성을 반영하여 사고의 구체적인 상황과 맥락을 설명하고 이에 영향을 미친 사고 요인들을 명확하게 기술하여 보다 현실적이고 일관된 시나리오를 생성할 수 있도록 하였다<Figure 3>.

Figure 3

Process of creating a scenario using the ChatGPT API

학습을 위한 데이터 구성 및 전처리의 주요 구성 요소는 다음과 같다. 사고 사례에서는 사고가 발생한 구체적인 상황을 설명하였다. 사고 요인에서는 인적 오류 모델인 스위스 치즈 모델로 분석한 사고 요인을 작성하였다. 사고 결과는 사고가 발생한 후의 결과 및 영향으로 작성하였다. 다음은 지게차 사고 사례를 데이터로 구성한 예시이다<Table 8>.

Table 8

Data Organization and Preprocessing

이를 통해 지게차, 트럭, 굴삭기, 크레인 각 기계의 사고 시나리오를 각각 30개씩 총 120개를 생성할 수 있었다. 생성된 시나리오는 다시 검토하여 사고 요인 간의 상관관계를 적절하게 반영하였는지를 확인하였다. 아래 그림은 시나리오 생성과 검토 결과로, 각 시나리오에 포함된 요인들의 분포를 보여준다<Figure 4>.

Figure 4

Generated Scenarios and Factor Analysis(Forklift)

생성된 시나리오 120개 중, 사고 원인과 기여도를 명확하게 파악할 수 있고 각 건설 기계 별로 가장 높은 빈도의 사고 요인을 가진 시나리오를 선정하였다.

지게차의 경우, 스위스 치즈 모델로 분석하였을 때, 사고의 전제조건 요인 1위는 ‘자재 운반’이었으며, 불안전 행동의 1위 요인은 ‘의사소통 오류’였고, 사고 결과 1위 요인은 ‘협착’이었다. 이에 맞추어 ChatGPT가 생성해 준 시나리오 중에, ‘자재 운반’, ‘의사소통 오류’, ‘협착’의 요인을 가진 “지게차 운전자가 자재를 싣고 이동 중, 안전거리를 확보하지 못해 다른 지게차와 충돌. 운전자와 주변 작업자들이 경미한 부상을 입음.”의 시나리오를 선택하였고 이를 바탕으로 시뮬레이션에서 피험자가 수행할 과업을 구체화하였다<Table 9>.

Table 9

Representative Scenario for Each Type of Construction Machinery and Tasks

3. 5. 시뮬레이션

제안하는 시나리오 생성 과정과 사고 요인으로 향후 사용자 중심의 건설 기계 HMI 디자인을 개선하고 건설 현장의 안전성과 효율성을 높이는 데 기여가 가능한지 확인하고자, 건설 기계 윈드실드 디자인 콘셉트를 시뮬레이션으로 제작하였다. 이를 위해 먼저 생성된 대표 시나리오를 토대로 스토리보드를 제작하여 시각화하였다. 실제 운전 환경에서 발생할 수 있는 상황을 보다 명확하게 이해하고, 사용자 중심의 HMI 디자인에 필요한 핵심적인 요인들을 체계적으로 확인할 수 있기 위함이었다. 다음으로, 화면 구성을 디자인하였다. 화면 구성을 위한 스토리보드에는 건설 기계 운전자를 위한 아이콘을 적용하였다(박수진 외, 2023). 아이콘은 1)과적, 2)밸런스, 3)전방, 4)주변 감지, 5)수신호 총 5개를 조합하여 화면을 구성하였다. 각 건설 기계별로 과업을 고려하였는데, 지게차는 포크(Forks)로 무거운 물건을 들어 올리거나 운반하는 기계로 전방 시야 확보가 어렵기 때문에 과적, 밸런스 전방 아이콘을 주 아이콘으로 선정하였다. 트럭은 무거운 화물이나, 기계를 실을 수 있도록 적재 공간이 탑재된 차량이기 때문에 주변 감지, 과적, 밸런스를 중점으로 디자인하였다. 굴삭기는 버킷을 가진 건설 기계로 불규칙한 지형에서도 안정적으로 회전 및 움직일 수 있도록 설계되었기 때문에 과적, 주변 감지, 밸런스를 중심으로 화면 구성을 디자인하였다. 이동식 크레인은 이동성이 매우 뛰어나고 다양한 건설 자재를 인양할 수 있도록 설계되어 복합적이고 변칙적인 건설 현장에서 유연한 사용이 가능하기 때문에 전방, 과적을 중점으로 디자인하였다<Table 10>.

Table 10

Storyboard and screen layout design based on scenario

시뮬레이션은 스토리보드와 화면구성 디자인을 토대로 제작하였다. 게임 개발 엔진인 Unity3D 프로그램을 활용하여 피험자가 직접 운전을 할 수 있는 인터랙티브 환경을 제공하였다. 시뮬레이션은 실제 건설 현장과 완벽하게 동일한 환경 조건을 갖춘 구조는 아니지만, 피험자가 체험하는 공간이 실제 환경과 유사하다는 것을 느낄 수 있도록 배경음악, 환경조건, 조작, 배경의 사람 배치와 애니메이션을 추가하여 가상의 건설 현장을 제작하였다. 또, 구성한 아이콘과 건설기계의 근접에 장애물이 나타날 시 이를 경고하는 사운드를 구현하였다. 또, 건설 기계의 사이드미러, 로지텍 스티어링 휠과 기어조작, 페달을 활용하여 피험자가 직접 운전 및 조작이 가능하도록 구현하였다. 공통으로 구현한 기능은 전진 및 후진, 핸들로 방향 조절하기이다.

3. 6. 사용자 실험

다음으로 건설 기계 운전자에게 유용한 결과를 낼 수 있는지 확인하고자 현직자를 대상으로 사용자 테스트를 진행하였다.

피험자는 건설기계 사무소가 밀집한 지역에서 추레라, 덤프트럭, 트럭, 굴삭기 운전자 6명을 모집하였다. 현업에서는 덤프트럭 운전자가 지게차 면허를 보유하거나, 굴삭기 운전자가 지게차 및 대형 1종 면허를 동시에 소지하거나, 크레인 운전자가 대형 1종 면허를 함께 보유한 경우가 많다. 건설기계 조종사 면허증의 경우 복수로 건설기계 자격을 갖춘 경우에는 면허증 1개에 복수의 건설기계가 표시된다. 이처럼 건설기계 자격증을 여러 개 보유한 운전자가 많기 때문에 현장의 특성을 고려하여 1명의 운전자가 지게차, 트럭, 굴삭기, 크레인 시나리오 4개를 체험하는 것으로 진행하였다. 실험은 사전, 사후 설문지, 심층 인터뷰 순으로 진행하였고 실험은 1인당 총 1시간 정도가 소요되었다<Table 11>.

Table 11

Construction Equipment Operator Experiencing the Simulation

실험 후 현직 건설 기계 운전자를 대상으로 심층 인터뷰를 실시하였다. 체험한 윈드실드 디스플레이의 아이콘 경험과 본인이 활용한 정도를 묻는 질문에서는 각기 다른 양상을 보였다. P1의 경우에는 “앞 유리에 뭐가 있는 것을 보긴 했지만 그것이 움직이거나, 상황을 알려주는 아이콘이라고 생각을 못하였다. 사실은 전혀 있는지도 몰랐다.”라고 대답하였다. 이는 아이콘을 전혀 인지하지 못함을 말한다. P6은 “아이콘은 잘 보이긴 했는데 생각보다 활용을 하지는 않았다.”라고 대답하였다. 이는 아이콘을 인지하였으나 활용하지 않았고, P2와 P4의 경우에는 아이콘을 잘 활용하였으며 조작하기에도 편했다고 답을 하였다.

사운드의 경험을 묻는 질문에서는 P3은 “사운드 경고음의 경우 건설현장의 소음이 크지만 운전자에게는 도움이 되는 것 같다. 현장감이 없는 초보자에게는 유용했을지도 모른다.”라고 대답하였으며 시뮬레이션 및 실제 현장은 소음이 큰 상황이지만 사운드 경고음은 운전자에게 유용할 것이라고 답하였다. P4의 경우, 사운드 경고음이 있는 것은 인지하였으나 활용하지는 않았다고 답하였다. P6은 “경고 사운드를 잘 들을 수 있었다. 그러나 내가 빨리 피해야 한다고 생각해서 급하게 핸들을 꺾었는데 그때 사고가 났다.”라고 사운드 경고음에 대한 언급을 하였다.

마지막으로 체험한 시뮬레이션이 실제 상황과 얼마나 유사한지를 묻는 심층 인터뷰 질문에 P5는 “체험한 시뮬레이션에서 사람들이 많았는데, 그 장면을 보고 실제 현장에서 일하는 사람들 생각이 많이 났다. 실제로 작업을 하다보면 작업자들이 기계가 있는걸 알면서도 기계 근처를 왔다 갔다 한다. 그럴 때 사고가 나는 것이다. 현장에서 크레인에 실링벨트를 제대로 묶지도 못하는 사람이 많고 반드시 사고가 나는데 시뮬레이션 하면서 그 생각이 많이 났다.”라고 대답하였다. 이외에도 피험자 대부분 실제와 유사하며 자주 발생하는 상황이고 충분히 사고가 발생할 수 있는 모습을 표현하였다고 대답하였다.

따라서, 생성된 시나리오를 기반으로 윈드실드 디스플레이 디자인 콘셉트를 제작하고 이를 활용한 실험을 통해 피험자들의 다양한 의견과 반응을 수집할 수 있었다. 실험 과정에서 피험자들은 제작한 디자인 콘셉트에 대해 전반적으로 긍정적인 평가를 했고 높은 관심을 보였으며 P1을 제외한 피험자 모두 윈드실드 디스플레이가 사용화 된다면 안전을 위해 활용하겠다고 답하여 제안하는 콘셉트의 사용 의향이 높은 것으로 볼 수 있었다.

4. 결론 및 제언

건설 기계와 운전원의 상호 작용은 작업의 효율성과 안전에 직접적인 영향을 미치므로 건설 기계 HMI 제작 시 사용자 중심의 디자인이 더욱 중요시되고 있다. 본 연구에서는 기존의 건설 기계 HMI 연구들이 이미 제작된 인터페이스 디자인의 사용성 확보에 주로 연구가 진행됨에 비해, 본질적인 사고 저감을 위한 연구가 부족한 것에 주목하고, 실제 사고 데이터를 사고 요인으로 분석하고 이를 그래프로 시각화하였으며 데이터에서 나타난 사고 패턴을 기반으로 ChatGPT API를 활용한 생성 시나리오 도출 기반 HMI 디자인 프로세스를 제안하였다. 이를 위해 구체적으로는 국토안전관리원에서 제공하는 사고 사례 1429개를 분석하여 반복적으로 나타나는 사고 요인을 파악하였다. 면밀한 사고 요인의 패턴을 확인하기 위해 네트워크 그래프, 원형 다이어그램, 생키 다이어그램을 그렸다. 네트워크 그래프를 통해 도출한 사고 요인이 다른 사고 요인의 발생 가능성과 그에 미치는 영향을 시각적으로 확인할 수 있었다. 원형 다이어그램으로는 사고 요인 데이터의 비율을 확인하여 데이터의 구조를 확인할 수 있었다. 생키 다이어그램으로는 사고 요인 항목의 기여도를 시각적으로 확인할 수 있으며 사고 요인 데이터의 이동 경로를 시각적으로 확인하고 사고의 전체 흐름을 볼 수 있었다.

이후 도출한 사고 요인을 학습한 생성형 인공지능 모델을 통해 사고 시나리오를 생성하여 지게차, 트럭, 굴삭기, 크레인 종류별로 30개, 총 120개의 사고 시나리오를 생성할 수 있었다. 이들을 다시 사고 요인 빈도수를 기준으로 다시 선별한 후, 각 건설기계 종류별 대표 시나리오를 선정하였고 선택한 대표 시나리오를 토대로 스티어링휠과 Unity 3D로 사용자가 직접 체험할 수 있는 인터랙티브한 시뮬레이션으로 제작하였으며 최종적으로 사용자 테스트 및 인터뷰를 통해 검증하였다. 검증 결과 현직자들로부터 제시된 시나리오 및 시뮬레이션의 과업이 실제로 있을 수 있는 생생한 상황이라는 피드백을 들을 수 있었다. 그러나, 실험에 참여하는 피험자의 숙련도를 고려하지 못하고 단적인 시뮬레이션으로 실험을 진행하였으며 이는 연구의 한계점이라 할 수 있다. 결론적으로 본 연구에서 제안하는 사고요인을 토대로 사고 시나리오를 생성하고 이를 기반으로 구성한 디자인 콘셉트가 유용하다는 것을 확인하였고, 건설기계 연구 및 산업 분야에서 HMI 디자인을 연구할 때 실질적으로 활용될 수 있음을 확인하였다. 또 건설기계별로 발생할 수 있는 사고 시나리오를 예측할 수 있어, 향후 건설기계 HMI 디자인 개발에 중요한 방향성을 제안할 수 있는 가능성을 확인할 수 있었다.

이러한 연구의 의의는 직접적으로는 건설 기계 HMI의 디자인 시 활용할 수 있는 사고 요인 데이터의 제공과 타 분야로 확장 시 도입할 수 있는 근거 중심의 HMI 디자인 콘셉트 제작 프로세스의 제공에 있다. 향후 사고 시나리오 생성부분에 있어 개선할 수 있는 사항은, 더욱 신뢰성을 확보할 수 있도록 추가적인 성능 평가와 대량의 사용자 테스트가 있을 수 있다. 또한 구현된 인공지능 모델은 파인 튜닝을 통해 더 정확하고 배포가 가능한 형태로 제작이 될 수 있을 것이다. 이를 위해서는 사고 사례와 요인, 그리고 이에 대응하는 사고 시나리오를 질문과 답변의 쌍 (Prompt-Completion pair)으로 구조화하여 훈련하는 것이 필요하다.

본 연구는 건설 기계라는 다소 디자인이 주목하지 않았던 분야의 HMI 디자인에 사용자 중심의 디자인 방법이 어떻게 활용될 수 있는지를 확인하였다. 데이터에 기반한 근거 중심의 시나리오는 디자인 프로세스의 과학화에 기여할 뿐만 아니라 실제와 가까운 시뮬레이션이 활용되는 모든 분야에 적용 가능할 것으로 보인다. 사고로 인한 비용이 기업이나 사회에 있어 무한에 가깝게 커지는 상황 속에서, 본 연구가 안전이 담보된 효율성 향상이라는 목표에 활용될 수 있기를 희망한다.

Acknowledgments

This paper was written based on a doctoral dissertation completed in 2024.

References

• Abdeen, F. N., Gunatilaka, R. N., Sepasgozar, S. M., & Edwards, D. J. (2024). The usability of a novel mobile augmented reality application for excavation process considering safety and productivity in construction. Construction Innovation, 24(4), 892-911. [https://doi.org/10.1108/CI-07-2022-0168]
• Alateeq, M. M., PP, F. R., & Ali, M. A. (2023). Construction Site Hazards Identification Using Deep Learning and Computer Vision. Sustainability, 15(3), 2358. [https://doi.org/10.3390/su15032358]
• An, S-h. (2023). Influence of Safety Awareness Levels in Construction Sites on Human Errors by Construction Workers. Journal of the Korea Institute of Building Construction, 23(4), 477-484. [https://doi.org/10.5345/JKIBC.2023.23.4.477]
• Bedi, J. K., Rahman, R. A., & Din, Z. (2021). Heavy Machinery Operators: Necessary Competencies to Reduce Construction Accidents. In IOP Conference Series: Earth and Environmental Science (Vol. 641, No. 1, p. 012007). IOP Publishing. [https://doi.org/10.1088/1755-1315/641/1/012007]
• Bhoir, S., & Esmaeili, B. (2015). State-of-the-art review of virtual reality environment applications in construction safety. AEI 2015, 457-468. [https://doi.org/10.1061/9780784479070.040]
• Dodoo, J. E., & Al-Samarraie, H. (2021). A systematic review of factors leading to occupational injuries and fatalities. Journal of Public Health, 1-15. [https://doi.org/10.1007/s10389-020-01427-4]
• Dutra, P. V. M., Villela, S. M., & Neto, R. F. (2025). A mixed-initiative design framework for procedural content generation using reinforcement learning. Entertainment Computing, 52, 100759. [https://doi.org/10.1016/j.entcom.2024.100759]
• Haddon, W. (1973). Energy Damage and the Ten Countermeasure Strategies. Human Factors, 15(4), 355-366. [https://doi.org/10.1136/ip.1.1.40]
• Han, S-Y., Kim, J-U., & Kim, Y-M. (2015). A Study on the Fire Response Scenarios Generation of Unmanned Light Rail Transit with Systems Engineering Architecture Design Methodology. Journal of Korea Safety Management & Science, 17(1), 33-43. [https://doi.org/10.12812/ksms.2015.17.1.33]
• Hasan, A., Baroudi, B., Elmualim, A., & Rameezdeen, R. (2018). Factors affecting construction productivity: a 30 year systematic review. Engineering, construction and architectural management, 25(7), 916-937. [https://doi.org/10.1108/ECAM-02-2017-0035]
• Jaiswal, S., Åman, R., Sopanen, J. & Mikkola, A. (2021). Real-time multibody model-based heads-up display unit of a tractor. IEEE Access, 9, 57645-57657. [https://doi.org/10.1109/ACCESS.2021.3072452]
• Jang, G., & Lee, Y. (2024). The Effect of Arrow Spacing and Blinking Speed Difference on Driver"s Visual Perception and Cognitive Functioning in an Augmented Reality Information Delivery Method of Head-Up Display. Archives of Design Research, 37(1), 193-206. [https://doi.org/10.15187/adr.2024.02.37.1.193]
• Jang, H-G. (2013). Digital development of construction machinery. Mechanical Journal, 53(1), 42-46.
• Jeong, B-Y. (2012). Design and Human Engineering: UI/UX Design and Human Error Prevention. Seoul: Minyoungsa.
• Jo, B. W., Lee, Y. S., Khan, R. M. A., Kim, J. H., & Kim, D. K. (2019). Robust Construction Safety System (RCSS) for collision accidents prevention on construction sites. Sensors, 19(4), 932. [https://doi.org/10.3390/s19040932]
• Jung, K. H., Labriola, J. T., & Baek, H. (2023). Projecting the planned trajectory of a Level-2 automated vehicle in the windshield: Effects on human drivers' take-over response to silent failures. Applied Ergonomics, 111, 104047. [https://doi.org/10.1016/j.apergo.2023.104047]
• Khazen, M., Nik-Bakht, M., & Moselhi, O. (2024). Monitoring workers on indoor construction sites using data fusion of real-time workers location, body orientation, and productivity state. Automation in Construction, 160, 105327. [https://doi.org/10.1016/j.autcon.2024.105327]
• Kirwan, B., & Ainsworth, L. K. (1992). A guide to task analysis: the task analysis working group. Florida: CRC press. [https://doi.org/10.1201/b16826]
• Kim, E-J. (2024). A Study on Risk Management Measures for the Reduction of Construction Machinery Accidents. Journal of the regional association of architectural institute of korea, 26(1), 11-18.
• Kim, H, Yi, J-S., & Jang, Y. (2022). Analyzing Patterns of Multi-cause Accidents From KOSHA's Construction Injury Case Reports Utilizing Text Mining Methodology. Journal of the Architectural Institute of Korea, 38(4), 237-244. [https://doi.org/10.5659/JAIK.2022.38.4.237]
• Larouzee, J., & Le Coze, J. C. (2020). Good and bad reasons: The Swiss cheese model and its critics. Safety science, 126, 104660. [https://doi.org/10.1016/j.ssci.2020.104660]
• Lee, J., Kim, B., Sun, D., Han, C., & Ahn, Y. (2019). Development of unmanned excavator vehicle system for performing dangerous construction work. Sensors, 19(22), 4853. [https://doi.org/10.3390/s19224853]
• Lewrick, M., Link, P., & Leifer, L. (2020). The design thinking toolbox: A guide to mastering the most popular and valuable innovation methods. New Jersey: John Wiley & Sons. [https://doi.org/10.15358/9783800657520]
• Liu, D., Kim, J., & Ham, Y. (2023). Multi-user immersive environment for excavator teleoperation in construction. Automation in Construction, 156, 105143. [https://doi.org/10.1016/j.autcon.2023.105143]
• Marcher, C., Giusti, A., & Matt, D. T. (2021). On the design of a decision support system for robotic equipment adoption in construction processes. Applied Sciences, 11(23), 11415. [https://doi.org/10.3390/app112311415]
• Marović, I., & Hanak, T. (2017). Selection of adequate site location during early stages of construction project management: A multi-criteria decision analysis approach. In IOP Conference Series: Materials Science and Engineering (Vol. 251, No. 1, p. 012044). IOP Publishing. [https://doi.org/10.1088/1757-899X/251/1/012044]
• Mazankova, M. J. (2015). Risks from blind spots of trucks. In International Conference on Military Technologies (ICMT) 2015(pp. 1-6). IEEE. [https://doi.org/10.1109/MILTECHS.2015.7153733]
• Moon, W-C., & Kim, W-Y. (2013). Establishing the Importance Institution for Prevention of Human Error. Journal of advanced navigation technology, 17(4), 377-385. [https://doi.org/10.12673/jkoni.2013.17.4.377]
• Monsaingeon, N., Caroux, L., Mouginé, A., Langlois, S., & Lemercier, C. (2021). Impact of interface design on drivers' behavior in partially automated cars: An on-road study. Transportation research part F: traffic psychology and behaviour, 81, 508-521. [https://doi.org/10.1016/j.trf.2021.06.019]
• Mulyana, T., Ibrahim, R., & Abd Rahim, E. (2019). Human machine interface design analysis of defect detection prototype by wonderware InTouch software. In Journal of Physics: Conference Series (Vol. 1150, No. 1, p. 012034). IOP Publishing. [https://doi.org/10.1088/1742-6596/1150/1/012034]
• Nalic, D., Eichberger, A., Hanzl, G., Fellendorf, M., & Rogic, B. (2019). Development of a co-simulation framework for systematic generation of scenarios for testing and validation of automated driving systems. In 2019 ieee intelligent transportation systems conference (itsc) (pp. 1895-1901). IEEE. [https://doi.org/10.1109/ITSC.2019.8916839]
• Park, S-J., Kim, T., Chung, D., Ahn, H., & Lee, S. (2023). HMI Icon Design for Construction Machinery Operator using Critical Incident Technique (CIT). Journal of the HCI Society of Korea, 18(4), 21-29,. [https://doi.org/10.17210/jhsk.2023.12.18.4.21]
• Park, H-J., Lee, J-S., Seo, M-B., & Lee, S-Y. (2024). Risk Analysis by Activity based on Construction Safety Accident cases. Journal of the Architectural Institute of Korea, 40(1), 287-295. [https://doi.org/10.5659/JAIK.2024.40.1.287]
• Pereira, A., Lee, G. A., Almeida, E., & Billinghurst, M. (2016). A study in virtual navigation cues for forklift operators. In 2016 XVIII Symposium on Virtual and Augmented Reality (SVR) (pp. 95-99). IEEE. [https://doi.org/10.1109/SVR.2016.25]
• Phade, G., Tribhuvan, A., Vaidya, O., & Gandhe, S. (2021). Design and development of smart personal protective equipment vending machine using Internet of Thing. In 2021 International Conference on Emerging Smart Computing and Informatics (ESCI) (pp. 252-257). IEEE. [https://doi.org/10.1109/ESCI50559.2021.9396775]
• Ray, S. J., & Teizer, J. (2013). Computing 3D blind spots of construction equipment: Implementation and evaluation of an automated measurement and visualization method utilizing range point cloud data. Automation in Construction, 36, 95-107. [https://doi.org/10.1016/j.autcon.2013.08.007]
• Reason, J. (1990). Human error. Cambridge university press. [https://doi.org/10.1017/CBO9781139062367]
• Reason, J., Hollnagel, E., & Paries, J. (2006). Revisiting the Swiss cheese model of accidents. Journal of Clinical Engineering, 27(4), 110-115.
• Sanad, H. M., Ammar, M. A., & Ibrahim, M. E. (2008). Optimal construction site layout considering safety and environmental aspects. Journal of construction engineering and management, 134(7), 536-544. [https://doi.org/10.1061/ASCE0733-93642008134:7536]
• Shahab, M. A., Srinivasan, B., & Srinivasan, R. (2023). Enhancing Human Machine Interface design using cognitive metrics of process operators. In Computer Aided Chemical Engineering (Vol. 52, pp. 3513-3518). Elsevier. [https://doi.org/10.1016/B978-0-443-15274-0.50561-8]
• Shariatfar, M., Deria, A., & Lee, Y. C. (2022). Digital twin in construction safety and its implications for automated monitoring and management. In Construction Research Congress 2022(pp. 591-600). [https://doi.org/10.1061/9780784483961.062]
• Sitompul, T. A., Wallmyr, M., & Lindell, R. (2020). Conceptual design and evaluation of windshield displays for excavators. Multimodal Technologies and Interaction, 4(4), 86. [https://doi.org/10.3390/mti4040086]
• Song, Y., Koeck, R., & Luo, S. (2021). Review and analysis of augmented reality (AR) literature for digital fabrication in architecture. Automation in Construction, 128, 103762. [https://doi.org/10.1016/j.autcon.2021.103762]
• Stanton, N. A., & Baber, C. (2005). Validating task analysis for error identification: reliability and validity of a human error prediction technique. Ergonomics, 48(9), 1097-1113. [https://doi.org/10.1080/00140130500219726]
• Su, X., Pan, J., & Grinter, M. (2015). Improving construction equipment operation safety from a human-centered perspective. Procedia Engineering, 118, 290-295. [https://doi.org/10.1016/j.proeng.2015.08.429]
• Teizer, J. (2015). Magnetic field proximity detection and alert technology for safe heavy construction equipment operation. In ISARC. Proceedings of the International Symposium on Automation and Robotics in Construction (Vol. 32, p. 1). IAARC Publications. [https://doi.org/10.22260/ISARC2015/0062]
• Teizer, J. (2016). Right-time vs real-time pro-active construction safety and health system architecture. Construction Innovation, 16(3), 253-280. [https://doi.org/10.1108/CI-10-2015-0049]
• Teizer, J., Golovina, O., Wang, D., & Pradhanang, N. (2015). Automated collection, identification, localization, and analysis of worker-related proximity hazard events in heavy construction equipment operation. Proceedings of the International Symposium on Automation and Robotics in Construction (Vol. 32, p. 1). IAARC Publications. [https://doi.org/10.22260/ISARC2015/0005]
• Hanington, B., & Martin, B. (2017). The pocket universal methods of design: 100 ways to research complex problems, develop innovative ideas and design effective solutions. Rockport.
• Yamin, P. A., Park, J., & Kim, H. K. (2024). In-vehicle human-machine interface guidelines for augmented reality head-up displays: A review, guideline formulation, and future research directions. Transportation Research Part F: Traffic Psychology and Behaviour, 104, 266-285. [https://doi.org/10.1016/j.trf.2024.06.001]
• Kim, Y., Choi, H., Oh, A., Jeon, H., & Kim, K. (2024). Exploring the Potential of Generative AI in UX Practice : A Case Study on Scenario Development for Large Indoor Facility Robots. Design Works, 7(1), 29-44. [https://doi.org/10.15187/dw.2024.03.7.1.29]
• Yu, Y-J., Kim, T., Son, K., Lee, K-H., & Kim, J-M. (2016). Analysis of Primary Internal and External Risk Factors According to the Accident Causes in Construction Site. Journal of the Korea Institute of Building Construction, 16(6), 519-527. [https://doi.org/10.5345/JKIBC.2016.16.6.519]
• Zhang, S., He, C., & Ji, Z. (2019). Study on Human-Machine Interface Design of Construction Machinery. In Advances in Ergonomics in Design: Proceedings of the AHFE 2018 International Conference on Ergonomics in Design, July 21-25, 2018, Loews Sapphire Falls Resort at Universal Studios, Orlando, Florida, USA 9(pp. 78-85). Springer International Publishing. [https://doi.org/10.1007/978-3-319-94706-8_10]