U-Net-Based Automatic Segmentation of Sphenoid Sinus Fluid in Drowning Cases Using Postmortem CT Images:
A Feasibility Study

Jin-Haeng Heo; Seon Jung Jang; Jeong-hwa Kwon; Young San Ko; Sang-Beom Im; Sookyoung Lee; In-Soo Seo; Joo-Young Na; Yeji Kim; Yongsu Yoon

doi:10.7580/kjlm.2024.48.1.7

Original Article

Korean Journal of Legal Medicine 2024;48(1):7-13.

Published online: February 28, 2024

DOI: https://doi.org/10.7580/kjlm.2024.48.1.7

익사 사례에서 Postmortem CT 영상을 활용한 U-Net 기반 나비굴 내 액체 자동 분할: 타당성 연구

허진행^1,²

, 장선정¹

, 권정화¹

, 고영산¹

, 임상범¹

, 이수경³

, 서인수⁴

, 나주영⁵

, 김예지^2,⁶

, 윤용수^2,^6,

¹국립과학수사연구원 부산과학수사 연구소 법의학과

²동서대학교 일반대학원 융합방사선학과

³국립과학수사연구원 법의학부 법의검사과

⁴국립과학수사연구원 광주과학수사 연구소 법의학과

⁵부산대학교 의과대학 법의학교실

⁶동서대학교 방사선보건환경연구 센터

U-Net-Based Automatic Segmentation of Sphenoid Sinus Fluid in Drowning Cases Using Postmortem CT Images: A Feasibility Study

Jin-Haeng Heo^1,²

, Seon Jung Jang¹

, Jeong-hwa Kwon¹

, Young San Ko¹

, Sang-Beom Im¹

, Sookyoung Lee³

, In-Soo Seo⁴

, Joo-Young Na⁵

, Yeji Kim^2,⁶

, Yongsu Yoon^2,^6,

¹Forensic Medicine Division, National Forensic Service Busan Institute, Yangsan, Korea

²Department of Multidisciplinary Radiological Science, The Graduate School of Dongseo University, Busan, Korea

³Division of Forensic Medical Examination, National Forensic Service, Wonju, Korea

⁴Forensic Medicine Division, National Forensic Service Gwangju Institute, Jangseong, Korea

⁵Department of Forensic Medicine, Pusan National University School of Medicine, Yangsan, Korea

⁶Center for Radiological Environment & Health Science, Dongseo University, Busan, Korea

Correspondence to Yongsu Yoon Department of Multidisciplinary Radiological Science, The Graduate School of Dongseo University, 47 Jurye-ro, Sasang-gu, Busan 47011, Korea
Tel: +82-51-320-4244 Fax: +82-51-320-2732 E-mail: ysyoon@office.dongseo.ac.kr

Received November 3, 2023 Revised December 4, 2023 Accepted February 19, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Detecting sphenoid sinus fluid (SSF) is an additional finding in autopsies for diagnosing drowning. SSF can provide additional forensic evidence through laboratory tests such as diatom and electrolyte analyses. If drowning is suspected, accurately assessing the presence and volume of SSF during an autopsy is crucial. Utilizing postmortem computed tomography (PMCT) images could aid in accurately sampling SSF. Accurately segmenting the region of interest is essential for volume analysis using computed tomography images. However, manual segmentation techniques are labor-intensive and time-consuming, and their success depends on the experience of the observer. Therefore, this study aimed to develop a U-Net-based deep learning model for the automatic segmentation of SSF in drowning cases using PMCT images and to evaluate the performance of the model. We retrospectively reviewed 34 drowning cases in which both PMCT scans and forensic autopsies were performed at our institution. The U-Net architecture of deep learning was used for automatic segmentation. The proposed model achieved the Dice similarity coefficient (DSC) and Intersection over Union (IoU) of a maximum of 95.85% and 92.03%, a minimum of 0% and 0%, and an average of 77.15% and 67.18%, respectively. Although the average DSC and IoU did not show high similarity, this study showed that PMCT images can be used for automatic segmentation of SSF in drowning cases, which could improve the performance with sufficient dataset acquisition and further model training.

Key Words: Postmortem computed tomography · Drowning · Sphenoid sinus fluid · Deep learning · Segmentation

서 론

익사는 일반적으로 흡입된 액체에 의해 기도가 막히면서 발생하는 사망으로 정의된다[1]. 나비굴 내 액체는 익사 시신에서 나타나는 전형적인, 하지만 비특이적인 부검 소견이다. 그러나 나비굴 내 액체의 규조류 및 전해질 검사와 같은 추가적인 사후 검사를 통해 익사의 사후진단에 기여할 수 있다[2,3]. 따라서, 익사가 의심되는 사례의 부검에서 나비굴 내 액체 소견을 소홀히 확인해서는 안되며, 액체의 유무와 양에 있어 정확하게 평가하는 것은 중요한 부분이다[4]. 사후전산화단층촬영(postmortem computed tomography, PMCT)은 부비동 내의 액체를 비침습적으로 검출할 수 있는 장점이 있다. 익사가 의심되는 사례의 부검에서 PMCT 영상을 이용하여 나비굴 내 액체 유무와 체적 정보를 사전에 제공한다면 사후 체액 채취의 정확도를 향상시킬 수 있다[5]. 하지만, computed tomography (CT) 영상을 이용하여 각 슬라이스마다 수동으로 체적을 평가하는 방법은 많은 노동과 시간이 필요하며, 평가의 정확도 여부는 관찰자의 경험에 따라 크게 좌우된다[6]. 임상 영역에서 이러한 문제를 극복하기 위해 딥러닝(deep learning, DL) 기술을 이용한 자동 CT 영상 분석에 관한 연구가 활발히 이루어지고 있으며, 법의학분야에서 또한 PMCT 영상을 이용하여 다양한 DL 기술을 적용하고 있다[7]. 최근 의료 영상 분석 분야에서 널리 사용되는 DL 기술은 기계학습(machine learning)의 일종으로, 인간의 신경 세포를 모방한 인공신경망(artificial neural networks)을 이용하여 데이터 학습 및 분석을 통해 골절 검출, 화질개선, 관심영역 자동 분할 등에 활용되고 있다[8]. 따라서, 본 연구는 익사 사례에서 나비굴 내 액체를 자동으로 평가하기 위하여 PMCT 영상을 이용한 DL 모델을 개발하고 제안된 모델의 성능을 평가하고자 한다.

재료 및 방법

1. 대상 선정

본 연구는 국립과학수사연구원 기관생명윤리위원회(906-200114-HR-009-01)에 의해 승인되었다. 국립과학수사연구원 부산과학수사연구소에서 2020년 8월부터 2021년 5월까지 법의부검과 PMCT 검사를 함께 시행하고 최종적으로 익사로 진단된 34 사례(평균나이 57세)를 후향적으로 분석하였다. 부패가 현저하게 진행된 사례, 머리 및 목 부위에 손상이 있는 사례, 나비굴 내 액체가 없는 사례는 분석 대상에서 제외하였다.

2. 데이터셋

본 연구에서 사용된 영상은 160채널 PMCT (Aquilion prime SP, Canon Medical Systems, Tokyo, Japan) 장비로 획득되었다. 영상 촬영 조건은 120 kVp, 215 mAs, slice thickness 1.00 mm, pixel size 0.98 mm로 사용되었으며, 획득된 영상은 soft-tissue kernel로 재구성되었다. 재구성된 PMCT 영상은 3차원 의료영상 소프트웨어(Vitrea, Canon Medical Systems)를 이용하여 각 슬라이스마다 관찰자가 나비굴 내 액체에 대한 관심영역(region of interest), 즉 참값(ground truth)을 설정하였다. 최종적으로 PMCT 영상에서 나비굴 내 액체에 대한 참값을 이진화(binarization)하여 DL 학습에 사용하였다. 총 데이터셋은 1,556장의 PMCT 영상(34 사례)으로 구성되었으며, 모든 영상은 나비굴 내 액체가 포함되었다. 이 중 1,104장의 PMCT 영상(30 사례)은 8:2 비율로 학습 데이터셋과 검증 데이터셋으로 나누어졌으며, 학습에 사용되지 않은 나머지 178장의 PMCT 영상(4 사례)은 제안된 모델의 성능을 평가하기 위한 테스트셋으로 구성되었다. 모든 영상은 256×256 매트릭스 크기와 Portable Network Graphics 형태로 변환되었다. 인공지능 학습의 성능을 높이기 위해 데이터 증강(data augmentation)은 4방향(위, 아래, 오른쪽, 왼쪽) 무작위 뒤집기를 시행하였다. 제안된 DL 모델은 학습이 끝난 뒤 테스트셋을 기반으로 각 PMCT 영상에서 나비굴 내 액체로 예측된 관심영역(prediction)을 생성하였다. 최종적으로 사람이 직접 평가한 나비굴 내 액체에 대한 참값과 인공지능이 생성한 예측된 관심영역(prediction) 비교를 통해 제안된 DL 모델의 성능을 평가하였다(Fig. 1).

Fig. 1.

Ground truth and prediction of sphenoid sinus fluid on postmortem computed tomography images. (A) The region of interest of the sphenoid sinus fluid as estimated by the observer (blue). (B) The binarized image with the ground truth used to train the model (yellow). (C) The image with the prediction by the proposed model (red).

3. 네트워크

본 연구에서는 나비굴 내 액체의 자동 분할을 위해 23개의 레이어(layer)로 이루어진 U-Net 모델이 사용되었다. U-Net 네트워크의 독특한 “U” 형태 구조는 중앙의 접합 부분을 기점으로 좌측에 위치한 인코더(encoder)와 우측의 디코더(decoder)가 대칭을 이루도록 설계되었다. 인코더 부분에서는 입력된 PMCT 영상이 여러 합성곱(convolution) 계층을 거치며 맥스 풀링(max pooling)을 통한 차원 축소가 이루어졌고, 반면 디코더 부분에서는 특징맵의 업샘플링(up-sampling)과 함께 합성곱 과정을 거쳐 영상의 세부 특징을 재구성하였다(Fig. 2) [9].

Fig. 2.

U-Net architecture for automatic segmentation of sphenoid sinus fluid. The proposed model was trained with paired inputs of computed tomography and the corresponding label images for automatic segmentation of sphenoid sinus fluid in postmortem computed tomography images.

4. 성능 평가

본 연구에서 제안된 DL 모델이 예측한 관심영역(prediction)과 사람이 직접 평가한 참값의 비교를 통해 동일한 PMCT 영상에서 나비굴 내 액체에 대한 유사도를 평가하였다. 제안된 모델의 성능을 평가하기 위한 유사도는 Dice similarity coefficient (DSC)와 Intersection over Union (IoU)을 사용하였다.

(1) Dice similarity coefficient

DSC는 영상 분할(segmentation) 성능 평가에 사용되는 평가 지표로 제안된 모델이 예측한 분할 결과와 참값의 교집합 영역에 2를 곱한 후, 두 영상의 총 값으로 나누어 계산하였다.

(1)

DSC=2×|A∩B||A|+|B|

A: 제안된 모델이 예측한 분할 결과(prediction)
B: 관찰자가 설정한 참값(ground truth)

(2) Intersection over Union

IoU는 두 집합 또는 영역의 유사성을 측정하는 데 사용되는 평가 지표로 제안된 모델이 예측한 분할 결과와 참값의 교집합 영역을 두 영상의 합집합으로 나누어 계산하였다.

(2)

IoU=A∩BA∪B

A: 제안된 모델이 예측한 분할 결과(prediction)
B: 관찰자가 설정한 참값(ground truth)

결 과

본 연구에서 제안된 모델을 통해 4 사례의 테스트셋에 적용한 결과, 평균 DSC와 IoU는 각각 77.15±23.01%, 67.18±23.79%로 나타났으며, 최대값은 95.85%, 92.03%, 최소값은 0%, 0%로 나타났다. 테스트에 사용된 각 사례마다 PMCT 영상의 수는 23장, 10장, 33장, 23장이였으며, 사례별 평균 DSC는 82.68±12.08%, 73.43±22.41%, 72.88±29.85%, 79.38±18.39%, 평균 IoU는 72.17±16.57%, 61.95±22.61%, 64.19±29.55%, 68.75±19.70%로 각각 나타났다.

고 찰

일반적으로 나비굴은 중격(septum)에 의해 분리된 비대칭적인 두개의 굴로 나뉘어져 있으며, 다양한 해부학적 변이(variation)를 가지고 있다[10]. 나비굴 내 액체는 익사에 특이적인 부검 소견은 아니지만, 규조류 및 전해질 검사와 같은 추가적인 사후 검사를 통해 익사 진단과 관련된 법의학적 증거를 제공할 수 있다[2,3]. 따라서, 익사가 의심되는 사례의 부검에서 나비굴 내 액체의 존재 여부와 그 양을 정확하게 평가하고 샘플링(sampling)하는 것은 중요한 부분이다.

PMCT는 익사 사례에서 비침습적으로 부비동의 부피와 체액의 체적을 평가할 수 있는 장점이 있다[11]. 하지만 동일한 사례의 나비굴 내 액체 체적을 PMCT와 부검 각기 다른 두가지 방법으로 평가했을 때 낮은 일치도(agreement)를 나타냈으며[5], PMCT에서 나비굴 내 액체가 검출되었지만 부검에서는 확인되지 않는 사례도 보고되고 있다[12]. 이와 같은 결과는 다양하고 복잡한 해부학적 구조를 가진 나비굴의 특성과 액체와 관련된 정보를 관찰자가 사전에 알지 못하는 제한된 상황에서 액체를 샘플링하는 과정에 생기는 오류로 생각된다.

관찰자가 CT 영상에서 각 슬라이스(slice)마다 수동으로 관심영역을 라벨링(labeling)하는 방법은 많은 노동과 시간이 필요하며, 평가의 성공 여부는 관찰자의 경험에 의해 좌우된다[6]. 최근에는 이러한 문제를 해결하기 위해 DL 기술을 이용한 CT 영상 분석에 관한 연구가 활발히 진행되어 왔다[8]. 따라서, 본 연구는 의료 영상 처리 분야에서 널리 사용되는 U-Net 구조의 DL 모델을 이용하여 인공지능이 예측한 나비굴 내 액체 영역과 실제 사람이 평가한 영역을 비교하여 제안된 DL 모델의 성능을 평가하고, 향후 법의학 실무에서의 활용 가능성을 확인하고자 하였다.

본 연구에서 제안된 DL 모델에 의해 자동으로 분할된 나비굴 내 액체 영상과 실제 사람이 평가한 영상의 유사도를 평가하였고, 평균 DSC 및 IoU가 각각 77.15±23.01%, 67.18±23.79%, 최대값은 95.85%, 92.03%, 최소값은 0%, 0%로 나타났다. Fig. 3은 제안된 DL 모델에 의해 예측된 나비굴 내 액체 영역과 관찰자가 평가한 영역의 유사도가 0%를 나타내는 것을 보여준다. 특히, 테스트에 사용된 모든 사례의 PMCT 영상에서 나비굴 부피가 가작 작게 나타나는 첫번째 또는 마지막 슬라이스에서 가장 낮은 유사도를 나타냈다. 또한 Fig. 4와 같이 제안된 DL 모델이 인접한 벌집굴(ethmoid sinus) 내에 체액이 있는 경우에 나비굴 내 액체로 잘못 예측하여 유사도가 50% 이하로 낮게 평가되는 것을 보여주었다. 하지만, Fig. 5와 같이 다양한 해부학적 형태의 나비굴 PMCT 영상에서 90% 이상의 유사도를 보여주었으며, 제안된 DL 모델이 성공적으로 나비굴 내 액체를 예측한 것을 확인할 수 있었다.

Fig. 3.

Instances with 0% similarity. (A, C) The postmortem computed tomography input images. (B) The output image with only the ground truth of the sphenoid sinus fluid (yellow). (D) The discrepancy between the prediction (red) and the ground truth (yellow) in the output image.

Fig. 4.

Instances with less than 50% similarity. (A, B) A case where the proposed model incorrectly segmented the ethmoid sinus fluid as sphenoid sinus fluid (red), with Dice similarity coefficient (DSC): 4% and Intersection over Union (IoU): 2%. (C, D) The discrepancy resulting from an incorrect prediction of the ethmoid sinus fluid, with DSC: 45% and IoU: 29%. The green areas indicate the overlap between the ground truth and the prediction.

Fig. 5.

Instances with more than 90% similarity. (A-D) The successful segmentation of the sphenoid sinus fluid with high similarity. The overlapping parts indicating areas of agreement are marked in green.

본 연구의 한계점으로 학습 데이터의 부족으로 인해, 테스트에 사용된 모든 사례의 PMCT 영상에서 나비굴의 첫 번째 또는 마지막 슬라이스에서 가장 낮은 유사도를 나타냈다. 따라서, 추후 연구에서 익사 사례뿐만 아니라 나비굴 내 액체가 포함된 비익사 사례의 PMCT 영상을 추가 학습하여 부족한 데이터셋의 한계점을 보완한다면 제안된 모델의 예측 유사도가 향상될 것으로 기대된다.

본 연구는 익사 사례에서 나비굴 내 액체의 자동 분할을 위한 DL 기반 U-Net 모델을 개발하고 제안된 모델의 성능을 평가하였다. 제안된 DL 모델의 평균 DSC가 77.15±23.01% (범위 00.00-95.85%)이고, 평균 IoU가 67.18±23.79% (범위 00.00-92.03%)로 나타났으며, PMCT 영상에서 다양한 해부학 구조를 가진 나비굴 내 액체를 성공적으로 예측 또는 분할할 수 있음을 확인하였다. 따라서, 향후 추가 연구를 통해 제안된 DL 모델의 예측 유사도를 향상시킨다면, 익사 사례에서 나비굴 내 액체 평가의 정확도를 향상시키는 데 중요한 기여할 것이라 기대된다.