Journal of the Korean Institute of Industrial Engineers
[ Article ]
Journal of the Korean Institute of Industrial Engineers - Vol. 48, No. 5, pp.519-527
ISSN: 1225-0988 (Print) 2234-6457 (Online)
Print publication date 15 Oct 2022
Received 14 Apr 2022 Revised 28 May 2022 Accepted 28 May 2022
DOI: https://doi.org/10.7232/JKIIE.2022.48.5.519

다중 혈중 성분 농도 예측을 위한 비침습형 센서 기반 멀티 아웃풋 네트워크

유이경 ; 조윤상 ; 목충협 ; 배진수 ; 정기원 ; 김성범
고려대학교 산업경영공학과
Non-Invasive Sensor-Based Multi-Output Networks for Predicting Multiple Blood Components Levels
Leekyung Yoo ; Yoon Sang Cho ; Chunghyup Mok ; Jinsoo Bae ; Keewon Jeong ; Seoung Bum Kim
Department of Industrial and Management Engineering, Korea University

Correspondence to: 김성범 교수, 02841 서울특별시 성북구 안암로 145, 고려대학교 산업경영공학과, Tel : 02-3290-3397, Fax : 02-3290-4550, E-mail : sbkim1@korea.ac.kr

© 2022 KIIE

Abstract

In healthcare industries, non-invasive sensor technology has played an important role in gathering biometric information without blood sampling for each patient. Existing studies have attempted to predict blood component levels based on non-invasive sensor coupled with machine learning models. However, they focused on constructing a single output model that predicts only one blood component level. In this study, we propose a multi-output predictive model that can predict the multiple blood components levels simultaneously based on non-invasive impedance sensor data. Results show that our method improves predictive performance compared to the single output models. Furthermore, we use Shapley additive explanation to identify important sensor variables that achieve efficient sensor design reducing the cost of data collection. To the best of our knowledge, this study is the first attempt to use non-invasive impedance sensor data to predict multiple blood components levels.

Keywords:

Blood Component Level Prediction, Multi-output Model, Non-invasive Sensor, Impedance Sensor, Shapley Additive Explanation

1. 서 론

인체의 혈액을 구성하는 다양한 혈중 성분은 그 농도에 따라 개개인의 생리적 상태에 대한 풍부한 정보를 제공한다. 따라서 의료진은 혈중 성분 분석을 통해 특정 질병을 진단하고 치료 수준을 결정한다(Moran et al., 2014; Yuan et al., 2021). 일반적인 혈중 성분 분석은 대부분 침습적 방식(invasive approach)인 혈액 검사를 통해 이루어져 왔다. 침습적 방식이란 주사와 같은 검사용 장비가 피부를 관통하는 것을 말하며, 실제 혈액 검사 시 전문 의료 인력을 통한 채혈 과정이 포함된다. 추출된 혈액 샘플은 병원이나 실험실에서 별도의 분석 과정을 거쳐 최종적인 혈중 성분 분석 결과를 얻게 된다. 그러나, 이러한 방식은 전 과정에 걸쳐 정교한 장비 및 훈련된 인력이 필요하다는 한계를 가진다(Yuan et al., 2021). 또한, 결과를 얻는 데에도 상당한 시간이 소요됨에 따라 진단 및 임상 의사결정이 지연되며 전체적인 입원 기간과 의료 비용이 증가한다(Yuan et al., 2021). 이 뿐만 아니라 개인이 직접 내원해야만 검사가 이루어질 수 있다는 점 역시 번거로움을 유발한다.

이를 극복하기 위해 오늘날 초음파나 전자기, 광원 등의 비침습형 생체 센서(non-invasive bio sensor)를 기반으로 데이터를 수집 및 처리하여 혈중 성분 농도를 예측하는 스마트 의료기술이 발전하고 있다(Kim et al., 2019). 비침습적 방식은 침습적 방식과 비교해 심리적 부담이 적고, 내원 없이 실시간 자가 모니터링 및 자가 진단을 가능하게 함에 따라 많은 시간과 비용을 절약할 수 있다. 특히 일부 질병은 임상적으로 명백해질 때까지 자각 증상이 없어 발병 여부를 쉽게 알 수 없는 경우가 존재한다. 이때, 여러 비침습 방식을 통해 수집된 생체 정보에 대한 지속적인 실시간 모니터링은 질병에 대한 조기 진단 및 꾸준한 관리가 가능하도록 도와준다.

이에 따라 현재까지 비침습형 생체 센서를 활용하여 혈중 성분 농도를 예측하려는 많은 시도가 이루어져 왔다. 광전용적맥파(photoplethysmography, PPG) 센서는 대표적인 광학 센서로 광원과 피부 표면의 광 검출기를 사용하여 혈액 순환의 부피 변화를 측정하는 기술이다(Castaneda et al., 2018). Kavsaoğlu et al.(2015), Acharya et al.(2019), Liu et al.(2020)은 PPG 센서로부터 획득한 데이터로 여러 기계학습 모델을 통해 혈중 헤모글로빈(hemoglobin) 수치를 예측하였다. Hossain et al.(2019), Zhang et al.(2020), Gupta et al.(2021) 역시 PPG 센서 데이터를 활용하여 다양한 예측모델을 통한 혈당 수치 모니터링을 시도하였다. 한편, 마이크로파(microwave) 센서는 혈류에 마이크로파를 보내어 혈액 성분 농도에 따라 달라지는 주파수를 측정하는 기술이다(Deshmukh and Chorage, 2021). Xiao et al.(2020)Deshmukh and Chorage(2021)는 마이크로파 센서 데이터를 활용하여 각각 다층 퍼셉트론(multilayer perceptron, MLP)과 회귀분석을 통해 혈당 수치를 예측하였다. 그러나, PPG 센서와 마이크로파 센서를 활용한 기존 연구들은 일부 단일 혈중 성분 예측에 집중되어 혈액 내 존재하는 여러 혈중 성분 예측에 대한 연구로 확장되지 못했다. 심탄도(ballisrocardiogram) 센서는 심장에서 혈관으로의 혈액 배출 시 발생하는 신체 진동을 가속도 센서 혹은 압력 센서로 측정하는 기술이다(Choi and Park, 2021). Choi and Park(2021)은 심탄도 센서 데이터로 혈당 수치를 예측하는 다층 퍼셉트론 기반 예측모델을 제시하였다. 그러나 이는 정상 수치를 보이는 집단만을 대상으로 하여, 비정상적인 혈당 수치를 보이는 집단에 대한 분석 결과가 없다는 한계점이 있다. 생체전기 임피던스 분석(bioelectrical impedance analysis, BIA) 센서는 인체에 미세한 교류 전류를 인가하여 체내 저항값을 측정하는 기술이다(Hoffer et al., 1969). Herlina et al.(2005)은 다중회귀분석을 이용하여 BIA 센서 데이터로 뎅기열(dengue fever) 환자들의 혈중 헤모글로빈 수치를 예측하였다. 그러나 이는 특정 환자 집단만을 대상으로 하여, 보편적인 상황에서의 예측 정확도를 보장할 수 없다. Mohktar et al.(2013)은 BIA 센서 데이터를 통해 혈중 콜레스테롤 수치를 예측하는 다층 퍼셉트론 기반 방법론을 제안하였다. 하지만 이는 콜레스테롤 수치를 정상과 이상으로 나누어 예측한 분류 모델이라는 점에서 정확한 수치를 예측했다고 보기는 어렵다.

앞선 기존 연구들은 모두 목표 혈중 성분을 하나씩 지정하여 모델링하였다는 공통적인 한계가 존재한다. 혈액은 콜레스테롤, 전해질, 호르몬과 같은 많은 화학 물질로 이루어져 있다(Bratt-Wyton, 1998). 이러한 물질들의 수치 변화를 복합적으로 고려하는 것은 기본적으로 여러 질병 가능성을 동시에 판단할 수 있어 효율적이다. 또한, 하나의 질병을 진단하는 데에는 한 가지 혈중 성분만이 영향을 미치지 않는다. 예를 들어, 빈혈은 일반적으로 적혈구나 혈색소 수치의 감소로 정의되지만, 기타 생리적인 요소에 따라 여러 가지로 분류된다(Lim, 2005). 그러므로 보다 세밀하고 정확한 진단을 위해서는 철분, 엽산 등 다른 혈중 성분을 종합적으로 고려해야한다(Lim, 2005). 즉, 여러 혈중 성분을 복합적으로 모니터링하는 것은 매우 중요하다.

따라서 본 연구는 비침습형 센서 중 하나인 임피던스 센서 데이터를 기반으로 세 가지 혈중 성분 농도를 동시 예측하는 다층 퍼셉트론 기반 멀티 아웃풋 네트워크를 제안한다. 제안한 방법론은 혈중 성분 간 특성 공유를 통해 빠르고 효율적인 학습뿐만 아니라 모델의 설명력까지 보완하여 다른 방법론 대비 전반적으로 향상된 예측 성능을 보인다. 또한 설명 가능한 인공지능(explainable artificial intelligence, XAI) 알고리즘을 기반으로 혈중 성분을 예측하는데 주요한 영향을 미치는 변수를 탐색하고 이를 기반으로 효율적인 센서 설계 방안을 제공할 수 있다. 본 연구의 주요 기여점은 아래와 같다.

  • ∙ 임피던스 센서를 사용하여 여러 혈중 성분 농도를 하나의 예측모형으로 예측한 첫 사례이다.
  • ∙ 다층 퍼셉트론 기반 멀티 아웃풋 네트워크를 통해 연관성 있는 여러 혈중 성분을 동시에 예측하여 단일 예측모델 대비 성능 향상을 이루었다.
  • ∙ 설명 가능한 인공지능 알고리즘을 기반으로 혈중 성분 농도 예측에 도움이 되는 중요 센서를 파악하고, 이를 활용하여 기존 성능에 준하는 효율적인 센서 설계 방안을 제공한다.

본 논문은 다음과 같이 구성된다. 2장에서는 수집한 데이터 소개와 전처리 및 제안 방법론에 대해 설명한다. 3장에서는 본 연구에서 사용한 실험 평가 지표와 실험 수행 결과 및 해석을 제시한다. 마지막으로 4장에서는 결론과 함께 추후 연구과제를 제시한다.


2. 제안 방법론

2.1 데이터 수집 및 전처리

본 연구는 국내 A 기업에서 모집한 총 60명의 피험자를 대상으로 수행되었다. A 기업은 측정을 수행하기 전 각 피험자로부터 성별, 나이 및 개인 신체 정보와 함께 측정 허가 및 개인 정보 이용 동의서를 제공받았다. 피험자는 공복 상태에서 1회, 식사 후 한 시간 간격으로 6회, 총 7회씩 반복 측정을 수행하였으며 측정은 크게 비침습적 신체 측정과 침습적 혈중 성분 측정으로 나뉜다. 비침습적 신체 측정을 통해 얻은 센서 정보를 입력 변수로 활용하였다. 또한, 침습적 혈중 성분 측정을 통해 얻은 혈중 성분 농도를 출력 변수의 실제 값으로 활용하였다. 최종적으로 분석에 활용한 데이터는 별도로 수집된 피험자별 성별, 나이, 신장, 체중, 체성분 정보를 포함하여 연속형 변수 125개, 범주형 변수 1개이다.

비침습적 신체 측정은 임피던스 센서를 통해 유의미한 신체 정보를 계측하는 과정이다. 피험자가 좌우 손과 발에 각각 2개씩 배치된 총 8개의 전극을 쥐거나 밟으면, 센서는 신체에 미세한 전류를 통과시킬 때 발생하는 저항값인 임피던스와 리액턴스(reactance)를 측정한다. 측정값은 산출되는 신체 위치에 따라서 임피던스와 리액턴스 모두 9가지 부위별(전신, 상반신, 하반신, 양팔, 오른팔, 왼팔, 몸통, 오른다리, 왼다리) 변수로 나뉜다. 또한, 측정 주파수에 따라서 임피던스는 6가지 대역별(1kHz, 5kHz, 50kHz, 250kHz, 500kHz, 1MHz), 리액턴스는 3가지 대역별(5kHz, 50kHz, 250kHz) 변수로 나뉜다. 앞서 언급한 부위별 및 주파수별 변수 외, 일부 신체 부위에 한해서는 신장의 제곱을 임피던스의 절댓값으로 나눈 값을 변수로 추가하였다. 이와 함께, 피험자로부터 나이, 성별, 신장, 체중과 체질량지수(body mass index, BMI), 체지방량(body fat mass, BFM), 체지방률(body fat percentage, BFP)과 같은 체성분 정보를 피험자별 메타 정보(meta-information)로 수집하였다. 본 연구는 다양한 생체 정보를 최대한 활용하여 혈중 성분 농도를 예측하는 것을 목표로 하기에 센서 정보와 피험자별 메타 정보를 복합적으로 활용하였다.

<Table 1>은 센서 정보를 제외한, 피험자별 메타 정보에 해당하는 설명변수를 구체적으로 설명한 표이다. 성별을 제외한 전체 변수는 모두 평균과 표준편차로 설명하였으며, 성별은 남녀 구성원 수와 비율로 표기하였다. 체중은 모든 측정 전 한 번 계측한 값(Weight1)과 매 측정이 끝난 시점에 계측한 값(Weight2) 두 개의 변수로 구성된다. 이에 따라 실험 회차별로 Weight1은 동일하게 입력되는 반면 Weight2는 매 시점 측정된 값으로 입력되며, 식사 후 측정된 체중이 포함됨에 따라 근소하게 높은 평균값이 산출된다. 체질량지수 역시 어떤 체중을 기반으로 계산 되었는지에 따라 BMI1과 BMI2 두 개의 변수로 구성된다. BMI1은 Weight1을, BMI2는 Weight2를 각각 체중으로 적용하여 계산되었다.

Characteristics of Variables

반면, 침습적 혈중 성분 측정은 전통적인 방법인 혈액 채취를 통해 혈중 성분 농도를 분석하는 과정이다. 피험자로부터 일정량의 혈액을 임상 진단 연구소의 의료 종사자에 의해 채취하면 이를 분석할 수 있는 전문 인력에게 전달한다. 이후 전문적인 샘플 분석 과정을 거쳐 본 연구의 주된 예측 목표인 세 가지 혈중 성분의 농도를 수집하였다. 각 혈중 농도의 실험 회차별 평균과 표준편차는 <Table 2>에서 구체적으로 서술하였다. 세 혈중 성분 농도는 실험이 진행됨에 따라 전반적으로 농도가 증가했다가 감소하는 변화 양상을 동일하게 보인다. 한편, 혈중 성분 1은 다른 두 혈중 성분보다 농도 단위가 크며, 동일한 실험 회차 내에서 60명 피험자별 분산이 큰 경향이 존재한다.

Mean and Standard Deviation for Each Measurement of Blood Components. The Standard Deviation is Indicated in Parentheses

데이터셋을 구축하는 과정에서 센서 정보 혹은 피험자별 메타 정보가 결측 값인 경우의 해당 실험 회차는 제외하였다. 이를 통해 구축한 데이터셋은 총 419개로 구성되었으며, 이때 서로 다른 연속형 변수 값의 범위를 일정한 수준으로 맞추어 효과적인 학습이 이루어질 수 있도록 스케일링(scaling)을 기반으로 한 데이터 전처리를 수행하였다. 본 연구에서는 다양한 스케일링 기법 중 평균을 0, 표준편차를 1에 맞춰 데이터를 조정하는 표준화 기법을 적용하였다.

전처리가 완료된 데이터를 leave-one-subject-out에 의해 학습 데이터(training data)와 평가 데이터(testing data)로 분할하였다. Leave-one-subject-out은 다수의 피험자들 중 한 피험자로부터 수집된 샘플을 평가 데이터로 설정하고 그 외 피험자들로부터 수집된 샘플을 학습 데이터로 설정하여 모델을 학습하는 것으로, 이를 각 피험자마다 반복해서 모델을 생성해내는 방법이다. 이는 한 피험자로부터 수집된 샘플이 학습 데이터셋에 섞이지 않고, 모든 피험자에 대해서 한 번씩 평가 가능한 방법으로 의료 데이터 분석 평가에서 자주 사용되는 데이터 분할 방법이다. 본 연구에서는 60명 피험자로 구성된 데이터셋을 사용하므로 총 60개의 모델이 생성된다. 각 모델은 해당 시점의 평가 데이터로 성능 평가가 이루어지며, 최종 성능은 60개 모델의 평균 성능으로 산출된다. 검증 데이터로는 매 학습 데이터의 10%를 무작위 추출 후 분할하여 사용하였다. 최종적으로 60개 각 모델은 평가 데이터가 6개로 구성된 한 모델을 제외하고, 전체 419개의 샘플 중 학습 데이터 371개, 검증 데이터 41개, 평가 데이터 7개로 구성된다.

2.2 네트워크 구조

인체의 혈액 내에는 질병을 진단하는 기준으로 작용하는 다양한 혈중 성분이 존재한다. 이에 따라 여러 혈중 성분을 동일 시점에 복합적으로 고려할 수 있어야 한다. 따라서 본 연구는 예측하고자 하는 세 가지 성분의 혈중 농도를 동시에 출력하는 멀티 아웃풋(multi-output) 모델을 제안하며, 구조는 <Figure 1>과 같다. 전통적인 회귀분석 모델들은 단일 출력 문제를 해결하는 데 적합한 형태로 이루어져 있다. 그러나, 복잡한 의사결정 문제에 있어서는 다양한 요인이 문제에 영향을 미침에 따라 다중 출력 문제를 수행할 수 있는 형태의 모델이 필요하다(Xu et al., 2020). 이러한 점에서 착안한 멀티 아웃풋 모델은 하나의 네트워크로 둘 이상의 반응 변수를 동시에 예측하는 것을 목표로 한다. 이는 모델 내 파라미터(parameter)를 공유하는 방식을 통해 예측하고자 하는 대상별 특징을 학습하는 것과 함께 여러 대상 간 관계까지 효과적으로 모델링할 수 있다(Reyes and Ventura, 2019). 따라서 단일 대상을 예측할 때보다 과적합을 방지하고, 더 나은 표현(representation)과 계산 효율성을 보장한다(Borchani et al., 2015).

Figure 1.

Architecture of the Proposed Multi-output Networks. The Number Above Each Layer Refers to the Node Size

본 연구에서 사용한 멀티 아웃풋 모델은 다층 퍼셉트론으로 구성돼 있다. 다층 퍼셉트론은 인간의 뇌 속 신경망을 모방한 인공 신경망의 한 유형으로 여러 신경망 중에서 가장 기본적인 형태이다. 입력층(input layer), 출력층(output layer), 그리고 입력층과 출력층 사이에 존재하는 은닉층(hidden layer)으로 이루어져 있다. 단층 퍼셉트론에는 존재하지 않는 은닉층은 기존의 특징 공간(feature space)을 새로운 특징 공간으로 변환하는 특징 추출기(feature extractor)로 사용된다. 이는 불완전한 데이터와 노이즈(noise)를 처리 가능하게 하며, 비선형 문제를 해결할 수 있는 유연한 모델로 작동하게 한다(Gardener et al., 1998). 또한 다층 퍼셉트론은 데이터 속성이나 분포에 대한 가정이 존재하지 않기에 광범위한 적용이 가능하다는 점에서 통계 모델 혹은 타 기계학습 모델에 비해 상당한 이점이 존재한다. 제안 모델은 혈중 성분 농도 예측에 유의미한 핵심 특징 추출을 위해 은닉층을 최소한 2개 이상 사용하고자 하였다. 이와 함께, 데이터 수 및 과적합 방지를 고려하여 최종적으로 세 개의 은닉층을 사용한 다층 퍼셉트론을 적용하였다. 이때, 세 은닉층 노드 수는 126개의 입력 변수 내에서 핵심적이고 함축적인 특징 추출을 위해 126의 절반인 63으로 동일하게 설정하였다. 출력층의 노드 수는 예측하려는 혈중 성분 농도의 개수를 고려해 3으로 설정하였다.

본 연구에서 제안하는 모델은 추가적으로 <Figure 2>와 같이 다층 퍼셉트론에 스킵 커넥션(skip connection)을 적용하였다. 스킵 커넥션이란 순서에 따라 연속적인 형태의 층간 연결이 아닌, 하나 이상의 층(layer)을 건너뛰는 연결을 의미한다(He et al., 2016). 이는 컴퓨터 비전에서 보편적으로 좋은 성능을 보이는 모델인 ResNet으로부터 착안한 구조로, 딥러닝 구조를 보완하여 모델 성능을 높일 수 있는 효과적인 방법으로 사용된다(Gorishniy et al., 2021). 본 연구에서 사용하고 있는 다층 퍼셉트론 모델의 깊이가 다른 딥러닝 구조에 비해 깊지 않지만, 모델의 깊이에 맞는 적당한 스킵 커넥션 적용 시 단순 다층 퍼셉트론 모델보다 풍부한 표현 학습 및 최적화에 도움이 될 수 있다. 따라서 식 (1)과 같이 다층 퍼셉트론으로 구성된 구조를 기반으로 ResNet에 적용되는 스킵 커넥션에 비해 단순화된 형태를 적용하였다. 즉, 식 (2)와 같이 입력층에서 출력층으로 하나의 연결을 추가하였다.

MLPBlockx=DropoutReLUBatchNormLinearx(1) 
MLPx=LinearLinearx+MLPBlockMLPBlock(2) 
Figure 2.

Architecture of the Multilayer Perceptron with the Skip Connection

손실 함수는 예측 문제에 흔히 사용되는 mean squared error(MSE) loss를 기반으로 식 (3)과 같이 구성하였다. 각 대상별 손실함수가 같은 비율로 더해지는 형태이며, 학습 시 예측 대상 전체로부터 공유되는 파라미터(θsh)와 예측 대상별 파라미터(θi)로 구성된다. Optimizer 함수로는 Adam과 PCGrad(project conflicting gradients) 알고리즘을 사용하였다. PCGrad 알고리즘은 여러 개의 손실함수를 최적화 시 각 대상의 gradient가 서로 상충되는 경우나 크기 차이로 인해 크기가 작은 gradient가 무시되는 경우를 보완하기 위한 방법론이다(Yu et al., 2020). 만약 예측하고자 하는 두 개의 대상에 대한 손실함수가 식 (4)와 같이 정의될 때, 해당 식은 예측 대상간 공유되는 파라미터 θsh와 예측 대상별 파라미터 θ1, θ2로 구성된다. 이때, 파라미터 θsh에 대해 두 예측 대상별 gradient는 각자의 방향을 가짐에 따라 코사인 유사도를 이용하여 각도를 계산한다. 만약 두 gradient의 각도가 90°이상이면 반대 방향을 가짐에 따라 식 (5)와 같이 사영된 gradient를 이용하여 파라미터 θsh를 업데이트 한다. 이를 통해 업데이트 된 파라미터 θsh'는 각 태스크 간 부정적 영향을 최소화하는 방향으로 최적화 되었다고 할 수 있다.

Loss=mini=1TLiθsh,θi,D(3) 
minθL1θsh,θ1,D+L2θsh,θ2,D(4) 
θsh'=θsh-projL1θsh-projL2θsh(5) 

이 밖에도, 제안 모델을 실험하면서 최대 성능을 낼 수 있는 하이퍼파라미터를 탐색하여 적용하였다. 배치 크기는 64이며, 학습률(learning rate)은 0.01과 0.001로 설정하여 실험한 결과 최종적으로 0.001을 선택하였다. 드롭아웃(dropout) 비율은 0.01과 0.1로 적용하여 실험한 결과 최종적으로 0.1을 선택하였다. 이와 함께, 검증 데이터를 통해 손실 수렴 추이를 확인하여 최대 1,500 에폭(epoch)을 학습하였다.


3. 실 험

3.1 평가 지표

본 연구에서는 제안 모델과 비교 방법론의 혈중 성분 농도 예측 성능을 평가하기 위해 피어슨 상관 계수(Pearson correlation coefficient, ρ)와 평균 절대 백분율 오차(mean absolute percentage error, MAPE)를 사용하였다. 피어슨 상관계수는 식 (6), 평균 절대 백분율 오차는 식 (7)을 통하여 산출하였다. 이때 수식에서 y, y¯, y*, y^는 각각 실제 값, 실제 값의 평균, 예측 값, 예측 값의 평균을 의미한다. 추가적으로 n은 총 관측치 수를 의미한다. 본 연구에서는 피어슨 상관 계수를 통해 모델의 예측력 뿐만 아니라 실험 회차에 따른 혈중 성분 농도의 변화 추이를 잘 파악하는 지까지 포괄적으로 평가할 수 있다. 또한, 평균 절대 백분율 오차를 통해 여러 혈중 성분 농도 간의 예측 정확도를 직관적으로 비교할 수 있다.

ρ=inyi-y¯yi*-y^inyi-y¯2inyi*-y^2(6) 
MAPE=100ni=1nyi-yi*yi(7) 

3.2 실험 결과 및 분석

제안 방법론을 평가하기 위해 본 연구에서는 기계학습기반 다양한 회귀모델들을 비교 방법론으로 사용하였다. 정규화(regularization) 및 변수 선택이 가능한 lasso(least square shrinkage and selection operator), elastic net, 의료분야에서 많이 사용되는 의사결정 나무(decision tree), 그리고 범용적으로 좋은 성능을 보이는 앙상블 계열의 랜덤포레스트(random forest), XGBoost(extreme gradient boost)를 사용하였다(Sathyadevi, 2011). 이와 함께 본 연구에서 제안하는 다중 출력 예측모델과 동일한 다층 퍼셉트론 구조를 가지지만 하나의 대상 변수만을 예측하는 단일 출력(single-output) 예측모델을 추가적으로 사용하였다. 검증 데이터를 통해 가장 우수한 예측 성능을 보이는 하이퍼파라미터(hyperparameter)를 선정하여 최종 예측 모델을 구축하였다. 이후, 구축한 모델을 기반으로 평가 데이터를 통해 예측 성능을 측정하였다. 또한, 제안 방법론과 비교 방법론의 성능 차이가 유의한지 확인하기 위해 총 5회의 반복 실험을 수행하였다.

<Table 3>은 본 연구에서 제안하는 방법론과 비교 방법론의 예측 성능을 나타낸 표이다. 실험 결과에 따르면 제안 방법론은 혈중 성분 2와 혈중 성분 3을 예측하는데 있어 가장 뛰어난 예측 성능을 보였다. 구체적인 예측 성능은 혈중 성분 2 농도에 대한 피어슨 상관계수가 0.68, 평균 절대 백분율 오차가 15.02이며, 혈중 성분 3에 대한 피어슨 상관계수가 0.66, 평균 절대 백분율 오차가 12.31과 같이 산출되었다. 혈중 성분 1은 elastic net 모델을 적용했을 때 피어슨 상관계수가 0.58, 의사결정나무 모델을 적용했을 때 평균 절대 백분율 오차가 52.26으로 타 방법론 대비 가장 뛰어난 예측 성능을 보였다. 이는 혈중 성분 1과 설명 변수간 관계가 비교적 간단하여, 상대적으로 단순한 구조를 가진 모델에서 좋은 성능을 보였다고 볼 수 있다. 그럼에도, 세 혈중 성분 농도를 종합한 관점에서는 제안 방법론이 결과적으로 다양한 혈중 성분 농도를 가장 잘 예측할 수 있는 모델임을 확인하였다. 또한, 세 혈중 성분 농도를 예측하기 위해 비교방법론은 각기 다른 하이퍼파라미터로 구성된 세 가지 모델을 학습하여 예측을 수행한다. 그러나, 제안 방법론은 동일한 파라미터로 구성된 하나의 다층 퍼셉트론만을 학습하여 예측을 수행함에 따라 모델 학습 시간과 계산 비용을 절약할 수 있다. 한편, 혈중 성분 1의 경우 제안 방법론과 비교 방법론 모두 다른 혈중 성분 대비 상대적으로 높은 평균 절대 백분율 오차 값을 가진다. 이는 혈중 성분 1이 다른 혈중 성분에 비해 피험자간 실제 농도 편차가 상당히 커 모델 학습에 노이즈(noise)로 작용했기 때문이다.

Comparison of Results for Three Blood Component Level Predictions. Boldface Values Represent the Best Performance

<Table 4>는 스킵 커넥션 적용 여부에 따른 단일 출력 다층 퍼셉트론과 다중 출력 다층 퍼셉트론의 예측 성능을 비교한 표이다. 단일 출력 다층 퍼셉트론의 경우 스킵 커넥션을 적용하였을 때 세 가지 혈중 성분 농도의 예측 성능이 모두 향상되었다. 세 혈중 성분에 대한 피어슨 상관계수는 평균적으로 0.04, 평균 절대 백분율 오차는 평균적으로 0.30 상승하였다. 다중 출력 다층 퍼셉트론 역시 스킵 커넥션을 적용하였을 때 혈중 성분 1을 제외한 나머지 두 혈중 성분 농도의 예측 성능이 모두 향상되었다. 세 혈중 성분에 대한 피어슨 상관계수는 평균적으로 0.04, 평균 절대 백분율 오차는 평균적으로 0.23 상승하였다. 따라서 제안 방법론은 다층 퍼셉트론에 스킵 커넥션을 적용함에 따라, 복잡한 입력 변수의 특징을 전반적으로 더 잘 추출하여 예측 정확도를 높인 것으로 해석 가능하다.

Comparison among Models in Terms of Skip Connection(s/c). Boldface Values Represent the Best Performance

3.3 중요 센서 탐색

제안 방법론은 여러 부위별, 주파수별 임피던스 센서 데이터를 예측에 사용하였다. 그러나, 무분별한 센서 활용은 데이터 수집 비용 측면에서 비효율적이며 사용자 편리성 또한 감소하게 된다. 따라서, 예측에 도움이 되는 중요 센서를 파악하고 이를 통해 새로운 측정 기기를 효율적으로 설계하는 것은 매우 중요하다. 따라서, 본 연구는 제안 방법론을 기반으로 SHAP(Shapley additive explanations)을 통해 세 가지 혈중 성분 농도 예측에 영향을 미치는 센서 내 주요 변수를 파악하였다.

SHAP은 대표적인 설명 가능한 인공지능 알고리즘으로, 모델에 입력된 각 변수가 예측에 기여한 정도를 양수 혹은 음수 값으로 산출한다(Lundberg and Lee, 2017). 이때, 양수 값은 해당 변수가 예측이 증가하는 방향으로 힘을 가하는 것을 뜻한다. 반대로 음수 값은 해당 변수가 예측이 감소하는 방향으로 힘을 가하는 것을 뜻한다. 결과적으로 절댓값이 클수록 예측에 영향을 미치는 크기가 크며, 이에 따라 절댓값의 크기가 변수 중요도로서 해석된다(Lundberg and Lee, 2017). SHAP은 개별 관측치에 대한 변수 중요도를 도출하므로 관측 전체를 대상으로 중요한 영향을 끼치는 보편적인 설명 변수를 탐색하기 위해서는 데이터 전체에 대한 평균 변수 중요도를 사용한다. 한편, 본 연구에서는 60명 피험자별로 각기 다른 60개의 예측 모델과 결과를 얻기 때문에, 각 변수가 모델에 미치는 평균 변수 중요도 또한 60개로 다양하게 도출된다. 그러므로, 각 모델별 중요도 상위 10개 변수를 반복적으로 종합 후 이 중 가장 높은 빈도수를 보인 상위 10개 변수를 최종 중요 변수로 도출하였다. 피험자별 메타 정보에 해당하는 설명 변수는 센서 설계와 무관한 부분으로 중요 변수 도출 과정에서 제외하였다.

<Figure 3>은 최종 중요 변수에 대한 빈도 막대그래프를 나타낸 것이다. 해당 그래프에서 각 변수명은 3가지 요소의 결합으로 이루어져 있다. 첫 번째 요소는 측정 센서 종류에 따른 것으로, 임피던스(Z) 센서, 리액턴스(X) 센서 중 하나로 구성된다. 두 번째 요소는 측정 부위에 따른 것으로, 총 9가지 부위인 전신(W), 상반신(U), 하반신(L), 양팔(A), 오른팔(RA), 왼팔(LA), 몸통(TR), 오른다리(RL), 왼다리(LL) 중 하나로 구성된다. 세 번째 요소는 측정 주파수에 따른 것으로, 총 6가지 대역인 1kHz(1k), 5kHz(5k), 50kHz(50k), 250kHz(250k), 500kHz(500k), 1MHz(1m) 중 하나로 구성된다. 이를 바탕으로 분석한 결과, 세 가지 혈중 성분 농도 예측에 가장 많은 영향을 미치는 변수는 5kHz에서의 하체 리액턴스로 나타났다. 생체 정보 기준으로는 상위 10개 변수 중 8개 변수가 리액턴스로 구성되어, 임피던스보다 유의미한 변수로서 작용한다. 측정 부위 기준으로는 상반신보다 하반신에서, 왼쪽 다리보다는 오른쪽 다리에서 측정된 값이 예측에 더 많은 영향을 미친다. 측정 주파수 기준으로는 5kHz이 예측에 가장 큰 영향력을 보이며, 500kHz와 1MHz는 상대적으로 주요 주파수 성분에 속하지 않음을 확인할 수 있다.

Figure 3.

Important Impedance Sensor Variables Selected from the SHAP. The Variables are Composed of Three Labels Connected. The First Indicates Whether it is Impedance(Z) or Reactance(X). The Second Indicates the Measurement Position. The Third Represents the Measurement Frequency

본 연구에서는 중요 센서로 최종 도출한 변수 10개가 예측 성능에 미치는 영향을 더욱 정량화하여 관측하기 위해, 센서 변수 10개와 피험자별 메타 정보만을 설명 변수로 하여 세 가지 혈중 성분 농도 예측을 진행하였다. 총 19개의 설명 변수를 분석에 활용했으며, 제안 방법론과 동일한 구조의 멀티 아웃풋 모델을 사용하였다. <Table 5>는 변수 선택 여부에 따른 멀티 아웃풋 모델의 예측 성능을 비교한 표이다. 제한된 중요 변수만을 선택하여 모델을 학습한 결과, 세 혈중 성분에서 모든 변수를 사용하여 모델을 학습한 결과에 준하는 성능을 기록했다. 구체적인 예측 성능은 혈중 성분 2에 대한 피어슨 상관계수가 0.62, 평균 절대 백분율 오차가 17.24이며, 혈중 성분 3에 대한 피어슨 상관계수가 0.65, 평균 절대 백분율 오차가 12.77이다. 한편, 혈중 성분 1의 경우 피어슨 상관계수가 0.55, 평균 절대 백분율 오차가 50.29로 변수 선택 전보다 상관계수가 소폭 향상됨을 확인하였다. 따라서, 본 연구에서 도출한 적은 수의 중요 센서를 바탕으로 보다 효율적인 센서 설계 방안을 제시할 수 있다.

Comparison among Models in Terms of Important Variables Selection(v/s). Boldface Values Represent the Best Performance


4. 결 론

본 연구는 비침습적 방식으로 혈액 내 다양한 혈중 성분 농도를 동시에 예측할 수 있는 다층 퍼셉트론 기반 멀티 아웃풋 네트워크를 제안했다. 네트워크는 임피던스 센서 및 피험자별 메타 정보 데이터를 기반으로 세 가지 혈중 성분 농도를 하나의 모델로 예측할 수 있도록 설계했다. 평가 데이터를 피험자별 7회 실험으로 각각 구성하여 총 60개 평가 결과의 평균으로 예측 모델의 성능을 평가하였으며, 실험 결과 제안 방법론은 모든 혈중 성분에서 비교 방법론 대비 전반적으로 우수한 예측 성능을 보였다. 또한, 설명 가능한 인공지능 알고리즘인 SHAP을 통해 중요 센서 변수를 파악하고 해당 변수만으로 이루어진 센서의 효율성을 입증함으로써 향후 스마트 헬스케어 장비 설계 개선에 기여할 수 있을 것으로 판단한다. 본 연구는 임피던스 센서를 통해 다양한 혈중 성분 농도를 동시에 예측한 최초의 연구라는 점에서 의의가 있다. 본 연구에서는 하나의 센서와 피험자 메타 정보만을 고려하여 모델을 개발했지만, 최근 다양한 종류의 센서를 기반으로 유의미한 생체 정보를 획득하고자 하는 시도가 많이 이루어지고 있다. 따라서, 이러한 다양한 센서를 추가 입력 변수로 활용하는 멀티 모달(multi-modal) 학습 모델을 통해 보다 더 우수한 성능의 예측 모델을 개발할 수 있을 것으로 기대한다.

Acknowledgments

This research was supported by BK 21 FOUR.

References

  • Acharya, S., Swaminathan, D., Das, S., Kansara, K., Chakraborty, S., Kumar, D., Francis, T., and Aatre, K. R. (2019), Non-invasive estimation of hemoglobin using a multi-model stacking regressor, IEEE Journal of Biomedical and Health Informatics, 24(6), 1717-1726. [https://doi.org/10.1109/JBHI.2019.2954553]
  • Borchani, H., Varando, G., Bielza, C., and Larranaga, P. (2015), A survey on multi‐output regression, Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 5(5), 216-233. [https://doi.org/10.1002/widm.1157]
  • Bratt-Wyton, R. (1998), Interpretation of routine blood tests, Nursing Standard (through 2013), 13(12), 42. [https://doi.org/10.7748/ns.13.12.42.s55]
  • Castaneda, D., Esparza, A., Ghamari, M., Soltanpur, C., and Nazeran, H. (2018), A review on wearable photoplethysmography sensors and their potential future applications in health care, International Journal of Biosensors & Bioelectronics, 4(4), 195. [https://doi.org/10.15406/ijbsbe.2018.04.00125]
  • Choi, S.-K. and Park, C.-G. (2021), The study of blood glucose level prediction model using ballistocardiogram and artificial intelligence, Journal of Digital Convergence, 19(9), 257-269.
  • Deshmukh, V. V. and Chorage, S. S. (2021), Non-invasive determination of blood glucose level using narrowband microwave sensor, Journal of Ambient Intelligence and Humanized Computing, 1-16. [https://doi.org/10.1007/s12652-021-03105-z]
  • Gorishniy, Y., Rubachev, I., Khrulkov, V., and Babenko, A. (2021), Revisiting deep learning models for tabular data, Advances in Neural Information Processing Systems, 34.
  • Gupta, S. S., Kwon, T. H., Hossain, S., and Kim, K. D. (2021), Towards non-invasive blood glucose measurement using machine learning: An all-purpose PPG system design, Biomedical Signal Processing and Control, 68, 102706. [https://doi.org/10.1016/j.bspc.2021.102706]
  • Gusev, M., Poposka, L., Spasevski, G., Kostoska, M., Koteska, B., Simjanoska, M., Ackovska, N., Stojmenski, A., Tasic, J., and Trontelj, J. (2020), Noninvasive glucose measurement using machine learning and neural network methods and correlation with heart rate variability, Journal of Sensors, 2020. [https://doi.org/10.1155/2020/9628281]
  • He, K., Zhang, X., Ren, S., and Sun, J. (2016), Deep residual learning for image recognition, In Proceedings of the IEEE conference on computer vision and pattern recognition, 770-778. [https://doi.org/10.1109/CVPR.2016.90]
  • Herlina, A. R., Fatimah, I., and Nasir, T. M. (2005, September), A non-invasive system for predicting hemoglobin (Hb) in dengue fever (DF) and dengue hemorrhagic fever (DHF), In 2005 Asian Conference on Sensors and the International Conference on New Techniques in Pharmaceutical and Biomedical Research, IEEE, 91-93.
  • Hoffer, E. C., Meador, C. K., and Simpson, D. C. (1969), Correlation of whole-body impedance with total body water volume, Journal of Applied Physiology, 27(4), 531-534. [https://doi.org/10.1152/jappl.1969.27.4.531]
  • Hossain, S., Debnath, B., Biswas, S., Al-Hossain, M. J., Anika, A., and Navid, S. K. Z. (2019, November), Estimation of blood glucose from PPG signal using convolutional neural network, In 2019 IEEE International Conference on Biomedical Engineering, Computer and Information Technology for Health (BECITHCON), IEEE, 53-58. [https://doi.org/10.1109/BECITHCON48839.2019.9063187]
  • Kavsaoğlu, A. R., Polat, K., and Hariharan, M. (2015), Non-invasive prediction of hemoglobin level using machine learning techniques with the PPG signal’s characteristics features, Applied Soft Computing, 37, 983-991. [https://doi.org/10.1016/j.asoc.2015.04.008]
  • Kim, J., Campbell, A. S., de Ávila, B. E. F., and Wang, J. (2019), Wearable biosensors for healthcare monitoring, Nature Biotechnology, 37(4), 389-406. [https://doi.org/10.1038/s41587-019-0045-y]
  • Li, H. B., Cheng, H., Hou, D. Q., Gao, A. Y., Zhu, Z. X., Yu, Z. C., Wang, H. J., Zhao, X. Y., Xiao, P., Huang, G. M., and Mi, J. (2020), Value of body fat mass measured by bioelectrical impedance analysis in predicting abnormal blood pressure and abnormal glucose metabolism in children, Zhongguo Dang dai er ke za zhi= Chinese Journal of Contemporary Pediatrics, 22(1), 17-23.
  • Lim, Y. T. (2005), Differential diagnosis and treatment of anemia in children, Clinical and Experimental Pediatrics, 48(2), 121-125.
  • Liu, H., Peng, F., Hu, M., Shi, J., Wang, G., Ai, H., and Wang, W. (2020), Development and validation of a photoplethysmography system for noninvasive monitoring of hemoglobin concentration, Journal of Electrical and Computer Engineering, 2020. [https://doi.org/10.1155/2020/3034260]
  • Lundberg, S. M. and Lee, S. I. (2017), A unified approach to interpreting model predictions, Advances in Neural Information Processing Systems, 30.
  • Mohktar, M. S., Ibrahim, F., and Ismail, N. A. (2013), Non-invasive approach to predict the cholesterol level in blood using bioimpedance and neural network techniques, Biomedical Engineering: Applications, Basis and Communications, 25(06), 1350046. [https://doi.org/10.4015/S1016237213500464]
  • Reyes, O. and Ventura, S. (2019), Performing multi-target regression via a parameter sharing-based deep network, International Journal of Neural Systems, 29(09), 1950014. [https://doi.org/10.1142/S012906571950014X]
  • Sathyadevi, G. (2011, June), Application of CART algorithm in hepatitis disease diagnosis, In 2011 International Conference on Recent Trends in Information Technology (ICRTIT), IEEE, 1283-1287. [https://doi.org/10.1109/ICRTIT.2011.5972349]
  • Xiao, X., Yu, Q., Li, Q., Song, H., and Kikkawa, T. (2020), Precise noninvasive estimation of glucose using UWB microwave with improved neural networks and hybrid optimization, IEEE Transactions on Instrumentation and Measurement, 70, 1-10. [https://doi.org/10.1109/TIM.2020.3010680]
  • Xu, D., Shi, Y., Tsang, I. W., Ong, Y. S., Gong, C., and Shen, X. (2019), Survey on multi-output learning, IEEE Transactions on Neural Networks and Learning Systems, 31(7), 2409-2429. [https://doi.org/10.1109/TNNLS.2019.2945133]
  • Yu, T., Kumar, S., Gupta, A., Levine, S., Hausman, K., and Finn, C. (2020), Gradient surgery for multi-task learning, Advances in Neural Information Processing Systems, 33, 5824-5836.
  • Yuan, H., Chiu, P. Y., and Chen, C. F. (2021), Paper-based analytical devices for point-of-care blood tests, Biomicrofluidics, 15(4), 041303. [https://doi.org/10.1063/5.0055601]
  • Zhang, G., Mei, Z., Zhang, Y., Ma, X., Lo, B., Chen, D., and Zhang, Y. (2020), A noninvasive blood glucose monitoring system based on smartphone PPG signal processing and machine learning, IEEE Transactions on Industrial Informatics, 16(11), 7209-7218. [https://doi.org/10.1109/TII.2020.2975222]
저자소개

유이경 : 경희대학교 산업경영공학과에서 2021년 학사 학위를 취득하고, 고려대학교 산업경영공학과에서 석사과정에 재학 중이다. 연구 분야는 Machine Learning, Multi-Task Learning이다.

조윤상 : 한국외국어대학교 산업경영공학과에서 2017년 학사학위를 취득하고, 고려대학교 산업경영공학과에서 2022년 박사학위를 취득하였다. 현재 뉴욕대학교 의과대학 인구보건학과 박사후 연구원으로 재직중이며, 연구분야는 Predictive & Explainable Modeling, Adversarial Machine Learning, Algorithmic Fairness이다.

목충협 : 고려대학교 산업경영공학과에서 2019년 학사 학위를 취득하고, 고려대학교 산업경영공학과에서 박사과정에 재학 중이다. 연구분야는 Anomaly Detection, Self-Supervised Learning, Multi-Task Learning이다.

배진수 : 건국대학교 수학과에서 2020년 학사 학위를 취득하고, 고려대학교 산업경영공학과에서 박사과정에 재학 중이다. 연구분야는 Uncertainty-Aware Deep Neural Networks, Incomplete Data Analysis이다.

정기원 : 한국외국어대학교 산업경영공학과에서 2020년 학사학위를 취득하고, 고려대학교 산업경영공학과에서 2022년 석사학위를 취득하였다. 현재 LG전자 CDO부문에서 연구원으로 재직중이며, 연구분야는 Signal preprocessing for deep learning, Self-supervised learning이다.

김성범 : 고려대학교 산업경영공학부 교수로 2009년부터 재직하고 있으며, 인공지능공학연구소 소장 및 기업산학연협력센터 센터장을 역임했다. 미국 University of Texas at Arlington 산업공학과에서 교수를 역임하였으며, 한양대학교 산업공학과에서 학사학위를 미국 Georgia Institute of Technology에서 산업공학 석사 및 박사학위를 취득하였다. 인공지능, 머신러닝, 최적화 방법론을 개발하고 이를 다양한 공학, 자연과학, 사회과학 분야에 응용하는 연구를 수행하고 있다.

Figure 1.

Figure 1.
Architecture of the Proposed Multi-output Networks. The Number Above Each Layer Refers to the Node Size

Figure 2.

Figure 2.
Architecture of the Multilayer Perceptron with the Skip Connection

Figure 3.

Figure 3.
Important Impedance Sensor Variables Selected from the SHAP. The Variables are Composed of Three Labels Connected. The First Indicates Whether it is Impedance(Z) or Reactance(X). The Second Indicates the Measurement Position. The Third Represents the Measurement Frequency

Table 1.

Characteristics of Variables

Variables Values
Gender (n, %) Male 29, 48.33
Female 31, 51.67
Age (years) Collected by subject questionnaires 32.22±7.88
Height (cm) Collected by subject questionnaires 167.40±7.28
Weight1 (kg) Measured once before the whole measurement 65.31±10.32
Weight2 (kg) Measured after each measurement 65.59±10.29
BMI1 (kg/m2) Calculated based on Weight1 23.20±2.60
BMI2 (kg/m2) Calculated based on Weight2 23.32±2.59
BFM (kg) Measured after each measurement 16.33±4.80
BFP (%) Measured after each measurement 25.11±6.96

Table 2.

Mean and Standard Deviation for Each Measurement of Blood Components. The Standard Deviation is Indicated in Parentheses

Target Measurements
1 2 3 4 5 6 7
Component 1(mg/dL) 102.19
(60.13)
129.33
(66.06)
176.25
(89.48)
203.78
(118.81)
216.22
(137.24)
198.03
(134.51)
164.02
(121.20)
Component 2(mg/dL) 5.38
(1.34)
5.55
(1.29)
5.55
(1.28)
5.50
(1.28)
5.44
(1.25)
5.41
(1.29)
5.33
(1.30)
Component 3(mg/dL) 0.74
(0.15)
0.77
(0.15)
0.73
(0.14)
0.72
(0.14)
0.71
(0.14)
0.71
(0.15)
0.73
(0.15)

Table 3.

Comparison of Results for Three Blood Component Level Predictions. Boldface Values Represent the Best Performance

Algorithm Component 1 Component 2 Component 3
ρ MAPE ρ MAPE ρ MAPE
Lasso 0.55±0.00 54.32±0.04 0.64±0.04 15.52±0.90 0.34±0.00 17.39±0.00
ElasticNet 0.58±0.00 53.10±0.04 0.67±0.00 15.09±0.13 0.32±0.00 17.42±0.00
Decision Tree 0.53±0.00 52.26±1.82 0.55±0.03 17.26±0.84 0.60±0.04 13.15±0.65
Random Forest 0.46±0.00 54.97±0.33 0.56±0.01 17.12±0.31 0.66±0.04 12.43±0.13
XGBoost 0.42±0.02 52.81±1.68 0.57±0.00 16.97±0.23 0.62±0.01 13.55±0.05
Single-output MLP 0.46±0.02 52.82±2.41 0.56±0.01 17.63±0.46 0.61±0.02 13.91±0.29
Multi-output MLP
(Proposed method)
0.53±0.03 53.23±2.01 0.68±0.02 15.02±0.43 0.66±0.02 12.31±0.39

Table 4.

Comparison among Models in Terms of Skip Connection(s/c). Boldface Values Represent the Best Performance

Algorithm Component 1 Component 2 Component 3
ρ MAPE ρ MAPE ρ MAPE
Single-output MLP without s/c 0.41±0.03 53.35±2.72 0.55±0.05 18.10±1.01 0.56±0.03 14.08±0.34
Single-output MLP with s/c 0.46±0.02 52.82±2.41 0.56±0.01 17.63±0.46 0.61±0.02 13.91±0.29
Multi-output MLP without s/c 0.50±0.04 51.74±3.93 0.62±0.02 16.21±0.61 0.63±0.01 13.29±0.31
Multi-output MLP with s/c
(Proposed method)
0.53±0.03 53.23±2.01 0.68±0.02 15.02±0.43 0.66±0.02 12.31±0.39

Table 5.

Comparison among Models in Terms of Important Variables Selection(v/s). Boldface Values Represent the Best Performance

Algorithm Component 1 Component 2 Component 3
ρ MAPE ρ MAPE ρ MAPE
Multi-output MLP with v/s 0.55±0.04 50.29±2.43 0.62±0.02 17.24±0.61 0.65±0.04 12.77±0.47
Multi-output MLP without v/s 0.53±0.03 53.23±2.01 0.68±0.02 15.02±0.43 0.66±0.02 12.31±0.39