다중 합성곱 모델을 이용한 R-EPS 차량 내부 소음 예측

1. 서 론

소음은 일반적으로 인간이 생활하면서 느끼는 불쾌하고 시끄러운 소리를 의미하며, 인간의 삶에 여러 부정적인 영향을 미친다(Danladi, 2021). 최근 소음 관련 연구들은 소음이 인간의 삶에 미치는 수많은 위협을 입증하였다(Foraster, 2018; Lim and Thurston, 2019; Basner, 2020; Shin, 2020). 따라서 다양한 산업 분야에서 제품 개발 시 낮은 소음 수준에 대한 욕구가 커지고 있다. 특히 자동차 산업 분야에서 소음 수준은 자동차의 품질을 결정하는 하나의 중요한 요소로 인식되고 있다(Ham and Park, 2019). 자동차에서 발생하는 소음은 크게 차량 내부 소음과 차량 외부 소음으로 구분할 수 있다(Hwang, 2005). 특히 차량 내부 소음은 운전 중 운전자 피로도에 많은 영향을 미치므로 안전성과 깊은 연관이 있어 그 중요성이 부각되고 있다(Eisele, 2005). 따라서 차량 내부 소음 수준을 평가하여 자동차의 품질 결정에 반영하고, 더 낮은 차량 내부 소음 수준을 갖춘 자동차를 생산하는 데에 활용하는 것은 중요하다.

차량 내부 소음은 기계 작동 시 발생하는 소음 전달 방식에 따라 구조전달음(structure borne noise)과 공기전달음(air borne noise)으로 구분된다(Lee and Kim, 1999). 공기전달음은 소음원에서 공기 중으로 방사되어 소음처럼 인식되는 음을 의미하며, 구조전달음은 구조물을 통해서 전달된 진동 현상으로 발생하는 소음을 의미한다. 구조전달음은 공기전달음에 비해 더 큰 압력을 지니기 때문에 전체 차량 내부 소음의 80% 이상을 차지하는 것으로 알려져 있다. 구조전달음을 발생시키는 부품들로는 엔진, 타이어, 조향 장치 등이 있다. 최근, 전기, 수소 연료 기반의 자동차가 상용화되고, 차체 부품 개발의 고도화가 이루어지면서 엔진과 타이어 등으로부터 발생하는 소음이 줄어들고 있어, 조향 장치에서 발생하는 소음을 측정하는 것이 중요해지고 있다(Lee, 2013; Ham and Park, 2019).

전자식 조향 장치(electric power steering, EPS)는 전기모터를 이용하여 차량의 진행 방향을 전환하는 장치이다. 비교적 저렴할 뿐 아니라 부품 수가 적고 자율 주행 자동차에 탑재되어 주행 및 주차 보조 등과 같은 기능을 구현할 수 있어 최근 가장 많이 사용하고 있다. 특히 모터 랙 구동식 조향 장치(rack type electric power steering, R-EPS)는 모터가 바퀴 축에 직접 장착되는 EPS 장치로 조향 감각과 주행 안정성이 뛰어나다고 알려져 최근 출시되는 차량에 많이 탑재되고 있다(Lee and Kim, 2017). 본 연구에서는 소음 유발 가능성이 존재하는 조향 장치인 R-EPS 장치로부터 발생하는 차량 내부 소음을 예측한다.

최근 인공지능이 발달하면서 자동차 산업과 관련된 다양한 영역에서 심층학습(deep learning)을 적용하려는 시도가 있었다. Dong(2016)은 차량 센서 데이터인 위성 항법 시스템(global positioning system) 데이터를 활용하여 운전자의 운전 스타일을 인식하는 문제에 딥러닝을 활용했다. 합성곱 신경망 모델(convolutional neural networks)과 순환 신경망 모델(recurrent neural networks)로 구성된 분류 모델을 학습하여 사전에 정의한 운전 스타일을 정확히 인식했다. Park(2018)은 주행 중에 발생하는 차량 센서 데이터들을 수집해 과속방지턱 길이를 인식하는 문제를 해결하였다. 과속방지턱 길이를 범주형 출력 변수로 정의하고 순환 신경망 모델을 앙상블하여 높은 정확도로 분류하는 모델을 제안하였다. 하지만 아직까지 차량 내부 소음 수준에 대해 수치형 출력 변수로 예측하는 것에 딥러닝을 적용한 사례는 없었다. 따라서 본 연구에서는 R-EPS로부터 발생하는 차량 내부 소음을 예측하는 데에 딥러닝을 적용한다.

구축하고자 하는 심층학습 모델 입력 데이터는 R-EPS 장치로부터 계측되는 가속도 데이터이다. R-EPS는 ball nut assembly(BNA)와 Motor 라고 불리는 두 가지 장치로 구성되어 있고, 장치마다 X축, Y축, Z축 방향에서 가속도 데이터가 수집된다. Lee(2020)는 단시간 푸리에 변환 기법(short-term Fourier transformation, STFT)을 통해 원 신호 데이터를 주파수 대역과 시간 변화를 파악할 수 있는 스펙트로그램으로 변환하고, 시각적 이미지 분석에 널리 사용되는 합성곱 신경망 모델을 활용해 베어링 결함의 고장 유형을 판별하는 심층학습 모델 성능을 획기적으로 향상시켰다. Kang(2020)은 기계에서 발생하는 음향 방출 신호를 스펙트로그램으로 변환해 입력 데이터로 사용하였다. 또한, 합성곱 신경망 모델을 이용해 성능이 뛰어난 기계 고장 진단 여부 분류 모델을 구축하였다. 본 연구에서는 가속도 데이터에 STFT를 적용하여 스펙트로그램으로 변환한 뒤, 고주파 대역을 제거해 합성곱 신경망의 입력 데이터로 활용한다. 또한, 서로 다른 축으로부터 얻어지는 가속도 데이터 특징을 정확하게 추출하기 위해 개별 축에 대해 합성곱 신경망으로 구성된 특징 추출기를 두고, 이를 결합해 차량 내부 소음 수준을 예측하는 다중 합성곱 신경망 모델을 제안한다.

최근 다양한 분야에 적용되는 심층학습 모델이 뛰어난 성능을 보이고 있지만, 예측 결과에 관한 근거를 제시할 수 없다는 한계점이 존재한다(Han and Choi, 2017). 따라서 심층학습 모델 학습 후, 설명 가능한 인공지능(explainable artificial intelligence, XAI) 기법인 saliency map 알고리즘을 사용해 모델 예측 결과에 관한 원인을 설명하고자 하는 시도가 많이 이루어지고 있다. Brahimi(2018)은 식물 질병을 분류하는 문제에 합성곱 신경망 모델을 적용하고, 분류 과정을 해석하기 위해 XAI 기법의 하나인 saliency map을 사용하였다. 이를 통해 식물 분류에 중요하게 작용한 영역을 인식하여, 식물 질병 증상에 대한 추가적인 정보를 얻을 수 있었다. 본 연구에서는 차량 내부 소음 수준을 예측하고 학습된 심층학습 모델 가중치로 입력 스펙트로그램 내 개별 값의 중요도를 산출하는 saliency map 알고리즘을 활용해 예측에 중요한 주파수 대역을 산출하였다. 이는 제안하는 심층학습 모델 성능에 관한 신뢰도를 높이고, 향후 중요 주파수 영역에 대한 정보를 제공해 R-EPS를 통해 발생하는 차량 내부 소음을 줄이는 데에 도움을 줄 수 있을 것으로 기대한다.

본 연구는 다중 합성곱 신경망 모델을 활용하여 차량 내부 소음 수준을 예측하는 모델을 학습하고, 학습된 모델을 바탕으로 중요 주파수 대역을 도출하여 차량 내부 소음 원인 분석에 새로운 통찰을 제공하는 것을 목적으로 한다. 본 연구는 다음과 같은 기여점을 가진다.

• ∙ 차량 내부 소음 수준 예측에 처음으로 심층 학습을 적용하여 정확도 높은 차량 내부 소음 수준 예측 모델을 구축한다.
• ∙ 가속도 데이터를 스펙트로그램으로 변환하고, 고주파 대역을 제거하는 특징 추출 방법론이 차량 내부 소음 수준 예측 모델을 구축하는 데에 적합함을 입증한다.
• ∙ XAI 기법의 하나인 saliency map을 통해 차량 내부 소음 수준에 영향을 미치는 주파수 영역을 도출한다.

본 논문은 다음과 같은 구조를 가진다. 제2장에서는 데이터 수집 과정과 전처리 과정에 관해 설명한다. 제3장에서는 본 연구에서 제안하는 특징 추출 방법, 차량 내부 소음 예측을 위한 모델링, 중요 주파수 영역 산출 과정을 구체적으로 다룬다. 제4장에서는 실험 설계 및 평가 지표와 실험 결과에 대한 해석을 제5장에서는 결론 및 향후 연구 방향을 제시하는 형태로 서술되어 있다.

2. 데이터

본 연구에서는 국내 대표적인 자동차 부품업체인 현대모비스에서 R-EPS가 탑재된 실제 차량으로부터 수집한 가속도 데이터를 사용하였다. 차량은 세 가지 차종으로 세단, SUV(sport utility vehicle), 전기차로 구성되어 있다. 본 연구에서는 모터가 바퀴 축에 위치하는 R-EPS를 조향 장치로 사용하는 차량에 대해 실험을 진행하였다. 핸들을 돌리면 R-EPS에 탑재되어 있는 BNA와 motor에서 가속도가 발생한다. 두 장치의 X축, Y축, Z축 방향에서 계측되는 가속도를 수집하고 이를 입력 데이터로 사용하였다. 또한, 초당 회전 수(rotation per second, RPS)는 스티어링의 초당 회전 수를 의미한다. 즉, 1.0 RPS이면 핸들을 일 초에 한 바퀴, 1.5 RPS이면 핸들을 일 초에 한 바퀴 반을 돌리는 것을 의미한다. RPS가 클수록 스티어링이 빠르게 움직이는 것으로 판단할 수 있다.

가속도 데이터 계측은 세단, SUV, 전기차 각각에 대해 1.0 RPS와 1.5 RPS로 나누어서 진행되었다. 세단 차량에 대해서는 총 22번, SUV 차량에 대해서는 총 25번, 전기 차량에 대해서는 총 40번의 실험이 이루어졌으며, 실험 조건 별 정확한 실험 횟수는 <Table 1>에 나타나 있다. 실험 별로 얻어진 총 여섯 개 축의 가속도 데이터는 12,800Hz의 샘플링 비율(sampling rate)을 가지는 다중 센서 데이터이다. 본 연구에서 예측하고자 하는 대상인 차량 내부 소음 수준은 0.25초 단위로 계측 되었다. 따라서 총 여섯 개 축에 대한 가속도 데이터 또한 이에 맞춰 0.25초 단위로 나누어 축마다 3,200개씩의 가속도 값을 가지도록 처리하여 입력 데이터로 사용하였다. 앞서 설명한 방식으로 생성된 관측치 개수는 세단 차량에 대해서 14,174개, SUV 차량에 대해서는 11,359개, 전기 차량에 대해서는 19,193개이다. 이후 이들 중 이상치로 분류되는 관측치들을 제거하는 전처리 과정을 진행하였다. 이상치를 정의하는 방식은 차량 소음 전문가의 도움을 받아 차량별, RPS별로 임곗값을 설정하여 일정 소음 수준 이상의 내부 소음을 가지는 관측치는 이상치로 정의하여 제거하였다. 이상치 제거 후 최종 차량별 관측치 수는 <Table 1>에 나타나 있다.

Table 1.

Data Structure

3. 제안 방법론

본 장에서는 먼저 총 여섯 개 축에 대한 가속도 데이터의 특징 추출 과정을 제시한 후, 다중 합성곱 신경망 모델을 통해 차량 내부 소음을 예측하는 과정을 구체적으로 설명한다. 마지막으로 구축된 모델을 바탕으로 차량 내부 소음을 예측하는 데 중요하게 작용한 주파수 영역을 추출하는 과정을 설명한다.

3.1 특징 추출 방법론

각 데이터 샘플은 총 여섯 개 축에 대한 가속도 데이터값들을 포함하고 있다. 이때, 여섯 개 축에 대한 가속도 데이터를 각각 STFT를 적용해 <Figure 1>과 같이 이차원 스펙트로그램으로 변환하여 특징을 추출하였다. STFT는 이동 구간 n과 시간 t, 윈도우 함수 w[n - m], 이산 신호 x[n]에 의해 식 (1)로 표현된다.

$\[ STFT\left\{x\left(t\right)\right\}\left(m,\omega \right)=\sum _{n=-\infty }^{\infty }x\left[n\right]w\left[n-m\right]e^{-i\omega n} \]$

(1)

Figure 1.

Short Term Fourier Transformation

본 연구에서는 n을 20, t를 640으로 설정하였다. 즉, 3,200개의 가속도 계측 데이터를 시간 축 기준 20개씩 이동해가면서 총 640개의 가속도 데이터에 대해 반복적으로 고속 푸리에 변환(fast Fourier transform, FFT)을 적용한 것을 시간 축으로 이어 붙여 스펙트로그램을 형성했다. 이때 스펙트로그램의 가로축은 시간 축을 의미하고, 세로축은 주파수 축을 의미한다. 본 연구에서는 시간 축에 대해서는 0.25초를 129개의 구간으로 나누었고, 주파수 축은 한 영역 당 20Hz의 크기를 가지는 321개의 주파수 대역에 대한 성분 정보를 담도록 하였다.

2,560Hz 이상의 고주파 영역은 잡음이 많이 포함되어 있다는 전문가 조언에 따라 해당 대역을 제거하여 시간 축과 주파수 축에 대해 모두 129의 크기를 가지는 스펙트로그램을 생성하였다. 총 여섯 개 축의 가속도 데이터에 대한 스펙트로그램이 만들어지므로 최종적으로 (6, 129, 129) 차원의 벡터가 본 연구의 입력 데이터로 사용된다.

3.2 다중 합성곱 신경망을 통한 차량 내부 소음 예측 모델 구축

본 연구에서는 개별 가속도의 고유한 특징을 추출하고 이를 결합할 수 있도록 가속도 축 별 합성곱 신경망 기반 특징 추출기를 사용한다. 다음으로 축 별 특징 추출기에서 나온 표현 벡터를 결합하여 여러 가속도 사이에 존재하는 관계를 반영할 수 있도록 하는 모델인 다중 합성곱 신경망 모델을 제안한다. 가속도 데이터에 대해 동일한 가중치를 적용 시 정보 왜곡이 발생할 수 있기 때문에 가속도 별 특징 추출기를 사용해 표현 벡터를 추출하고 이들을 결합하는 방식을 사용하였다(Ahn, 2019). 따라서 여섯 개의 특징 추출기를 가지고 있어 센서별로 독립적으로 연결 가중치를 학습해 고유한 특징을 추출할 수 있도록 설계된 심층학습 모델이다.

<Figure 2>는 제안하는 다중 합성곱 신경망 모델을 통해 차량 내부 소음 수준을 예측하는 구체적인 과정을 표현한 것이다. 먼저 개별 가속도 데이터에 대해 생성된 스펙트로그램을 입력 데이터로 사용한다. 개별 스펙트로그램은 각각 해당하는 축의 특징을 추출하는 특징 추출기를 통과해 표현 벡터를 산출한다. 특징 추출기는 이미지 분류 문제를 해결하는 주요 알고리즘인 ResNet18(He, 2016), VGGNet19(Simonyan and Zisserman, 2014), EfficientNet-b0(Tan and Le, 2019)을 사용하였다. 다음으로 여섯 가지 특징 추출기에서 추출된 표현 벡터들을 하나의 벡터로 결합하여 완전 연결 신경망(fully connected layer)에 입력한다. 완전 연결 신경망에서는 하나의 은닉층을 통과하고, 정규화 과정과 정류 선형 유닛(rectified linear unit, ReLU)(Nair and Hinton, 2010) 활성 함수를 거쳐 출력층에서 최종적으로 차량 내부 소음 수준을 예측한다.

Figure 2.

Multi-encoder Convolutional Neural Networks

4. 실험 결과

본 연구에서는 다중 합성곱 신경망 모델의 특징 추출기로 ResNet18, VGGNet19, EfficientNet-b0를 사용하였다. 첫 번째 실험에서는 다른 조건들은 같게 설정한 상태에서 특징 추출기를 달리하였을 때, 차량 내부 소음 수준 예측 성능을 비교하였다. 두 번째 실험에서는 제안하는 특징 추출 방법론이 해당 연구에 적합한지를 확인해보고자 하였다. 따라서 입력 데이터 형태가 파형(waveform) 형태일 때, 고주파 대역을 제거하기 전 스펙트로그램 형태일 때, 고주파 대역을 제거한 후 스펙트로그램 형태일 때로 구분하여 차량 내부 소음 수준 예측 성능을 비교하였다. 마지막으로 내연기관 차량인 세단과 SUV에 대해서는 모델의 차량 내부 소음 수준 예측에 큰 영향을 미치는 중요 주파수 영역을 밝혔다. 모든 실험에 대해서 학습과 검증은 4겹 교차 검증을, 최적화 방식(optimizer)은 AdamW(Loshchilov and Hutter, 2017)를, 학습률(learning rate)은 0.001, 배치 사이즈(batch size)는 64를 적용하였다. <Table 2>는 차량 종류마다 실험에 사용된 학습용 데이터, 검증용 데이터, 평가용 데이터 수를 나타내며, 데이터는 실험 인덱스를 기준으로 분류하였다.

Table 2.

Classification of Data for Experiments

4.2 특징 추출기 종류에 따른 차량 내부 소음 수준 예측 결과

특징 추출기는 ResNet18, VGGNet19, EfficientNet-b0 구조로 변경하며 실험을 진행하였다. ResNet은 합성곱 신경망이 깊어짐에 따라 나타나는 기울기 소멸(gradient vanishing) 문제를 해결하고자 등장한 잔차 학습(residual learning) 방식이 포함된 구조이다. 기울기 소멸 문제를 해결하여 깊은 신경망에서도 좋은 성능을 보여주었다. VGGNet은 신경망의 깊이가 모델의 성능에 중요한 요소임을 인지하고 제안된 구조이다. 합성곱 신경망 필터의 커널 크기를 가장 작은 3×3으로 고정하여 가중치 개수를 줄여 과적합 문제를 방지하면서 깊은 신경망 모델을 구현하는 것을 가능하게 했다. 마지막으로 EfficientNet-b0은 합성곱 신경망의 깊이, 너비, 입력 이미지 크기 사이에는 일정한 관계가 있다는 것을 증명하고, 이 세 가지 속성을 효율적으로 조절하는 방법을 제안해 동일한 연산량을 보이는 다른 구조들에 비해 좋은 성능을 보이는 것으로 알려져 있다. <Table 3>에는 차종별, 특징 추출기별로 평균 절대 오차와 평균 제곱근 오차, 결정 계수 값을 정리하였다.

Table 3.

Regression Results Depend on Encoder

ResNet18을 특징 추출기로 사용한 경우, 결정 계수가 세단 차량에 대해서는 0.688, SUV 차량에 대해서는 0.733, 전기 차량에 대해서는 0.874를 기록하면서 가장 좋은 성능을 보이는 것을 확인했다. 또한, 평균 절대 오차도 개별 차종에 대해 1.073, 0.840, 0.969의 가장 낮은 수치를 보여주었다. 반면 VGGNet19를 인코더로 사용하였을 경우, 각 차량에 대해 1.255, 0.994, 1.523의 평균 절대 오차를 기록하며 가장 낮은 성능을 보이는 것을 확인할 수 있었다. 하지만 세단 차량에 VGGNet19를 적용했을 때를 제외한 모든 경우에서 0.6 이상의 결정 계수 값을 가지는 것을 보아 다중 합성곱 신경망 모델이 차량 내부 소음을 예측하는데 특징 추출기 종류에 관계없이 차량 내부 소음 수준에 긍정적인 영향을 미치는 표현 벡터를 산출했다고 할 수 있다.

4.3 입력 데이터에 따른 차량 내부 소음 수준 예측 결과

제안하는 특징 추출 방법론이 차량 내부 소음 예측에 적합한지 증명하기 위한 실험을 진행하였다. 입력 데이터 형태를 파형 형태로 사용하는 경우와, 고주파 대역을 포함한 스펙트로그램을 사용하는 경우와 고주파 대역을 제거한 경우로 구분하여 예측 성능을 비교하였다. 특징 추출기는 제4.2절 성능 비교에서 가장 뛰어난 성능을 보인 ResNet18을 활용하였다.

실험 결과 모든 차종에서 STFT를 통해 얻은 스펙트로그램의 고주파 영역을 제거한 경우, 세단, SUV, 전기 차종에 대해 각각 1.073, 0.840, 0.969의 평균 절대 오차 값과 1.381, 1.131, 1.389의 평균 제곱근 오차 값, 0.732, 0.730, 0.868의 결정 계수 값을 가지며 가장 좋은 성능을 보이는 것을 확인할 수 있었다. 본 실험 결과를 통해 스펙트로그램의 고주파 대역을 제거하는 특징 추출 방식이 차량 내부 소음 수준을 예측하는 문제에 적합함을 입증하였다. 또한, 전문가의 조언처럼 고주파 대역이 노이즈 역할을 하였다는 것을 알 수 있었다.

Table 4.

Regression Results Depend on Feature Extraction Method

4.4 중요 주파수 영역 추출 결과

본 장은 내연기관 차량인 세단과 SUV, 전기차에 대해 4.2절의 ResNet18을 인코더로 사용하여 학습시킨 합성곱 신경망 모델에 대해 saliency map을 구하고 이를 분석한 내용이다. 개별 관측치 saliency map을 구하면, 입력 데이터 차원과 동일한 크기의 saliency map을 얻을 수 있다. Saliency map의 결과값들은 해당 원소 값이 변화할 때 구축한 모델 결과값이 얼마나 변하는지에 대한 정보를 담고 있다. 즉, saliency map의 결과값이 크다면 모델의 결과에 큰 영향을 준다고 해석할 수 있으며, 차량 내부 소음을 예측하는데 중요한 영역으로 판단할 수 있다. <Figure 3>은 개별 관측치 내 가속도 축에 관한 saliency map을 도출하고 이를 히트 맵(heatmap)으로 시각화한 결과이며, 결과값이 클수록 하얀 색상으로 나타난다. 이를 통해 차량 종류별, 가속도 축 별로 중요 주파수 영역이 조금씩 다른 것을 확인할 수 있다.

Figure 3.

Saliency Map Heatmap

<Figure 4>는 saliency map 결과를 바탕으로 3.3장에서 언급한 방법론에 따라 차량 별, 축 별로 주파수 영역의 중요도를 계산하고 이를 그래프로 나타낸 결과이다. 이를 통해 세단은 BNA 위치의 X축 가속도가, SUV는 Motor 위치의 X축 가속도가, 전기차는 Motor 위치의 Y축 가속도가 차량 내부 소음을 예측하는 데 가장 중요한 역할을 하는 것을 확인할 수 있었다.

Figure 4.

Frequency Importance of Each Axis

<Figure 5>는 가속도 축별로 구해진 주파수 영역의 중요도 평균을 내어 산출한 전반적인 주파수 영역의 중요도를 히트 맵으로 시각화한 것이다. 히트 맵 y축의 아래에서 위로 갈수록 고주파 영역을 나타내며 20Hz마다 주파수 영역의 중요도를 나타내고 있다. 히트 맵을 분석해본 결과 내연기관 차량인 세단, SUV에 대해서는 중요 주파수 영역이 주로 저주파에 분포되어 있지만, 전기차에 대해서는 중요 주파수 영역이 골고루 분포하고 있는 것을 확인할 수 있었다. 더 나아가서 20Hz 단위마다 주파수 영역별 중요도의 순위를 매겨 본 결과 세단 차량은 340~360Hz, 0~20Hz, 120~140Hz 영역이, SUV 차량은 100~120Hz, 60~80Hz, 160~180Hz 영역이, 전기차는 1,300~1,320Hz, 1,340~1,360Hz, 1,380Hz~1,400Hz 영역이 각각 1, 2, 3등에 위치하여 차량 내부 소음에 큰 영향을 미치는 주파수 영역으로 도출되었다.

Figure 5.

Integrated Frequency Importance Heatmap

<Figure 6>, <Figure 7>과 <Figure 8>은 각각 세단, SUV와 전기차에 대해 왼쪽은 현대모비스에서 받은 noise transfer function(NTF)을 기반으로, 오른쪽은 saliency map 결과를 기반으로 주파수 영역별 중요도를 그래프로 나타낸 것이다. NTF는 소음의 근원지에서 해머(hammer)를 이용하여 전 주파수에 같은 힘을 가한 후, 리시버(receiver)에서 주파수에 따른 응답을 받아 얻어진다. 전달이 잘 되는 주파수는 응답이 높고, 전달이 잘되지 않는 주파수는 응답이 낮아 NTF는 자동차 산업 분야의 이론에 기반하여 차량 내부 소음에 중요하게 생각하는 주파수 영역에 대한 정보를 나타내게 된다. 따라서 NTF를 saliency map 결과와 비교해 보는 것은 구축한 모델을 분석하는 데에 도움을 준다. 비교해 본 결과, 내연기관 차량인 세단, SUV에 대해서는 NTF와 saliency map 결과가 비슷한 형태의 그래프를 나타냈지만, 전기차에 대해서는 다른 형태의 그래프를 나타내는 것을 확인해 볼 수 있었다. <Figure 6>과 <Figure 7>의 그래프를 비교해 보면 세단, SUV에 대한 NTF와 saliency map 기반의 그래프에서 모두 저주파에서 고주파로 갈수록 중요도가 낮아지는 경향을 보인다. 반면 <Figure 8>의 그래프를 비교해 보면 전기차에 대한 NTF 기반의 그래프는 저주파에서 고주파로 갈수록 중요도가 낮아지는 경향을 보이지만, saliency map 기반의 그래프에서는 1,200~1,400Hz까지는 주파수 영역의 중요도가 증가하다가 그 이후로는 감소하는 경향을 보이고 있었다.

Figure 6.

Frequency Importance of Sedan

Figure 7.

Frequency Importance of SUV

Figure 8.

Frequency Importance of Electric Car

<Table 5>는 0~2,600Hz의 주파수 대역을 200Hz 단위로 구분해 NTF, saliency map 결과를 기반으로 해당 구간에 속하는 주파수의 중요도 평균을 구한 후 순위를 매긴 결과를 비교하고 있다. 차량 종류별로 왼쪽에는 NTF를 기반으로, 오른쪽에는 saliency map을 기반으로 주파수 영역의 중요도 순위를 매긴 결과를 담고 있다. 상위권에 있는 주파수 영역을 비교해보면, 세단, SUV 차종에 대한 NTF, saliency map 기반 결과에서 모두 0~800Hz 사이의 주파수 영역들이 4위 이내에 존재하는 것을 확인할 수 있었다. 하지만 <Figure 8>의 그래프를 통해서도 확인할 수 있었듯이 전기차에 대해서는 NTF, saliency map 기반 주파수 영역의 중요도 순위가 다르게 나타났다.

Table 5.

Rank of Frequency Importance by Car Type

NTF와 saliency map을 기반으로 한 결과를 비교한 것을 종합해보면, 내연기관 차량인 세단과 SUV에 대해서는 제안한 모델에서 중요하게 생각하는 주파수 영역이 실제 자동차 산업 분야의 지식을 기반으로 중요하게 생각하는 주파수 영역과 유사한 것을 확인하였다. 하지만 세부적으로는 다른 부분이 존재하며, 특히 전기차에 대해서는 NTF와 saliency map 기반의 결과가 다른 양상을 보이고 있었다. 자동차 산업 분야의 지식과 다른 결과를 보이는 부분에 관해서는 이후의 연구를 통해 차량 내부 소음의 원인에 대한 새로운 통찰을 얻는 데 활용할 수 있다.

5. 결 론

본 연구에서는 R-EPS의 BNA와 Motor 장치의 세 가지 축에서 얻어지는 여섯 개 축의 가속도 데이터를 기반으로 차량 내부 소음 수준을 예측하는 정확도 높은 다중 합성곱 신경망 심층학습 모델을 제안하였다. 이는 차량 소음 수준을 예측하는 문제에 처음으로 심층학습을 적용했다는 것에 의의가 있다. 또한, 파형 형태로 계측되는 가속도 데이터를 스펙트로그램으로 변환하고, 고주파 대역을 제거하는 특징 추출 방법론이 차량 내부 소음 수준 예측에 효과적임을 증명하였다. 마지막으로 XAI 기법 중 saliency map을 활용하여 차량 내부 소음 수준에 큰 영향을 미치는 주파수 대역을 제시할 수 있었다. 추후 차량 내부 소음 수준에 영향을 미치는 주파수 대역에 대한 정보를 기반으로 자동차 산업 분야에 차량 내부 소음 수준을 낮출 수 있는 제품을 고안하는 데에 긍정적 영향을 줄 것을 기대해 볼 수 있다.

본 연구는 모든 차종에 대해 다중 합성곱 신경망 모델을 새롭게 학습시키므로 차종별 모델을 구축하기 위해 다량의 R-EPS 가속도 데이터와 차량 내부 소음 수준 데이터가 쌍으로 존재해야 한다. 차량 내부 소음 수준 데이터를 수집하기 위해서는 차량에 R-EPS를 탑재하여 가속도 데이터를 계측하고 전문가가 직접 차량 내부 소음 수준을 측정하는 여러 번의 실차 평가가 선행되어야 하므로 많은 시간과 비용이 든다는 한계점이 있다. 이를 보완하기 위해 차후에는 레이블(label)이 없는 데이터로 학습하는 자기지도학습(self-supervised learning) 방식을 적용하는 연구를 진행할 예정이다. 자기지도학습에는 실차 평가 데이터가 아닌 차량과 유사한 설비에서 R-EPS 가속도 데이터를 계측하는 대상 평가를 통해 얻은 데이터를 활용한다. 대상 평가는 실제 차량에서 이루어지지 않기 때문에 차량 내부 소음 수준을 알 수는 없지만 실차 평가보다 현저히 적은 시간과 비용이 든다는 이점을 가진다. 따라서 대상 평가로 얻은 가속도 데이터만을 활용해 주파수 대역 순서 맞추기, 대조 학습 등 다양한 자기지도학습 방식으로 표현 벡터를 사전 학습시킨 후, 사전 학습된 모델을 차종별 차량 내부 소음 수준 예측 모델을 학습시키는 데 활용할 계획이다. 이를 통해 차종에 따라 불변하는 가속도 데이터 자체의 특징을 미리 학습하여 새로운 차종에 대한 소음 수준 예측 모델을 구축하는데 드는 실차 평가 데이터의 수를 줄이고, 더 나아가서 학습에 필요한 시간을 단축할 수 있을 것으로 기대한다.

Acknowledgments

This research was supported by BK21 FOUR.

References

• Ahn, G., Yoo, J. H., and Kim, S. B. (2019), Explainable convolutional neural networks for multi-Sensor data, Journal of Korean Institute of Industrial Engineers, 45(2), 146-153. [https://doi.org/10.7232/JKIIE.2019.45.2.146]
• Basner, M., Riggs, D. W., and Conklin, D. J. (2020), Environmental determinants of hypertension and diabetes mellitus: Sounding off about the effects of noise, Journal of the American Heart Association, 9(6), e016048. [https://doi.org/10.1161/JAHA.120.016048]
• Brahimi, M., Arsenovic, M., Laraba, S., Sladojevic, S., Boukhalfa, K., and Moussaoui, A. (2018), Deep learning for plant disease: detction and saliency map visualisation, In Human and Machine Learning, 99-117. [https://doi.org/10.1007/978-3-319-90403-0_6]
• Danladi, A., Goni, I., Bali, B., Nachandia, N., Dahiru, A. B., and Gumpy, J. M. (2021), Computational modeling of noise pollution and its health hazard using probability distribution models: A systematic review, Asian Journal of Basic Science & Research, 3(2), 61-76. [https://doi.org/10.38177/AJBSR.2021.3207]
• Dong, W., Li, J., Yao, R., Li, C., Yuan, T., and Wang, L. (2016), Characterizing driving styles with deep learning, ArXiv Preprint ArXiv:1607.03611, .
• Eisele, G., Wolff, K., Alt, N., and Huser, M. (2005), Application of vehicle interior noise simulation (VINS) for NVH analysis of a passenger car, SAE Technical Paper, (2005-01), 2514. [https://doi.org/10.4271/2005-01-2514]
• Foraster, M., Eze, I. C., Vienneau, D., Schaffner, E., Jeong, A., Héritier, H., Rudzik, F., Thiesse, L., Pieren, R., Brink, M., Cajochen, C., Wunderli, J., Röösli, M., and Probst-Hensch, N. (2018), Long-term exposure to transportation noise and its association with adiposity markers and development of obesity, Environment International, 121, 879-889. [https://doi.org/10.1016/j.envint.2018.09.057]
• Ham, H. and Park, J. (2019), Research on the identification and evaluation of vehicle bsr noise generation mechanism, Noise · Vibration, 29(2), 18-21
• Han, J. and Choi, J. (2017), Explainable AI, The Korean Society for Noise and Vibration Engineering, 27(6), 8-13. [https://doi.org/10.5050/KSNVE.2017.27.2.168]
• He, K., Zhang, X., Ren, S., and Sun, J. (2016), Deep residual learning for image recognition, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 770-778. [https://doi.org/10.1109/CVPR.2016.90]
• Hwang, D., Sim, H., Lee, J., Oh, J., and Yoo, D. (2005), Sound quality evaluation for the vehicle HVAC system after active noise control, Transactions of the Korean Society of Mechanical Engineers, 1273-1277.
• Kang, K. and Lee, K. (2020), CNN-based automatic machine fault diagnosis method using spectrogram images, The Journal of Korea Institute of Convergence Signal Processing, 21(3), 121-126.
• Lee, D. and Kim, T. (1999), Interior noise reduction of a passenger car using panel contribution analysis, Transactions of the Korean Society for Noise and Vibration Engineering, 9(4), 785-794.
• Lee, S., Kwak, Y. S., Lee, J., and Park, J. (2013), Sound quality evaluation and classification of BSR noise, Proceedings of the Korean Society for Noise and Vibration Engineering Conference, 691-692.
• Lee, S. and Lee, S. (2020), Is deep learning also useful in the field of noise? Noise · Vibration, 30(1), 7-13. [https://doi.org/10.5050/KSNVE.2020.30.2.129]
• Lee, T., Kim, C., and Choi, H. (2017), Experimental research on the static steering performance test of R-EPS for 48V system, Spring Conference Proceedings, Korean Society of Automotive Engineers, 309-312.
• Lim, C. C. and Thurston, G. D. (2019), Air Pollution, oxidative stress, and diabetes: A life course epidemiologic perspective, Current Diabetes Reports, 19(8), 1-14. [https://doi.org/10.1007/s11892-019-1181-y]
• Loshchilov, I. and Hutter, F. (2017), Decoupled weight decay regularization, ArXiv Preprint ArXiv:1711.05101, .
• Nair, V., and Hinton, G. E. (2010), Rectified linear units improve restricted boltzmann machines, lcml.
• Park, J., Min, K., Kim, H., Lee, W., Cho, G., and Huh, K. (2018), Road surface classification using a deep ensemble network with sensor feature selection, Sensors, 18(12), 4342. [https://doi.org/10.3390/s18124342]
• Shin, S., Bai, L., Oiamo, T. H., Burnett, R. T., Weichenthal, S., Jerrett, M., and Chen, H. (2020), Association between road traffic noise and incidence of diabetes mellitus and hypertension in Toronto, Canada: A population-based cohort study, Journal of the American Heart Association, 9(6), e013021. [https://doi.org/10.1161/JAHA.119.013021]
• Simonyan, K. and Zisserman, A. (2014), Very deep convolutional networks for large-scale image recognition, ArXiv Preprint ArXiv:1409.1556, .
• Tan, M. and Le, Q. (2019), Efficientnet: Rethinking model scaling for convolutional neural networks, In International Conference on Machine Learning. PMLR, 6105-6114.