Journal of the Korean Institute of Industrial Engineers
[ Article ]
Journal of the Korean Institute of Industrial Engineers - Vol. 48, No. 5, pp.538-545
ISSN: 1225-0988 (Print) 2234-6457 (Online)
Print publication date 15 Oct 2022
Received 09 Jun 2022 Revised 19 Jul 2022 Accepted 26 Jul 2022
DOI: https://doi.org/10.7232/JKIIE.2022.48.5.538

차량 외부 디자인 변경에 따른 풍절음 예측을 위한 설명 가능한 딥러닝 모델

김태연1 ; 목충협1 ; 오혜령1 ; 이성희2 ; 김성범1,
1고려대학교 산업경영공학과
2㈜비알프레임
Explainable Deep Learning Model for Wind Noise Prediction from Changes in Vehicle Exterior Design
Taeyeon Kim1 ; Chunghyup Mok1 ; Hyeryeong Oh1 ; Sunghee Lee2 ; Seoung Bum Kim1,
1Department of Industrial and Management Engineering, Korea University
2BRFrame Inc.

Correspondence to: 김성범 교수, 02841 서울특별시 성북구 안암로 145, 고려대학교 산업경영공학과, Tel : 02-3290-3397, Fax : 02-3290-4550, E-mail : sbkim1@korea.ac.kr

© 2022 KIIE

Abstract

Reducing vehicle interior noise to provide a pleasant driving environment is important in the vehicle industry because the interior noise is one of the important factors in evaluating the vehicle’s quality. In the case of eco-friendly electric vehicles, noises generated by the wind while driving is considered to be the main cause of vehicle noise. The most influential factor for wind noise is the vehicle exterior design. Previously, a vehicle-specific analysis model was constructed using computer-aided engineering to predict wind noises. However, the existing methods require an additional analysis according to changes in the exterior design, and it depends on the subjective opinions of experts. Therefore, it is necessary to develop an effective model that predicts and analyzes wind noises through various exterior design images. In this study, we propose an explainable deep learning model that can predict internal noises by using the vehicle's exterior design images. The proposed method can extract features and detect important areas of each design image through multi-convolutional neural networks and self-attention. The experimental results show that the proposed method accurately predicts wind noises while detecting the importance of each exterior design feature.

Keywords:

Wind Noise Prediction, NVH(noise, vibration and harshness), Vehicle Exterior Design, Computer-aided Engineering, Self-attention Network, Explainable Artificial Intelligence

1. 서 론

오늘날 차량의 승차감을 평가하는데 있어 소음(noise), 진동(vibration) 및 마찰(harshness)은 매우 중요한 요소다. 특히 차량에서 발생하는 소음은 운전자가 차량을 선택하는데 큰 영향을 끼치는 요소로, 쾌적한 운전 환경을 결정하는데 매우 중요하다(Genuit et al., 2004). 차량 내 소음을 유발하는 주요 원인으로는 엔진, 파워트레인, 도로 및 타이어, 바람 등이 존재한다(Qatu et al., 2012). 차량의 통합 기술 발전으로 엔진과 타이어에 의한 소음이 줄어들게 되면서 주행 중 차체와 공기와의 충돌로 인해 발생하는 진동에 의한 소음인 공력 소음(aerodynamic noise)이 차량 내 소음에서 더욱 많은 비중을 차지하게 되었다(Qiliang et al., 2022). 또한, 전기차로의 전환이 활발하게 이루어지면서 차량 내 소음 유발 원인 중 하나인 엔진을 활용하지 않아 바람에 의한 소음이 더욱 중요한 관심사가 되었다(Martin et al., 2022).

차량의 외부 디자인은 공력 소음 및 풍절음(wind noise) 발생에 중요한 역할을 하는 요소이다. 그러나 외부 디자인은 개발 단계 중 프로토타입 시점에서 변경하는 것이 불가능하기 때문에 초기 디자인 단계에서의 점검이 필수적이다(Rim et al., 2018). 따라서 외부 디자인과 풍절음과의 관계에 대한 연구들이 활발하게 진행되고 있다. Senthooran et al.(2013)은 와이퍼에 의한 차량 내 소음을 예측하기 위해서 전산 유체 역학(computational fluid dynamics; CFD)을 통해서 와이퍼의 배치 방식이 미치는 영향에 대해 분석하였으며, Rim et al.(2018)은 반응표면분석법(response surface methodology)을 활용하여 A-필라 및 와이퍼의 디자인과 소음의 관계를 분석하였다. Zaareer et al.(2022)은 소음에 대한 사이드 미러 위치의 영향력을 유한 요소 해석(finite element analysis; FEA)을 활용하여 분석하였다. 그러나 컴퓨터 이용 공학(computer-aided engineering; CAE)을 활용하는 기존 연구들은 디자인 요소 변경에 따른 개별적인 모델을 구축해야 하는 비효율적이라는 문제와 함께 전문가의 주관적인 의견에 의존한다는 한계점이 존재한다. 이러한 한계점을 해결하기 위해 다양한 외부 디자인 특징을 포함하는 하나의 차량에 인공지능을 활용하여 정량적인 소음 예측 및 해석을 진행하는 모델 개발이 시도되고 있다. Kužnar et al.(2012)은 선형 서포트 벡터 머신(linear support vector machine)을 활용하는 실내 소음 예측 방법론을 제안하였으며, Li et al.(2021)은 엘만 신경망(Elman neural network)을 활용하여 설계 요소에 따른 차량의 실내 소음을 정량적으로 예측하였으며, 소음에 따른 차체 구조의 최적화 방법을 제안하였다.

최근 다양한 분야에서 활용되는 딥러닝 모델의 성능 향상을 위한 연구들과 더불어 모델의 결과에 대해 사람이 이해할 수 있는 설명 가능한 인공지능(explainable artificial intelligence; XAI)에 대한 연구가 활발히 진행되고 있다. Vaswani et al.(2017)은 특정 영역의 입력 값을 활용하여 학습에 중요한 부분에 큰 가중치를 주어서 학습을 진행하는 셀프 어텐션(self-attention)을 활용하여 자연어 처리 학습 과정에서 중요한 역할을 한 부분을 탐지하였다. 컴퓨터 비전 분야에서는 합성곱 신경망(convolutional neural network)을 이용해 이미지를 분류하는데 중요한 영향을 끼친 부분을 시각화하는 연구가 진행되었다(Simonyan et al., 2013). Zhou et al.(2016)은 합성곱 신경망 마지막 단계의 특징 맵(feature map)으로부터 도출한 전역 평균 풀링(global average pooling) 값과 타겟을 완전 연결 레이어(fully-connected layer)로 연결하여 가중치를 구하고 이를 통해 타겟 이미지에 포함된 중요 위치를 시각화 할 수 있는 CAM (class activation map) 방법론을 제안하였다. 이후 Selvaraju et al.(2017)은 특징 맵 내 각 원소가 타겟 클래스에 주는 영향력을 정량화한 그레디언트(gradient)를 이용하여 이미지 내의 중요 영역을 탐지할 수 있는 Grad-CAM(gradient-weighted class activation mapping)방법론을 제안하였다.

차량 소음 예측을 위한 기존 연구에서는 디자인 요소 변경에 따라 새로운 해석 모델을 구축해야 하는 비효율적이라는 한계점이 존재한다. 또한, 디자인 요소의 실험 인자 값 활용으로 예측에 영향을 주는 주요 디자인 정보에 대한 명확하고 가시적인 해석이 어려운 한계가 있다. 실제 차량 산업에서는 차량의 외부 디자인을 일일이 변경해가며 소음을 확인할 수 없기 때문에 소음에 영향을 미치는 주요 디자인 요소를 탐지하여 이를 이용한 예측 모델을 구축하는 것이 효율성 관점에서 매우 중요하다. 이를 위해 본 연구에서는 차량의 다양한 외부 디자인 정보를 효율적으로 사용할 수 있는 설명 가능한 딥러닝 모델을 제안한다. 제안 방법론은 차량의 외부 디자인을 이용한 다양한 주파수 대역에서의 소음 예측에서 우수한 성능을 보이며, 예측에 영향을 주는 주요 디자인 정보를 제공할 수 있음을 확인하였다. 본 논문의 중요 기여점은 다음과 같다.

  • - 차량의 외부 디자인별 특징을 반영하여 다양한 주파수 대역에서의 소음을 동시에 예측할 수 있는 딥러닝 모델을 제안한다.
  • - 어텐션 매커니즘을 이용하여 소음 예측에 활용되는 외부 디자인별 중요도를 제공한다.
  • - 외부 디자인별 이미지내에서의 중요 영역에 대한 정보를 시각적으로 제공하며, 소음에 유의미한 영향을 줄 수 있는 상세한 정보를 제공한다.

본 논문은 다음과 같은 구조를 가진다. 2장에서는 사용하는 데이터와 제안하는 방법론에 대해 설명한다. 3장에서는 평가지표, 실험 조건에 대해 설명하고 제안하는 방법론의 성능을 실험을 통해서 보여준다. 마지막으로 4장에서는 결론 및 추후 연구 과제와 기대효과를 제시한다.


2. 제안 방법론

제안 모델은 차량의 외부 디자인별 특징 추출 및 중요 영역 파악을 위한 다중 합성곱 신경망과 차량의 소음 및 진동에 영향을 미치는 중요한 디자인 탐색을 위한 셀프 어텐션 네트워크, 그리고 추출된 특징들을 바탕으로 다양한 주파수 대역에서의 소음 예측을 위한 다층 퍼셉트론(multi-layer perceptron) 소음 예측기로 구성된다. <Figure 1>은 제안 모델의 구조를 요약한 그림이다.

Figure 1.

Architecture of Proposed Multi-CNN with Self-Attention Network

2.1 다중 합성곱 신경망을 통한 외부 디자인별 특징 추출 및 중요 영역 탐지

다양한 차량 외부 디자인 이미지들을 동시에 고려하는 합성곱 신경망 모델은 입력 이미지들 사이의 가중치들을 서로 공유하게 된다. 이 경우 모든 디자인 이미지들의 특징이 통합된 형태로 추출 되어 어떤 특징을 강조하는 디자인이 예측에 중요한 역할을 하였는지에 대한 판단이 어렵다. 본 연구에서는 특징 추출 단계에서는 디자인 이미지들 사이의 가중치가 공유되지 않도록 하여 디자인별 특징을 개별적으로 추출할 수 있는 다중 합성곱 신경망 구조를 구성한다. 본 연구에서는 디자인별 특징 추출을 위해서 각각의 dense block 내의 모든 레이어로부터 얻은 특징 맵을 서로 연결하여 특징 추출에서 우수한 성능을 보이는 DenseNet(Huang et al., 2017) 구조를 활용한다. <Figure 2>는 본 연구에서 활용하는 특징 추출기의 자세한 구조를 나타낸다. 특징 추출기는 합성곱 연산을 통한 특징 맵들을 상호 연결 하여 초기 정보가 깊은 레이어에도 효율적으로 전달될 수 있는 dense block과 연산량 조절을 위하여 특징 맵의 크기와 채널 수를 조정하는 transition layer가 반복되는 구조이다.

Figure 2.

Architecture of CNN Feature Extraction

아울러 차량 내 소음 예측에 있어서 디자인별 중요 영역을 탐지하기 위해 학습된 모델에서 타겟에 주는 영향력을 정량화한 그레디언트 정보를 사용하는 Grad-CAM(Selvaraju et al., 2017)을 활용한다. 식 (1)과 같이 주파수 대역 c에서의 소음 수준 yc을 합성곱 레이어의 k번째 특징 맵 AkRu×v에 대해서 오차 역전파(backpropagtion) 및 전역 평균 풀링을 진행하여 주파수 대역 c에 대한 k번째 특징 맵의 중요도 αkc를 구하였다. 이때, uv는 각각 특징 맵의 가로, 세로 크기, Z는 특징 맵의 픽셀 수를 의미한다. 이후 특징 맵 Ak과 중요도 αkc들을 선형 결합 후, ReLU(rectified linear unit) 활성화함수를 적용하여 주파수 대역 c에 대한 중요 영역을 표현하는 지역 맵(localization map) Lc을 구하였으며 이는 식 (2)로 표현된다. 합성곱 신경망 내 깊은 레이어로부터 추출된 특징 맵일수록 높은 수준의 시각적 정보를 포함하기 때문에 본 연구에서는 디자인별 합성곱 신경망의 마지막 합성곱 레이어를 활용한다(Mahendran et al., 2016).

αkc=1ZijycAijk(1) 
Lc=ReLUkαkcAk(2) 

2.2 셀프 어텐션을 통한 중요 디자인 이미지 탐지 및 소음 예측기

셀프 어텐션이란 하나의 특징 벡터에서부터 쿼리(query), 키(key), 벨류(value)의 3종류 벡터를 생성하고, 이를 활용하여 예측을 진행하는데 더욱 관련이 있는 정보에 집중하여 학습 하는 방법론을 의미한다. 본 연구에서는 다중 합성곱 신경망을 통하여 산출된 각각의 외부 디자인별 특징 벡터 중 소음 예측에 중요한 특징 벡터에 집중하여 예측 성능 향상과 동시에 중요 디자인 정보를 파악할 수 있도록 셀프 어텐션 네트워크를 구성한다. <Figure 3>은 본 연구에서 제안하는 셀프 어텐션 네트워크의 자세한 구조를 나타낸다. 본 연구에서의 셀프 어텐션 네트워크는 레이어 정규화(layer normalization) 블록과 셀프 어텐션 블록으로 구성된다. 식 (3), (4), (5)와 같이 다중 합성곱 신경망을 통해서 추출된 i번째 디자인 이미지의 특징 벡터 xi를 레이어 정규화 진행 후, 3종류의 완전 연결 레이어의 입력으로 하여 쿼리 벡터(qi), 키 벡터(ki), 벨류 벡터(vi)를 구하였다. 식 (6)을 통해 쿼리 벡터와 키 벡터의 소프트맥스(softmax) 함수를 통해 어텐션 스코어(attention score) αi를 구하며, 식 (7)을 통해 어텐션 스코어 αt와 벨류 벡터 vt의 선형 결합을 통해서 i번째 디자인 이미지에 대해서 가중치가 반영된 특징 벡터 zi를 구한다. 학습 과정에서의 기울기 손실(gradient vanishing)문제를 방지하기 위해 가중치가 반영된 디자인 이미지의 특징 벡터 zi와 다중 합성곱 신경망을 통해 추출된 특징 벡터 xi를 더하여 중요 영역에 대한 정보가 포함된 히든 벡터(hidden vector) hi를 산출한다(He et al., 2016).

qi=normxi Wquery(3) 
ki=normxi Wkey(4) 
vi=normxi Wvalue(5) 
αi=expqikiTtexpqiktT(6) 
zi=tαtvt(7) 
Figure 3.

Architecture of Self-Attention Network

최종적으로 디자인별 히든 벡터 hi를 가중 평균하여 모든 디자인 이미지 정보가 요약된 특징 벡터를 구한다. 요약된 특징 벡터를 바탕으로 완전 연결 레이어로 구성된 다층 퍼셉트론 소음 예측기를 통해 주파수 대역별 소음을 예측한다. 또한, 학습이 완료된 모델에서의 디자인별 어텐션 스코어들의 가중 평균값을 통하여 디자인별 중요도를 산출한다.


3. 실험 결과

3.1 데이터 소개

본 연구에서는 국내 자동차 제조 업체 A사의 특정 차종에 대해 디자인 요소들의 변화에 따른 실내 소음 메타 모델로부터 수집한 10종류의 이미지와 3종류의 차량 내 소음 데이터를 활용하였으며, 데이터의 전체 관측치 수는 10,027개이다. 활용 이미지는 차량 별 디자인 요소들의 차이가 모두 반영되어 있는 글로벌 이미지 3종류와 차량 전문 엔지니어들에 의해 선택된 로컬 이미지 7종류로 구성되었다. <Figure 4(a)>는 3종류의 글로벌 이미지로 왼쪽부터 차량의 전면, 우측면, 상단을 나타낸다. <Figure 4(b)>는 7종류의 로컬 이미지로 순차적으로 A-필러(A-pillar) 각도, 텀블홈 각도, 레인거터 높이, A-필러 폭, 사이드 미러 곡률, 사이드 미러 각도, 사이드 미러의 면적 및 Y 위치를 나타낸다.

Figure 4.

Examples of Exterior Design Images of the Vehicle (a) Three Types of Global Images (b) Seven Types of Local Images

차량 내 소음 데이터는 주파수에 따라서 사람이 느끼는 소리의 크기가 달라지므로 3종류의 주파수 대역(500Hz, 1,000Hz, 2,000Hz)으로 나누어 분석하였다. 이를 통해 주파수 대역에 따른 소음 예측 및 디자인 요소와 소음과의 관계를 분석할 수 있었다. 또한, 소리 크기의 민감도를 반영하는 데시벨(dB) 단위에 A-가중치를 부여한 A-가중 데시벨(dBA) 단위로 변환하여 활용하였다.

3.2 실험 설계 및 모델 학습

본 연구에서는 회귀 문제에서 일반적으로 사용되는 평균 제곱 오차(mean squared error; MSE)를 비용함수(cost function)로 활용하였다. 멀티 아웃풋 모델에서의 평균 제곱 오차는 각 반응 변수의 평균 제곱 오차를 평균한 값으로 식 (8)과 같이 계산된다. 식 (8)에서 Yi,jY^i,j는 각각 i번째 데이터에 대한 j번째 반응 변수의 실제 값과 예측 값이며, n은 관측치의 수, m은 반응 변수의 수를 의미한다.

MSE=1m1nj=1mi=1nYi,j-Y^i,j2(8) 

해당 실험을 위해 사용된 컴퓨팅 환경은 Windows 10, Intel(R) Core(TM) i5-8400 CPU @ 2.80GHz, 64GB RAM, GTX 1080ti를 이용하였으며, 데이터 분석 도구로는 파이썬(python) 프로그래밍 언어를 활용하였다. 디자인별 특징 추출을 위한 합성곱 신경망 모델은 합성곱 연산을 통하여 추출된 특징 맵들이 서로 연결되는 dense block 4개와 특징 맵의 크기와 채널 수를 감소시키는 transition layer 3개가 반복되는 구조의 DenseNet-121을 활용하였다. Optimizer 함수로 Adam(Kingma et al., 2018)을 활용하였으며, 학습률(learning rate)은 0.00001로 설정하였다. 모델의 학습과 평가를 위해서 전체 10,027개의 데이터를 학습 데이터 8,027개, 테스트 데이터 2,000개로 분리하였다. 학습한 모델의 검증을 위해서 학습 데이터는 훈련 데이터와 검증 데이터로 추가 분리하여 각각 학습데이터의 90%와 10%로 지정하였다. <Table 1>은 본 연구에서 활용한 훈련, 검증, 테스트 데이터의 개수를 나타낸 것이다. 모델에서의 데이터 배치 사이즈(batch size)는 훈련 데이터와 검증 데이터 모두 10으로 설정하였다. 모델은 100번의 에폭(epoch) 중 검증 데이터에 대한 손실 함수 값이 가장 작은 에폭에서의 모델을 최적 모델로 선정하였으며, 모델이 훈련 데이터에 과적합되는 것을 방지하기 위해 검증 데이터에 대해서 20번의 에폭 동안 손실 함수의 개선이 이루어지지 않으면 학습이 조기 종료 되도록 하였다.

Summary of Train/Validation/Test Set

3.3 평가 지표

본 연구에서는 주파수 대역에 따른 소음 예측 성능을 정량적으로 평가하기 위해 주파수 대역별 평균 절대 오차(mean absolute error; MAE)와 평균 제곱근 오차(root mean square error; RMSE)를 사용하였다. 평균 절대 오차는 실제값과 예측값의 차이에 절대값을 취하여 평균한 값으로 식 (9)와 같이 계산된다. 평균 제곱근 오차는 실제값과 예측값의 차이를 제곱하여 평균한 값에 대한 제곱근 값으로 식 (10)과 같이 계산된다. 식 (9)(10)에서 Yi는 실제값, Y^i은 예측값, n은 관측치의 수를 의미한다. 평균 절대 오차와 평균 제곱근 오차는 0 이상의 값을 갖게 되며, 값이 작을수록 모델의 예측 성능이 우수함을 보여준다.

MAE=1ni=1nYi-Y^i(9) 
RMSE =i=1nYi-Yi^2n(10) 

3.4 실험 결과

제안 방법론과 비교 방법론의 유의미한 성능 차이를 확인하기 위해 훈련, 검증, 테스트에 활용되는 데이터를 5회 변경해가며 실험을 진행하였다. 모델 학습이 잘 수행되는지 확인하기 위해 <Figure 5>와 같이 제안 방법론의 훈련, 검증 데이터의 에폭별 손실 함수 값을 시각화 하였다. 훈련 및 검증 데이터에 대한 손실 함수 값이 에폭에 따라 감소하는 경향을 통하여 학습이 잘 수행된 사실을 확인 할 수 있다. <Table 2>는 제안 방법론과 비교 방법론의 예측 성능 평균과 표준 편차를 나타낸 것이다. 제안 방법론의 평균 절대 오차는 500Hz에서 0.012, 1,000Hz에서 0.017, 2,000Hz에서 0.025로 다른 방법론들과 비교하여 모든 대역에서 가장 우수한 성능을 보였다. 외부 디자인 이미지들의 특징을 통합된 하나의 특징으로 추출 하는 단일 합성곱 신경망의 구조는 다중 합성곱 신경망을 적용하는 방법론에 비해서 낮은 성능을 보이는 것을 확인하였으며, 다중 합성곱 신경망에 외부 디자인별 중요도에 따라 가중치를 적용하는 셀프 어텐션을 추가적으로 적용하였을 때, 성능 향상이 있는 것을 확인할 수 있었다. <Figure 6>은 제안 방법론에서의 예측 성능에 대한 각각의 주파수 대역별 산점도(scatter plot)를 보여주고 있다. 산점도에서의 X축과 Y축은 각각의 주파수 대역에 따른 실제 소음 값과 제안 방법론을 통하여 얻은 예측 소음 값을 의미한다. 주파수 대역별 산점도가 Y=X의 그래프와 유사하게 나타나는 것을 통하여 제안 방법론을 통한 예측 소음 값이 실제 소음 값과 유사하게 나타나는 것을 확인할 수 있다. 더불어 추출된 개별 특징들에 적용된 셀프 어텐션이 외부 디자인별 특징 및 중요도를 반영하여 모든 주파수 대역에서 우수한 소음 예측 성능을 보이는 것을 확인하였다.

Figure 5.

Learning Curve for Train/Validation Set

Regression Results of Models

Figure 6.

Scatter Plot for Results of Proposed Methods

<Figure 7>은 셀프 어텐션을 통해 학습된 제안 모델에서의 외부 디자인별 중요도를 보여주고 있다. 이를 통해 소음을 예측하는데 있어서 특정 디자인 요소들이 강조된 로컬 이미지가 글로벌 이미지에 비해 중요한 역할을 하고 있음을 확인할 수 있었다. 특히 차량 산업 전문가들은 내부 소음을 분석하는데 있어서 모든 디자인 요소들을 함축하고 있는 글로벌 이미지 보다는 각각의 디자인 요소들이 강조된 로컬 이미지를 더욱 중요하게 고려하고 있어 본 연구에서의 분석 결과가 현장에서 고려되는 디자인별 중요도와 일치함을 알 수 있었다. 아울러, 예측에 있어 사이드 미러의 면적 및 Y 위치, 사이드 미러 곡률, 사이드 미러 각도 등 사이드 미러가 바람에 의한 소음 유발에 중요인자임을 알 수 있었다.

Figure 7.

Importance Score Graph by Exterior Design

<Figure 8>에서는 로컬 이미지에 대해 중요 영역 정보를 히트맵으로 나타냈으며, 소음 예측에 중요한 영역일수록 붉은 색으로 표현하였다. 이를 통해 히트맵 결과에서 보여주고 있는 중요 영역이 실제 전문가들이 소음 절감에서 고려하는 디자인 영역을 포함하는 사실을 통하여서 해당 결과가 실제 전문가들의 의견과 일치하는 점을 확인할 수 있었다. 각각의 로컬 이미지에서 강조되는 영역과 더불어 사이드 미러의 디자인 요소가 추가적으로 탐지되는 사실을 통해서 사이드 미러가 소음에 큰 영향을 미치는 인자임을 확인하였다. 사이드 미러는 전문가들이 차량 소음과 밀접한 관계가 있는 디자인 요소로 여기는 점에서 실제 전문가들의 의견과 일치한다고 평가할 수 있다. 특별히, 소음 절감을 위해서는 사이드 미러의 상단 부분과 측면 유리와 근접한 부분의 디자인이 중점적으로 고려되어야 함을 추가적으로 알 수 있었다.

Figure 8.

Heatmaps for Important Areas of Local Images

<Table 3>은 활용하는 외부 디자인별 이미지의 종류에 따른 예측 성능 평균과 표준 편차를 나타낸 것이다. 글로벌 이미지와 로컬 이미지를 같이 활용하였을 때보다 로컬 이미지만을 활용하였을 때 모든 주파수 대역에서 성능이 향상하는 것을 확인할 수 있었다. 따라서 소음을 예측하는데 전체적인 특징을 반영하는 글로벌 이미지보다 특정 디자인 요소들이 강조된 로컬 이미지 정보만을 활용하는 것이 효과적임을 추가적으로 확인할 수 있었다.

Regression Results of Proposed Method with Utilization Image Type


4. 결 론

본 연구에서는 차량 외부 디자인 데이터를 활용하여 다양한 주파수 대역에서 발생하는 바람에 의한 소음을 동시에 예측할 수 있는 설명 가능한 딥러닝 모델을 제안하였다. 본 연구는 외부 디자인 변경에 따른 새로운 해석 모델을 구성해야 하는 기존의 문제점을 해결할 수 있는 효율적인 딥러닝 기반 네트워크 모델을 제안하는 점에서 의의가 있다. 학습에 사용한 데이터는 차량 전문 엔지니어들이 중요하다고 판단한 인자들이 반영되어 있는 10 종류의 이미지를 활용하였다. 제안 방법론은 특징 추출 단계에서 다중 합성곱 신경망 구조를 활용하여서 디자인 이미지들 사이의 가중치가 서로 공유되지 않도록 설계하였으며, 이를 통해 외부 디자인별 특징을 개별적으로 추출할 수 있다. 또한, 개별적으로 추출된 특징에 디자인별 특징의 중요성을 반영할 수 있도록 셀프 어텐션 네트워크를 활용하였으며, 실험을 통해 우수한 소음 예측 성능을 보이는 것을 확인하였다. 아울러 제안 방법론은 소음에 영향을 주는 상세한 디자인 요소 정보를 전문가에게 제공할 수 있으며, 실제로 제안 모델이 제안하는 디자인 요소 정보가 현장 전문가가 중요하게 고려하는 디자인 영역을 포함하는 것을 확인하였다. 제안 방법을 통해 소음에 영향을 주는 상세한 디자인 요소 정보를 전문가에게 제공하여 해당 정보에 대한 추가적인 분석을 바탕으로 향후 소음 예측 성능 향상에 기여를 할 수 있을 것으로 기대 된다.

본 연구에서는 단일 차종으로부터 수집한 데이터를 활용하여 풍절음 예측 및 해석을 진행하였다. 하지만, 다른 특징을 가지고 있는 새로운 차종에 대해서는 소음 예측 성능이 저하될 수 있다는 한계점이 존재한다. 이를 보완하기 위해서 향후에는 새로운 차종에 대해서도 우수한 예측이 가능하도록 학습이 완료된 모델에 지식 전이를 적용하고자 한다. 지식 전이를 통해서 새로운 차종에 대해서 지속적으로 업데이트할 수 있으며, 소량의 데이터로도 우수한 예측 성능을 보일 수 있을 것으로 기대된다.

Acknowledgments

본 논문은 한국연구재단 BK21 FOUR, 현대자동차 주식회사 및 기아 주식회사로부터 (주)비알프레임에 위탁한 기술용역 “로컬디자인 변경에 대한 바람소리 예측 AI모델 개발”의 연구결과임.

References

  • Genuit, K. (2004), The sound quality of vehicle interior noise: a challenge for the NVH-engineers, International journal of vehicle noise and vibration, 1(1-2), 158-168. [https://doi.org/10.1504/IJVNV.2004.004079]
  • He, K., Zhang, X., Ren, S., and Sun, J. (2016), Deep residual learning for image recognition, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 770-778. [https://doi.org/10.1109/CVPR.2016.90]
  • Huang, G., Liu, Z., Van Der Maaten, L., and Weinberger, K. Q. (2017), Densely connected convolutional networks, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 4700-4708. [https://doi.org/10.1109/CVPR.2017.243]
  • Putra, A., Munir, F. A., and Juis, C. D. (2012), On a simple technique to measure the airborne noise in a car interior using substitution source, International Journal of Vehicle Noise and Vibration, 8(3), 275-287. [https://doi.org/10.1504/IJVNV.2012.048166]
  • Kingma, D. P., and Ba, J. (2014). Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, .
  • Krizhevsky, A., Sutskever, I., and Hinton, G. E. (2012), Imagenet classification with deep convolutional neural networks, Advances in Neural Information Processing Systems, 25.
  • Kužnar, D., Možina, M., Giordanino, M., and Bratko, I. (2012), Improving vehicle aeroacoustics using machine learning, Engineering Applications of Artificial Intelligence, 25(5), 1053-1061. [https://doi.org/10.1016/j.engappai.2011.09.023]
  • Li, M., Zhou, W., Liu, J., Zhang, X., Pan, F., Yang, H., Li,M., and Luo, D. (2021), Vehicle interior noise prediction based on elman neural network, Applied Sciences, 11(17), 8029. [https://doi.org/10.3390/app11178029]
  • Mahendran, A. and Vedaldi, A. (2016), Visualizing deep convolutional neural networks using natural pre-images, International Journal of Computer Vision, 120(3), 233-255. [https://doi.org/10.1007/s11263-016-0911-8]
  • Martin, S., Daniels, H., Venor, J., and Musser, C. (2022), Validation of Combining Compressible CFD Results with Statistical Energy Analysis for Vehicle Interior Noise Simulation, SAE Technical Paper, (No. 2022-01-0936). [https://doi.org/10.4271/2022-01-0936]
  • Qatu, M. S. (2012), Recent research on vehicle noise and vibration, International Journal of Vehicle Noise and Vibration, 8(4), 289-301. [https://doi.org/10.1504/IJVNV.2012.051536]
  • Qiliang, L., Wei, L., Xiaowei, H., and Zhigang, Y. (2022), Aerodynamic noise control of rearview mirror by steady and unsteady jets, Applied Acoustics, 192, 108739. [https://doi.org/10.1016/j.apacoust.2022.108739]
  • Rim, S., Shin, S., and Shin, H. (2018), A study on A-pillar & wiper wind noise estimation using response surface methodology at design stage, The Journal of the Acoustical Society of Korea, 37(5), 292-299.
  • Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., and Batra, D. (2017), Grad-cam: Visual explanations from deep networks via gradient-based localization, In Proceedings of the IEEE international conference on computer vision, 618-626. [https://doi.org/10.1109/ICCV.2017.74]
  • Senthooran, S., Mutnuri, L. R., Amodeo, J., Powell, R., and Freeman, C. (2013), A computational approach to evaluate the automotive windscreen wiper placement options early in the design process, SAE International Journal of Passenger Cars-Mechanical Systems, 6(2013-01-1933), 1262-1268. [https://doi.org/10.4271/2013-01-1933]
  • Simonyan, K., Vedaldi, A., and Zisserman, A. (2013), Deep inside convolutional networks: Visualising image classification models and saliency maps, arXiv preprint arXiv:1312.6034, .
  • Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017), Attention is all you need, Advances in Neural Information Processing Systems, 30.
  • Zaareer, M., and Mourad, A. H. (2022), Effect of vehicle side mirror base position on aerodynamic forces and acoustics, Alexandria Engineering Journal, 61(2), 1437-1448. [https://doi.org/10.1016/j.aej.2021.06.049]
  • Zhou, B., Khosla, A., Lapedriza, A., Oliva, A., and Torralba, A. (2016), Learning deep features for discriminative localization, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2921-2929. [https://doi.org/10.1109/CVPR.2016.319]
저자소개

김태연 : 고려대학교 수학과에서 2021년 학사 학위를 취득하고, 고려대학교 산업경영공학과에서 석사과정에 재학 중이다. 연구분야는 Machine Learning, Explainable Artificial Intelligence이다.

목충협 : 고려대학교 산업경영공학과에서 2019년 학사 학위를 취득하고, 고려대학교 산업경영공학과에서 박사과정에 재학 중이다. 연구분야는 Anomaly Detection, Self-Supervised Learning, Multi-task Learning이다.

오혜령 : 한국외국어대학교 산업경영공학과에서 2019년 학사 학위를 취득하고, 고려대학교 산업경영공학과에서 석사과정에 재학 중이다. 연구분야는 Machine Learning, Deep Learning for Multivariate Time Series Data이다.

이성희 : 1999년 Okayama University에서 자연과학연구과 통계학박사학위를 취득하였다. 연구분야는 빅데이터분석, 인공지능활용이다.

김성범 : 고려대학교 산업경영공학부 교수로 2009년부터 재직하고 있으며, 인공지능공학연구소 소장 및 기업산학연협력센터 센터장을 역임했다. 미국 University of Texas at Arlington 산업공학과에서 교수를 역임하였으며, 한양대학교 산업공학과에서 학사학위를 미국 Georgia Institute of Technology에서 산업공학 석사 및 박사학위를 취득하였다. 인공지능, 머신러닝, 최적화 방법론을 개발하고 이를 다양한 공학, 자연과학, 사회과학 분야에 응용하는 연구를 수행하고 있다.

Figure 1.

Figure 1.
Architecture of Proposed Multi-CNN with Self-Attention Network

Figure 2.

Figure 2.
Architecture of CNN Feature Extraction

Figure 3.

Figure 3.
Architecture of Self-Attention Network

Figure 4.

Figure 4.
Examples of Exterior Design Images of the Vehicle (a) Three Types of Global Images (b) Seven Types of Local Images

Figure 5.

Figure 5.
Learning Curve for Train/Validation Set

Figure 6.

Figure 6.
Scatter Plot for Results of Proposed Methods

Figure 7.

Figure 7.
Importance Score Graph by Exterior Design

Figure 8.

Figure 8.
Heatmaps for Important Areas of Local Images

Table 1.

Summary of Train/Validation/Test Set

Dataset Number of Data
Train Set 7,227
Validation Set 800
Test Set 2,000
Total 10,027

Table 2.

Regression Results of Models

Models Frequency MAE RMSE
Single CNN 500 Hz 0.446±0.009 0.552±0.012
1,000 Hz 0.755±0.026 0.924±0.046
2,000 Hz 0.938±0.010 1.137±0.009
Multi-CNN without Self-attention 500 Hz 0.016±0.002 0.020±0.002
1,000 Hz 0.021±0.002 0.027±0.002
2,000 Hz 0.028±0.002 0.035±0.003
Multi-CNN with Self-attention
(Proposed Method)
500 Hz 0.012±0.001 0.016±0.002
1,000 Hz 0.017±0.002 0.022±0.002
2,000 Hz 0.025±0.003 0.032±0.004

Table 3.

Regression Results of Proposed Method with Utilization Image Type

Models Frequency MAE RMSE
Proposed Method
(Local + Global images)
500 Hz 0.012±0.001 0.016±0.002
1,000 Hz 0.017±0.002 0.022±0.002
2,000 Hz 0.025±0.003 0.032±0.004
Proposed Method
(Local images)
500 Hz 0.010±0.001 0.013±0.002
1,000 Hz 0.014±0.002 0.018±0.002
2,000 Hz 0.018±0.002 0.023±0.003