다중 인코더 트랜스포머를 활용하여 용량 재생 현상을 고려한 배터리 성능 상태 예측 방법

1. 서 론

탄소중립의 시대를 맞이하여 배터리는 내연기관을 대체하는 가장 중요한 핵심 기술로 대두되고 있다. 특히, 현 재 상용화된 배터리 중 리튬이온 배터리는 다른 에너지 저장 기술보다 높은 에너지 밀도를 가져 여러 분야에서 사용되고 있다(Choi and Jeong, 2023). 리튬이온 배터리의 물리적 에너지 밀도는 배터리의 전극(electrode)에 저장할 수 있는 전자의 개수에 의해 정해지는데 이는 이미 상당히 높은 수준에 도달해 있으며 이를 추가적으로 높이는 데에는 화학적인 한계가 존재한다(Abraham, 2015).

한계를 극복하기 위한 방법으로 배터리의 물리적 크기를 증가시키는 방법이 존재하나, 배터리의 크기 증가에는 비용, 무게, 공간 제약 등의 문제점이 수반된다(Knehr et al., 2022). 따라서 배터리 시스템의 효율적인 운영을 통한 수명 연장이 현실적인 방안으로 판단된다. 배터리의 성능과 수명은 시간이 지남에 따라 열화되는데 이 열화 과정을 정확히 파악하고 예측하여 최적의 운영 전략과 유지보수 스케줄링을 수립하는 것이 배터리의 수명을 관리하는 데 효율적이다(Mishra et al., 2021). 이를 위해 배터리의 상태(State of Health, 이하 SOH)를 지속적으로 모니터링하고 이를 기반으로 남은 사용 가능 수명(Remaining Useful Life, 이하 RUL)을 예측하는 모델 개발은 배터리 시스템의 가동 시간을 최대화하고 불필요한 교체 비용을 절감하며 안전성을 향상시킬 수 있다(Iftikhar et al., 2024). SOH 기반의 배터리 RUL 예측 모델은 전력망, 전기차 등 다양한 분야에서 배터리 관리 시스템(Battery Management System, 이하 BMS)의 핵심 기술로 요구되며(Alsuwian et al., 2024) 배터리 수명 연장 및 성능 최적화를 위해 지속적으로 연구되고 있다.

SOH는 배터리의 초기 용량을 C_m, 현재 용량을 C_t로 표기하면 SOH=C_t/C_m으로 계산되며 현재 SOH가 한계점(threshold)에 도달하면 배터리를 수명 종료(End of Life, 이하 EOL) 상태로 간주한다. 즉, 배터리의 RUL 는 예측된 EOL의 시점과 현재 시점의 차로 나타낼 수 있다. 최근에는 Che et al.(2022)와 Hong et al.(2023) 등과 같이 딥러닝 방법론을 적용하여 SOH를 예측하는 방법론이 대두되고 있으나 딥러닝 방법론들은 블랙박스로 인해 결과에 대한 해석이 어려우며 모델 단독으로는 용량 재생 현상(Capacity Regeneration Phenomenon, 이하 CRP)으로 대표되는 이상 현상에 대해서도 강건하지 않다는 한계를 가지고 있다. CRP는 배터리의 충전 및 방전 과정에서 일시적으로 용량이 증가하는 현상으로, 배터리 SOH를 예측하는 데 어려움을 주기에 배터리 성능 예측에 중요한 요소이다.

본 연구는 문제를 해결하기 위해 CEEMDAN과 Multi-encoder Transformer 기반의 이상 상태에 강건한 모델을 제안함으로써 배터리 SOH 예측 성능을 향상하고자 한다. 더불어, 예측 결과에 영향을 주는 특징(feature)을 추출함으로써 BMS의 안정적인 운영을 도모하고자 한다. 해당 프레임워크는 센서 데이터에서 특징 추출(feature extraction)을 적용하여 전처리된 데이터들과 Capacity를 CEEMDAN으로 분해하여 비선형성을 제거하여 추출된 주파수(frequency)들을 병렬로 구성된 다수의 인코더에 입력함으로써 CRP를 고려한다. 이때 각 인코더의 Target은 CEEMDAN을 통해 추출된 주파수들로 설정하여 Local Target이라 제안한다. 그다음 인코더를 통해 나온 특징 벡터(feature vector)들은 concatenate 되어 디코더에 입력되어 최종적으로 Capacity를 예측하며 이를 Global Target이라 제안한다.

본 연구의 주요 기여점은 다음과 같다. (1) 통계에 기반을 둔 특징 추출(feature extraction) 전처리 방법론을 제안한다. 제안 전처리 방법론을 통해 데이터의 왜곡을 최소화하여 유효한 모델 해석이 가능케 하며 데이터의 형태와 상관없이 학습 가능하다. (2) CEEMDAN을 통해 CRP와 관련된 주기적인 비선형 패턴이 포함되어 있는 고주파(high-frequency) 성분과 Trend에 대한 패턴이 포함되어 있는 저주파(low-frequency) 성분으로 분해한다. 적용된 데이터셋은 데이터의 비선형성을 제거하여 모델이 이상 현상에 대해 강건함을 가능케 한다. (3) Transformer를 확장하여 다수의 Transformer 인코더와 하나의 Transformer 디코더로 구성된 Multi-encoder 구조의 모델을 제안한다. 이 구조는 모델의 과부하를 효과적으로 방지하며 손실 함수의 역전파를 통해 과적합의 방지에 기여한다. (4) Attention Weight의 시각화를 통해 배터리 SOH 예측 결과에 주요한 특징(feature)을 선정함으로써 배터리 시스템의 능동적인 유지보수 가능성을 제안한다.

본 논문의 구성은 다음과 같다. 제2장에서는 기존 연구에 대한 설명을 시행하고 제3장에서는 본 연구에서 제안하는 방법론을 설명하고 제4장에서는 NASA와 CALCE 배터리 데이터셋으로 제안한 모델을 실험한다. 제5장에서는 결론 및 향후 연구에 대해 다루도록 한다.

2. 관련연구

2.1 SOH 예측 연구

기존 연구에서 SOH 예측 방법론은 모델 기반 방법론(model-based)과 데이터 기반 방법론(data-driven)으로 나누어진다(Gao et al., 2021). Sangiri et al.(2022)은 배터리의 화학 및 전기적 활동 정보를 기반으로 배터리 내의 양전하를 모델링하는 방법을 제안하였다. Hariharan and Kumar(2013)는 전지의 실제 전기화학적 프로세스를 반영한 비선형 등가 회로 모델(equivalent circuit model)을 제안하여 다양한 운용 조건에서 전압 예측을 수행하였다. 그러나 모델 기반 방법은 배터리의 정밀한 화학 구조로 인해 방정식이 복잡하여 전문가의 도움을 필요로 한다.

데이터 기반 방법으로는 선형회귀법과 기계학습을 이용한 방법 등이 존재하며 모델 기반 방법론과 데이터 기반 방법론의 차이는 <Table 1>로 정리되며 최근에는 기계학습을 적용한 데이터 기반 방법 연구가 주를 이루고 있다. Vilsen and Stroe(2021)는 배터리의 SOH 예측을 위해 전압 데이터에서 기술 통계량을 추출하고 PCA(Principal Component Analysis)와 정규화를 적용하여 다중 선형 회귀 모델을 구축하는 방법을 제안하였으나, 선형회귀 기반 방법은 데이터의 특징(feature)이 많을수록 성능이 저하되는 문제점이 발생한다. Patil et al. (2015)는 배터리 Cycle 데이터를 다단계 SVM(Support Vector Machine) 접근법을 통해 잔존 유효 수명을 대략적으로 분류하고 이후 SVR(Support Vector Regression)을 적용해 예측하는 방법을 제안하였다. 그러나 SVM은 분류에 최적화되어 SOH 예측에 부적합하다는 한계가 존재한다. Hong et al.(2023)은 배터리 데이터의 전처리 및 정규화를 통해 방전 시간, 전압, 전류 등 다양한 특징(feature)을 입력으로 하는 DNN(Deep Neural Network) 모델을 제안했다. Che et al.(2022)는 다양한 배터리 팩의 상태 예측을 위해 각 셀의 건강 상태를 반영하는 범용 건강 지표(health indicator)를 생성하고 LSTM(Long Short-Term Memory), DNN, DCNN(Deep Convolution Neural Network) 등 여러 딥러닝 모델의 앙상블 및 전이 학습 기법을 결합한 방법으로 SOH를 예측하였다. 그러나 딥러닝 모델은 블랙박스의 존재로 인해 해석이 어렵다는 한계가 존재하므로 BMS를 효율적으로 운용하기 위해서는 설명 가능한 인공지능(Explainable Artificial Intelligence, 이하 XAI) 방법이 요구된다.

Table 1.

Comparison of Model-based and Data-driven Methods

3. 제안 방법론

본 연구에서 제안하는 방법론은 <Figure 1>과 같다. 첫 번째 단계는 데이터를 학습 가능한 형태로 전처리를 진행한다. 전처리를 마친 데이터에 대해 CEEMDAN을 적용함으로써 데이터의 서로 다른 주파수 성분을 분리한다. CEEMDAN을 통해 분해된 데이터는 고주파 성분과 저주파 성분으로 분해되며 이를 각각 개별적인 트랜스포머 인코더에 입력된다. 각 인코더에서 Local Target에 대한 예측을 수행하며 투영된 결과는 종합된 후 최종적으로 디코더에 의해 Global Target인 Capacity를 예측하게 된다. 본 절은 다음과 같이 구성되어 있다. 3.1절에서는 모드 분해 방법인 CEEMDAN과 각 인코더가 Local Target을 두어 Trend와 CRP를 독립적으로 학습하는 구조에 대해서 설명을 하며 이는 각각 <Figure 1>상에서 Mode Decomposition과 Multi-encoder Transformer에 해당한다. 3.2절에서는 시계열과 Feature를 고려하기 위한 Attention 구조에 대해 설명을 하며 이는 <Figure 1>상에서 Dual Multi-Head Attention에 해당한다. 3.3절에서는 전체 구조에 대한 Pseudo-Code를 설명한다.

Figure 1.

Framework of Proposed Method

3.1 CEEMDAN과 Multi-encoder Transformer 기반 비선형성 저감 학습

제3.1절에서는 CRP와 Trend를 독립적으로 학습하는 방식에 대해 설명한다. 해당 학습 방식은 <Figure 2>와 같이 3개의 Step으로 이루어져 있으며 모드 분해를 통해 CRP와 Trend를 분리하는 Step 1, 분리한 CRP와 Trend를 독립적으로 학습하는 Step 2, 그리고 SOH를 예측하는 Step 3로 이루어져 있다. 배터리 SOH 예측에서 CRP와 Trend를 분리해야 하는 이유는 배터리의 용량은 시간이 지남에 따라 점진적으로 감소하는 경향을 보이나 그 과정에서 CRP가 발생하기에 비선형성이 크게 증가하기 때문이다. CRP와 장기적인 열화 경향을 단일 모델로 처리할 경우 예측이 비선형적으로 왜곡되기 쉽기에 CRP를 고려하여 예측하는 것이 중요하다.

Figure 2.

Structure of CEEMDAN-Multi-encoder Transformer

CRP와 관련된 패턴은 모드 분해로 인해 나오는 주파수 중 고주파에 포함되어 있으며 이는 배터리 용량의 단기적인 변동을 나타낸다. Trend와 관련된 패턴은 저주파에 포함되어 있으며 배터리 용량의 장기적인 감소 경향을 나타낸다(Xin et al., 2024). 고주파 성분에 포함되어 있는 CRP는 불규칙적이고 급격한 변화를 나타내므로 이를 정확히 예측하기 위해서는 CRP에 특화된 모델링이 필요함과 동시에, 저주파 성분에 포함되어 있는 Trend는 긴 시간 동안의 연속적인 감소 경향을 따르기 때문에 이를 예측하기 위한 별도의 모델링이 요구된다. 본 연구에서는 배터리 SOH를 효과적으로 예측하기 위해 각 인코더가 CEEMDAN을 통해 추출된 IMF를 Local Target으로 설정하여 CRP와 Trend를 분리하여 학습한다. CEEMDAN 알고리즘은 노이즈 처리와 시계열 문제 해결에 효과적이며 시계열 분해 능력이 뛰어나기에 본 연구에서는 데이터를 처리하기 위해 이를 채택했다. CEEMDAN 알고리즘의 구체적인 분해 과정은 다음과 같다.

• 1단계: 원본 신호 Q(n)을 정의하고 가우시안 백색 잡음(white noise) ω(n)을 추가한다. 원본 신호는 N번 분해된 후, IMF^(i)₁(n)의 평균값을 계산하여 첫 번째 모드 구성 요소 IMF₁(n)을 얻는다(식 (1)).

$\[ IM{F}_1\left(n\right)=\frac{1}{N}\sum _{i=1}^N IM{F}^{(i{)}_1}\left(n\right) \]$

(1)

• 2단계: 첫 번째 분해에서 얻은 잔차(residual) r₁(n)을 계산한다(식 (2)).

$\[ r_1\left(n\right)=Q\left(n\right)-IM{F}_1\left(n\right) \]$

(2)

• 3단계: EMD에 의해 처리된 k번째 모드 구성 요소를 E_k로 정의한다. 분해된 신호 $$ r_1\left(n\right)+{ϵ}_1{E}_1\left({\omega }^{\left(i\right)}\left(n\right)\right)$$를 사용하여 두 번째 모드 구성 요소 IMF₂(n)을 얻는다(식 (3)).

$\[ IM{F}_2\left(n\right)=\frac{1}{N}\sum _{i=1}^N E_1\left(r_1\left(n\right)+{ϵ}_1{E}_1\left({\omega }^{\left(i\right)}\left(n\right)\right)\right) \]$

(3)

• 4단계: $$ k=\mathrm{1,2},3,\dots ,n$$에 대해 각 k번째 잔차를 계산한다(식 (4)).

$\[ r_k\left(n\right)=r_{k-1}\left(n\right)-IM{F}_k\left(n\right) \]$

(4)

• 5단계: 그 후, 데이터를 지속적으로 분해하여 k+1번째 모드 구성 요소의 값을 얻는다(식 (5)).

$\[ IM{F}_{k+1}\left(n\right)=\frac{1}{N}\sum _{i=1}^N E_1\left(r_k\left(n\right)+{ϵ}_k{E}_k\left({\omega }^{\left(i\right)}\left(n\right)\right)\right) \]$

(5)

• 6단계: 4단계와 5단계를 반복하여 신호가 더 이상 분해되지 않도록 한다. 이때 원본 신호는 L개의 모드 구성 요소와 잔차의 합으로 나타낸다(식 (6)).

$\[ Q\left(n\right)=\sum _{k=1}^L IM{F}_k+R\left(n\right) \]$

(6)

CEEMDAN을 통해 얻은 IMF는 모드 혼합을 최소화해 CRP와 Trend의 특성을 잘 반영하며(Torres, 2011) <Figure 2>의 Step 1의 배터리 데이터의 Capacity에 CEEMDAN을 적용하여 IMF로 분해한 부분에 해당한다. 추출된 결과는 Transformer 기반에 Multi-encoder 구조를 적용한 Multi-encoder Transformer를 사용하여 각 IMF를 독립적으로 학습할 수 있도록 하였다.

바닐라 Transformer의 구조는 <Figure 3>과 같이 인코더와 디코더로 이루어져 있으며 인코더는 Multi-Head Self-Attention과 Feed-Forward로 구성된다. 입력 데이터의 위치 정보를 효과적으로 활용하기 위해 Positional Encoding을 적용한다. Positional Encoding을 적용한 후에 Multi-Head Attention을 통해 다양한 위치의 정보를 동시에 고려하며 중요한 특성을 추출한다. 이 과정에서는 Query, Key, Value가 상호작용하여 입력 데이터 내의 연관성을 효과적으로 파악한다. 이후 Feed-Forward 네트워크를 통해 추출된 정보를 정제하여 다음 단계로 전달된다. 마지막으로 Fully Connected Layer를 거쳐 학습된 표현을 압축하여 디코더로 전달하여 인코더의 출력을 입력으로 받아 최종 예측값을 생성한다. 디코더 내부에서는 Masked Multi-Head Attention을 적용하여 현재 시점 이후의 정보가 참조되지 않도록 함으로써 순차적인 정보 흐름을 유지한다. 이어서 인코더에서 전달받은 Encoder-Decoder Attention 층이 적용되어 인코더의 출력과 결합된 정보를 바탕으로 보다 정교한 특징(feature) 정보를 도출한다. 그 다음, Feed-Forward 네트워크를 통해 정보를 추가적으로 정제하고 최종적으로 Fully Connected Layer를 거쳐 예측 결과를 출력한다(Vaswani et al., 2017).

Figure 3.

Structure of Vanilla Transformer

본 연구는 다수의 병렬 바닐라 Transformer 인코더와 단일 디코더로 이루어진 Multi-encoder Transformer 구조를 제안한다. Multi-encoder 구조는 각 인코더가 독립적인 학습을 수행한 후 결과를 병합하는 방법이며 자연어 분석에서 정밀한 예측을 가능하게 한 바가 있다(Zhou et al., 2020; Lohrenz and Fingscheidt, 2021). 서로 다른 주파수 성분에 대한 개별적인 예측 결과를 내는 구조는 모델의 계산 부담을 줄이므로(Yanan et al., 2020), 각 인코더에서 IMF를 독립적으로 예측하는 Multi-encoder 구조는 성능 향상을 기대할 수 있다. 제안 모델은 각 인코더에서 출력된 결과를 concatenate 하여 병합한 데이터를 하나의 디코더에 입력한다. 이는 <Figure 2>의 Step 2에 해당한다. 최종적으로는 <Figure 2>의 Step 3와 같이 Global Target인 Capacity를 출력한다. 이때 손실 함수 L_decoder를 Multi-encoder Transformer의 인코더 ecoder_i에 역전파하여 파라미터를 경사 하강법으로 학습하는 접근 방식을 적용하며 이는 식 (7)와 식 (8)과 같다.

$\[ L_{decoder }=\frac{1}{N}\sum _{t=1}^N {\left(y_t-\widehat{y_t}\right)}^2 \]$

(7)

$\[ {\theta }^{k+1_{{encoder }_i}}={\theta }^{k_{{encoder }_i}}-\eta \frac{\delta L_{decoder }}{\delta {\theta }^{k_{{encoder }_i}}} \]$

(8)

디코더 손실 함수는 제안 모델이 디코더의 Global Target에 집중하도록 하여 각 인코더들이 독립적으로 Local Target에 집중하여 발생할 수 있는 과적합 문제를 방지함으로써 모델의 예측 성능을 강화한다. 제시된 CEEMDAN과 Multi-encoder Transformer을 혼합한 방법론은 CRP와 Trend를 효과적으로 분리하고 예측함으로써 각 인코더의 Local Target의 노이즈를 감소시킨 Attention Weight를 제공해 해석 시 모니터링 시스템에 기여를 가능케 한다.

3.2 시계열-센서 학습을 위한 Dual Multi-Head Attention 구조

제3.2절에서는 Dual Multi-Head Attention 메커니즘을 통해 다변량 센서를 학습하는 방법에 대해 설명한다. 바닐라 Transformer 모델은 주로 시계열 데이터를 분석하는 데 초점이 맞춰져 있다. 그러나 실제 BMS에서는 시계열뿐만 아니라 다양한 센서 데이터를 함께 고려해서 진단해야 배터리의 유지보수와 안정성을 효과적으로 지원할 수 있다. 이를 위해 본 연구에서는 제안 모델이 시계열 데이터와 센서 데이터 간 상호작용을 모두 학습하고 각 센서의 중요도를 동적으로 조정할 수 있도록 Multi-encoder Transformer의 인코더에 두 개의 Multi-Head Attention 모듈이 병렬로 구성된 Dual Multi-Head Attention 구조를 적용하였다.

Dual Multi-Head Attention 구조는 Feature Multi-Head Attention과 Time Multi-Head Attention의 두 가지 핵심 모듈로 구성되어 있다. Time Multi-Head Attention은 데이터 d를 입력하여 시계열을 기준으로 발생하는 패턴과 상관성을 학습하여 시간적 특성을 포착한 결과 t을 도출한다. Feature Multi-Head Attention 모듈은 특징(feature)을 기준으로 분석하여 각 특징(feature)의 상대적인 중요도를 학습하며 Bai et al.(2023)과 같이 인풋 데이터 d를 전치(transpose)함으로써 센서 간의 상호작용을 반영한 결과 f을 얻을 수 있다. 두 Attention 모듈은 병렬적으로 작동하며 각 모듈의 결과를 원소 간 곱(element-wise product)으로 결합한 뒤 잔차 연결(residual connection)을 통해 시간적 연속성과 센서 간 연관성을 특징 융합(feature fusion)한 학습 결과 $$ d^{(i+1)}=t^{(i+1)}\odot f^{(i+1)}+d^{\left(i\right)}$$를 도출하여 최종적으로 데이터의 복합적인 특성을 모델링한다(Nam et al., 2017). 상기의 과정은 <Figure 4>에서 보이는 것과 같다. 본 구조는 배터리 데이터 분석에서 다중 센서 데이터와 시계열을 고려함으로써 배터리의 동작 상태를 더욱 세부적으로 분석할 수 있는 가능성을 열어줘 배터리 시스템의 효율성과 안정성을 향상하는 데 기여할 수 있다.

Figure 4.

Structure of Dual Multi-Head Attention

3.3 Multi-encoder Transformer를 통한 배터리 SOH 예측

본 절에서는 전체 과정을 Pseudo-Code를 통해 서술한다. <Algorithm 1>은 Multi-encoder Transformer 기반 배터리 SOH 예측을 수행하는 절차를 나타낸다. 먼저 배터리 데이터셋 D를 입력받아 각 배터리 데이터 d에 대해 배터리 용량 데이터 C와 용량 데이터를 제외한 센서 데이터 $$ d\setminus \left\{C\right\}$$로 분리한다. 이후 용량 데이터 C에 CEEMDAN을 적용하여 i개의 IMF로 분해한다. 이를 $$ d\setminus \left\{C\right\}$$와 함께 결합하여 최종 입력 데이터 D를 구성한다. 이후 Multi-encoder Transformer를 이용하여 예측을 수행한다.

먼저 각 IMF 성분별로 인코더를 병렬로 학습시킨다. 인코더는 입력 데이터 X에 대해 Positional Encoding을 적용하고 Dual Multi-Head Attention을 수행한다. 출력된 Attention Value는 Feed-Forward Network를 통해 Feature Vector IMF^i_pred를 출력한다. 그런 다음 모든 출력을 concatenate 하여 하나의 Feature Vector IMFs_pred을 생성하며 이 정보를 최종적으로 디코더로 전달한다. 디코더는 인코더와 유사한 방식으로 동작하며 Positional Encoding을 적용한 후, Masked Multi-Head Attention과 Feed-Forward Network를 거쳐 최종 예측값을 반환한다. 디코더는 입력된 IMFs_pred 를 기반으로 배터리의 Global Target인 용량 $$ \widehat{C}$$를 예측한다. 이때 손실 함수는 MSE(Mean Squared Error)로 설정되어 C와 $$ \widehat{C}$$의 차이를 최소화하도록 학습이 진행된다. 학습 과정에서는 디코더 손실을 각 인코더로 역전파하여 파라미터 θ를 업데이트하고 최종적으로 예측된 배터리 용량 $$ \widehat{C}$$를 반환한다.

4. 실 험

4.1 데이터셋

본 연구에서는 배터리 상태 예측을 위한 실험 데이터로 NASA와 CALCE에서 제공하는 Li-ion Battery PHM 데이터셋(Saha and Goebel, 2007; Pecht, 2013)을 활용하였으며 배터리의 사양은 <Table 2>와 같다. NASA 데이터셋은 다양한 온도 조건에서의 충전, 방전 및 임피던스 측정을 포함하는 세 개의 개별 데이터셋(B0005, B0006, B0007)으로 구성되어 있다. 총 168개의 Cycle에 대한 샘플이 <Table 3>과 같이 8개의 컬럼을 포함하고 있어 배터리의 성능 저하 및 특성을 분석하는 데 유용한 정보를 제공이 가능하다. CALCE 데이터셋도 세 개의 개별 데이터셋(CS2_35, CS2_36, CS2_37)으로 구성되어 있으며 각 데이터 별로 882, 936, 972개의 Cycle에 대한 샘플로 구성되어있으며 <Table 4>의 8개의 컬럼을 사용하여 실험을 진행하였다.

Table 2.

Specification of Li-ion Batteries

Table 3.

Description of Variables in the NASA Dataset

Table 4.

Description of Variables in CALCE Dataset

본 연구에서는 NASA와 CALCE 배터리 데이터셋을 기반으로 배터리의 SOH를 예측하는 모델을 구축하는 것을 목표로 하였다. 모델의 배터리의 수명 예측 평가를 위해 배터리의 SOH가 약 70%가 되는 지점으로 NASA는 B0005와 B0006은 1.4Ah, B0007은 1.5Ah에 도달하는 시점을, CALCE는 0.77Ah에 도달하는 시점을 배터리의 EOL로 정의하여 실험을 진행하였다.

본 연구에서 사용하는 배터리 데이터의 특징으로 <Table 5>와 같이 각 Cycle 별로 수집된 데이터 포인트의 개수가 다르다. Padding을 사용하거나(Lee et al., 2023) Downsampling을 진행한 후, VAE(Variational Autoencoder)의 Latent Vector를 사용하는 방법론을 통해 해결한 연구가 존재하나(Modekwe et al., 2024), 이러한 접근법들은 데이터의 손실을 야기하거나 예측 모델에 입력되는 데이터셋이 다른 레이어에서 투영(projection)되었기 때문에 Attention Weight의 해석이 어렵다는 한계가 존재한다. 따라서, onboard 상태에서 데이터를 처리한다는 가정을 기반으로 각 Cycle 별로 데이터의 형태를 일정하게 함으로써 학습 가능하도록 만들기 위해 각 Cycle 별로 Capacity와 Cycle를 제외한 나머지 6개의 컬럼을 활용하여 통계를 추출하는 방법을 적용하였다. 이를 위해 최소값(min), 최대값(max), 평균(mean), 표준편차(standard deviation)와 같은 통계적 지표를 계산하여 각 Cycle 별로 고정된 형태의 특징 벡터(feature vector)를 구성함으로써 모델이 배터리 상태를 보다 효과적으로 학습할 수 있도록 전처리하였다.

Table 5.

Length of Battery Cycle

Target 컬럼인 Capacity는 CEEMDAN을 통해 2개의 IMF와 1개의 잔차로 분해했으며 그 결과는 <Figure 5>와 같다. 각 데이터별로 위에서부터 순서대로 원본 데이터 IMF1, IMF2, 잔차이며 CRP에 대한 정보를 포함하고 있는 IMF1는 비선형성이 큰 반면, Trend에 대한 정보를 포함하고 있는 잔차는 비선형성이 제거되어 완만한 우하향 곡선을 나타내는 것을 확인 가능하다.

Figure 5.

Mode Decomposition Results of The Capacity

실험은 세 개의 개별 데이터셋 중 2개의 데이터셋을 train 데이터셋으로 나머지 1개의 데이터셋을 test 데이터셋으로 학습하는 3-fold cross validation 방식을 적용하였다. 또한, 식 (9)와 같이 현재 시점 t에서의 SOH를 과거 w길이의 SOH 데이터 집합을 입력으로 하여 모델 M을 통해 예측하는 슬라이딩 윈도우 방식으로 학습과 평가를 진행하였으며 Cycle 50부터 예측을 진행했다.

$\[ \begin{array}{c}\left[SO{H}_t^p,SO{H}_{t-1}^p,\dots ,SO{H}_{t-w-1}^p\right]\\ =M\left(\left[SO{H}_{t-1}^r,\dots ,SO{H}_{t-w-1}^r,SO{H}_{t-w}^r\right]\right)\end{array} \]$

(9)

여기서 SOH는 SOH 데이터, M은 예측 모델, t는 현재 시점이며, w는 윈도우의 크기이다.

NASA 데이터 모델의 파라미터는 embedding_dimension=26, number_of_heads=13, dropout=0.1, number_of_feed_forward=512로, CALCE 데이터 모델의 파라미터는 embedding_dimension = 30, number_of_heads=10, dropout=0.1, number_of_feed_forward=512으로 설정하였다. NASA 데이터셋과 CALCE 데이터셋은 동일하게 Adam Optimizer를 사용하여 첫 번째 학습 데이터셋은 learning_rate=0.001, 두 번째 학습 데이터셋은 learning_rate=0.0001로 1000 Epochs 학습하였다.

4.2 실험 결과

<Table 6>와 <Figure 6>은 훈련 및 검증을 통해 선정한 모델의 실험 결과를 보여준다. 비교 모델 군은 바닐라 Transformer, LSTM, 1dCNN을 사용하였으며 데이터셋은 CEEMDAN을 적용한 IMF를 concatenate 한 특징 셋(feature set)과 CEEMDAN을 적용하지 않은 특징 셋(feature set)을 사용하여 실험을 진행하였다. 파라미터는 제안방법과 동일하게 Adam Optimizer를 사용하여 첫 번째 학습 데이터셋은 learning_rate=0.001, 두 번째 학습 데이터셋은 learning_rate=0.0001로 1000 Epochs 학습하였다. 평가지표는 Wang et al.(2024)와 Shi et al.(2023)을 참고하여 RMSE(Root Mean Squared Error), MAE(Mean Absolute Error), R-squared 그리고 예측된 RUL과 실제 RUL의 차이인 Error of RUL으로 평가가 진행되었으며 각 평가수단의 계산방법은 다음과 같다.

$\[ RMSE=\sqrt{\frac{1}{n}\sum _{i=1}^n {\left(y_i-\widehat{y_i}\right)}^2} \]$

(10)

$\[ MAE=\frac{1}{n}\sum _{i=1}^n \left|y_i-\widehat{y_i}\right| \]$

(11)

$\[ R^2=1-\frac{\sum _{i=1}^n {\left(y_i-\widehat{y_i}\right)}^2}{\sum _{i=1}^n {\left(y_i-\stackrel{-}{y}\right)}^2} \]$

(12)

$\[ Error of RUL=\left|RU{L}_T-RU{L}_P\right| \]$

(13)

Table 6.

Results of SOH Prediction

Figure 6.

Comparison of SOH Prediction Curves

비교 결과 본 제안모델이 좋은 성능을 보이는 것을 확인할 수 있다. 본 제안방법은 각 인코더의 Local Target이 다르기 때문에 해당 인코더의 Attention Weight를 시각화를 했을 때 노이즈가 제거된 결과에 대한 해석이 가능하다는 장점을 제공한다. 가중치 정보는 단순히 예측 성능을 향상하는 것뿐만 아니라 유지보수 담당자가 실시간으로 더 중요한 센서 및 시계열에 집중할 수 있도록 하여 BMS를 개선하는데 유용하다. <Figure 7>의 (a)와 (b)는 테스트 데이터가 B0005이고 Cycle 168을 예측할 때를, (c)와 (d)는 테스트 데이터가 CS2_35이고 Cycle 882를 예측할 때 IMF1을 Local Target으로 한 인코더에서

Figure 7.

Attention Weight Heatmap of Encoder 1

시계열과 Feature에 대한 Attention Weight를 시각화한 결과이다. 이를 통해 B0005의 Cycle 168을 예측할 때, 4, 33, 46 Cycle 이전의 시계열과 특징(feature) ‘Voltage_measured_min’, ‘Voltage_measured_max’, ‘Current_measured_mean’을 CS2_35의 Cycle 882를 예측할 때는 18, 19, 35 Cycle 이전의 시계열과 ‘voltage_max’, ‘voltage_min’, ‘charge_capacity’가 결과 예측에 중요한 역할을 하는 것을 확인할 수 있었다. 이는 주요 특징(feature)들이 SOH와 밀접하게 연관되어 있음을 시사한다. 관련 특징(feature)들은 내부 저항 증가나 셀 불균형 등 SOH의 열화나 CRP에 관련된 징후를 반영하며 이를 감지해 BMS가 전압 범위나 충방전 조건을 제어할 수 있다. 예를 들어 평균 전류(current)는 평소에 과도한 부하로, 최대 전압(voltage)은 비정상적인 충전으로 인한 CRP 발생 원인으로 유추할 수 있으며 BMS는 이를 기반으로 능동적 제어 전략을 적용할 수 있다.

5. 결론 및 향후연구

본 연구에서는 CEEMDAN과 Multi-encoder Transformer를 이용하여 CRP에 강건한 배터리 SOH를 예측하는 방법을 제안하였다. CEEMDAN을 이용하여 배터리 데이터에서 모드를 추출하고 여러 인코더를 사용하는 구조를 도입하여 각 모드의 특성을 학습하였으며 이를 통해 각 인코더별로 각 모드의 특성에 맞는 학습을 수행하여 예측 성능 향상을 증명하였다.

특히, 고주파 모드에서 표현되는 CRP를 Local Target으로 설정하고 Dual Attention 구조를 적용하여 해당 모드에 특화된 인코더의 Attention Weight를 해석할 때 발생할 수 있는 노이즈를 최소화함과 동시에 시계열과 특성의 상관관계를 동시에 고려한 해석의 가능성을 제시해 CRP와 같은 이상값에 대한 통찰력을 제공하고 배터리 데이터 분석에서 중요한 진단 정보를 도출하는 데 도움이 될 가능성을 제시하였다.

그러나 본 연구에서 제안하는 방법론은 CEEMDAN을 통해 추출된 모드의 개수에 따라 사용되는 인코더의 개수가 결정된다는 구조적 특징을 가지고 있으며 이는 인코더 단계에서 각 인코더의 입력 시퀀스 길이가 n, 임베딩 차원은 d, 모드의 개수를 L이라 하였을 때 바닐라 트랜스포머의 복잡도가 O(n²CDOTd)인 반면, 제안 모델은 O(Lㆍn²CDOTd)으로 모드 분해 횟수가 증가할수록 모델의 복잡성도 증가하여 계산 비용이 급격히 증가하는 한계가 존재한다. 따라서 복잡성을 완화하고 효율성을 높이기 위해서는 파라미터 최적화 방법론을 적용해 최적의 모드 개수를 결정하는 방법이 제안될 수 있다.

본 논문에서 제안한 프레임워크는 CRP에 강건한 배터리 SOH 예측의 접근 방식을 제시하였으며 배터리 성능 예측 및 상태 진단의 정확도를 높여 배터리 관리 시스템의 효율성을 높이고 다른 분야의 예지 보전 및 수요예측에서도 성과를 거둘 수 있을 것으로 기대된다.

Acknowledgments

이 논문은 2024년도 정부(산업통상자원부)의 재원으로 한국산업기술진흥원의 지원을 받아 수행된 연구임(RS-2024-00409092, 2024년 산업혁신인재성장지원사업).

References

• Abraham, K. M. (2015), Prospects and limits of energy storage in batteries, The Journal of Physical Chemistry Letters, 6(5), 830-844. [https://doi.org/10.1021/jz5026273]
• Alsuwian, T., Ansari, S., Zainuri, M. A. A. M., Ayob, A., Hussain, A., Lipu, M. H., Alhawari, A. R. H., Almawgani, A. H. M., Almasabi, S., and Hindi, A. T. (2024), A review of expert hybrid and co-estimation techniques for SOH and RUL estimation in battery management system with electric vehicle application, Expert Systems with Applications, 246, 123123. [https://doi.org/10.1016/j.eswa.2023.123123]
• Bai, J., Chen, J., Wang, M., Ayub, M. S., and Yan, Q. (2023), SSDPT: Self-supervised dual-path transformer for anomalous sound detection, Digital Signal Processing, 135, 103939. [https://doi.org/10.1016/j.dsp.2023.103939]
• Che, Y., Deng, Z., Li, P., Tang, X., Khosravinia, K., Lin, X., and Hu, X. (2022), State of health prognostics for series battery packs: A universal deep learning method, Energy, 238, 121857. [https://doi.org/10.1016/j.energy.2021.121857]
• Chen, D., Hong, W., and Zhou, X. (2022), Transformer network for remaining useful life prediction of lithium-ion batteries, IEEE Access, 10, 19621-19628. [https://doi.org/10.1109/ACCESS.2022.3151975]
• Choi, Y. and Jeong, H. (2023), Trends in lithium secondary battery technology, Electronics and Telecommunication Trends, 38(5), 90-99.
• Gao, K., Sun, J., Huang, Z., and Liu, C. (2024), Capacity prediction of lithium-ion batteries based on ensemble empirical mode decomposition and hybrid machine learning, Ionics, 1-18. [https://doi.org/10.1007/s11581-024-05768-y]
• Gao, X., Liu, X., He, R., Wang, M., Xie, W., Brandon, N. P., Wu, B., Ling, H., and Yang, S. (2021), Designed high-performance lithium-ion battery electrodes using a novel hybrid model-data driven approach, Energy Storage Materials, 36, 435-458. [https://doi.org/10.1016/j.ensm.2021.01.007]
• Gomez, W., Wang, F. K., and Chou, J. H. (2024), Li-ion battery capacity prediction using improved temporal fusion transformer model, Energy, 296, 131114. [https://doi.org/10.1016/j.energy.2024.131114]
• Guo, X., Wang, K., Yao, S., Fu, G., and Ning, Y. (2023), RUL prediction of lithium ion battery based on CEEMDAN-CNN BiLSTM model, Energy Reports, 9, 1299-1306. [https://doi.org/10.1016/j.egyr.2023.05.121]
• Hariharan, K. S. and Kumar, V. S. (2013), A nonlinear equivalent circuit model for lithium ion cells, Journal of Power Sources, 222, 210-217. [https://doi.org/10.1016/j.jpowsour.2012.08.090]
• Hong, G., Kim, D., and Seo, D. (2023), Technology analysis on predicting the remaining useful life of lithium-ion batteries based on deep learning models, Conference Proceedings of The Korean Institute of Communications and Information Sciences, 230-231.
• Iftikhar, M., Shoaib, M., Altaf, A., Iqbal, F., Villar, S. G., Dzul López, L. A., and Ashraf, I. (2024), A deep learning approach to optimize remaining useful life prediction for Li-ion batteries, Scientific Reports, 14(1), 25838. [https://doi.org/10.1038/s41598-024-77427-1]
• Knehr, K. W., Kubal, J. J., Nelson, P. A., and Ahmed, S. (2022), Battery performance and cost modeling for electric-drive vehicles (a manual for BatPaC v5. 0) (No. ANL/CSE-22/1), Argonne National Lab.(ANL), Argonne, IL (United States). [https://doi.org/10.2172/1877590]
• Lee, J., Heo, S., and Lee, J. H. (2023), Enhancing data efficiency and feature identification for lithium-ion battery lifespan prediction by deciphering interpretation of temporal patterns and cyclic variability using attention-based models, arXiv preprint arXiv:2311.10792, .
• Liu, J. and Chen, Z. (2019), Remaining useful life prediction of lithium-ion batteries based on health indicator and Gaussian process regression model, IEEE Access, 7, 39474-39484. [https://doi.org/10.1109/ACCESS.2019.2905740]
• Lohrenz, T., Li, Z., and Fingscheidt, T. (2021), Multi-encoder learning and stream fusion for transformer-based end-to-end automatic speech recognition, arXiv preprint arXiv:2104.00120, . [https://doi.org/10.21437/Interspeech.2021-555]
• Lv, K., Ma, Z., Bao, C., and Liu, G. (2024), Indirect prediction of lithium-ion battery RUL based on CEEMDAN and CNN-BiGRU, Energies, 17(7), 1704. [https://doi.org/10.3390/en17071704]
• Mishra, S., Swain, S. C., and Samantaray, R. K. (2021, October), A Review on Battery Management system and its Application in Electric vehicle, In 2021 International Conference on Advances in Computing and Communications (ICACC), IEEE, 1-6. [https://doi.org/10.1109/ICACC-202152719.2021.9708114]
• Modekwe, G., Al-Wahaibi, S., and Lu, Q. (2024), Transformer-based Capacity Prediction for Lithium-ion Batteries with Data Augmentation, IFAC-PapersOnLine, 58(28), 408-413. [https://doi.org/10.1016/j.ifacol.2025.01.080]
• Nair, P., Vakharia, V., Borade, H., Shah, M., and Wankhede, V. (2023), Predicting li-ion battery remaining useful life: An XDFM-driven approach with explainable AI, Energies, 16(15), 5725. [https://doi.org/10.3390/en16155725]
• Nam, H., Ha, J. W., and Kim, J. (2017), Dual attention networks for multimodal reasoning and matching, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 299-307. [https://doi.org/10.1109/CVPR.2017.232]
• Patil, M. A., Tagade, P., Hariharan, K. S., Kolake, S. M., Song, T., Yeo, T., and Doo, S. (2015), A novel multistage Support Vector Machine based approach for Li ion battery remaining useful life estimation, Applied Energy, 159, 285-297. [https://doi.org/10.1016/j.apenergy.2015.08.119]
• Pecht, M. (2013), “Battery data set”, Center for advanced life cycle engineeringcalce, University of Maryland.
• Saha, B. and Goebel, K. (2007), “Battery Data Set”, NASA Prognostics Data Repository, NASA Ames Research Center, Moffett Field, CA
• Sangiri, J. B., Kulshreshtha, T., Ghosh, S., Maiti, S., and Chakraborty, C. (2022), A novel methodology to estimate the state-of-health and remaining-useful-life of a Li-ion battery using discrete Fourier transformation, Journal of Energy Storage, 46, 103849. [https://doi.org/10.1016/j.est.2021.103849]
• Shi, Y., Li, T., Wang, L., Lu, H., Hu, Y., He, B., and Zhai, X. (2023), A method for predicting the life of lithium-ion batteries based on successive variational mode decomposition and optimized long short-term memory, Energies, 16(16), 5952. [https://doi.org/10.3390/en16165952]
• Torres, M. E., Colominas, M. A., Schlotthauer, G., and Flandrin, P. (2011, May), A complete ensemble empirical mode decomposition with adaptive noise, In 2011 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), IEEE, 4144-4147. [https://doi.org/10.1109/ICASSP.2011.5947265]
• Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017), Attention is all you need, Advances in Neural Information Processing Systems, 30.
• Vilsen, S. B. and Stroe, D. I. (2021), Battery state-of-health modelling by multiple linear regression, Journal of Cleaner Production, 290, 125700. [https://doi.org/10.1016/j.jclepro.2020.125700]
• Wang, D., Kong, J. Z., Zhao, Y., and Tsui, K. L. (2019), Piecewise model based intelligent prognostics for state of health prediction of rechargeable batteries with capacity regeneration phenomena, Measurement, 147, 106836. [https://doi.org/10.1016/j.measurement.2019.07.064]
• Wang, K., Gao, Q., Pang, X., Li, H., and Liu, W. (2024), Estimating the Health State of Lithium-Ion Batteries Using an Adaptive Gated Sequence Network and Hierarchical Feature Construction, Batteries, 10(8), 278. [https://doi.org/10.3390/batteries10080278]
• Wiegreffe, S. and Pinter, Y. (2019), Attention is not not explanation, arXiv preprint arXiv:1908.04626, . [https://doi.org/10.18653/v1/D19-1002]
• Xin, Z., Zhang, X., Gong, Q., Ma, F., and Wang, Y. (2024), Remaining life prediction of li-ion batteries considering sufficiency of historical data, Journal of The Electrochemical Society, 171(2), 020511. [https://doi.org/10.1149/1945-7111/ad24c1]
• Yanan, G., Xiaoqun, C., Bainian, L., and Kecheng, P. (2020, August), Chaotic time series prediction using LSTM with CEEMDAN, In Journal of Physics: Conference Series, IOP Publishing, 1617(1), 012094. [https://doi.org/10.1088/1742-6596/1617/1/012094]
• Zhou, X., Yılmaz, E., Long, Y., Li, Y., and Li, H. (2020), Multi-encoder-decoder transformer for code-switching speech recognition, arXiv preprint arXiv:2006.10414, . [https://doi.org/10.21437/Interspeech.2020-2488]