
무기체계 상태기반정비를 위한 이미지 인코딩 기반 시계열 데이터 이상탐지
© 2025 KIIE
Abstract
The radar detection weapon system is a surveillance and reconnaissance system designed to precisely detect long-range targets and determine their position and status. A critical component of the radar detection weapon system is the wave guide, which serves as a path for high-frequency signals. Maintaining appropriate temperature and humidity levels is essential to ensure seamless signal transmission, and this is regulated using an air compressor. However, if compressed air leakage occurs, temperature and humidity may rise, leading to performance degradation and potential component failure, necessitating early fault detection. The sensor data collected form actual operations exhibits high-dimensional and nonlinear characteristics, with abnormal patterns appearing irregularly, making numerical approaches challenging. Furthermore, such methods face limitations in effectively learning overall patterns and dependencies over time. In this paper, we propose an anomaly detection model that combines time-domain feature with image encoding to effectively capture nonlinear signal patterns. Experimental result using real-world operational data demonstrate that the proposed method outperforms existing approaches. The proposed approach is expected to be useful for applying Condition-Based Maintenance(CBM) to various equipment that utilizes time-series data.
Keywords:
Condition Based Maintenance, Time-domain Feature, Image Encoding, Anomaly Detection1. 서 론
무기체계가 복잡화되고 다기능화에 따라 군에서는 무기체계 운용 및 정비 난이도가 높아지고 있다(Kim et al., 2022). 반면, 군 복무 기간의 단축으로 인해 인력의 전문성이 낮아지면서 무기체계의 가용성에 대한 문제가 커지고 있다. 최근 이러한 문제를 해결하기 위해 무기체계의 건전성을 지속적으로 모니터링하고, 이상징후를 조기에 진단하여 필요한 시점에 정비를 수행하는 고장 예지 및 건전성 관리(Prognostics and Health Management, PHM) 기술이 적용되고 있다(Shin et al., 2022).
기존 무기체계는 <Figure 1>에서 장비의 고장이 발생 후 정비를 수행하는 사후정비(Corrective Maintenance, CM)와 장비의 고장 유무와 관계없이 일정한 계획에 따라 정비를 수행하는 시간 정비(Time Based Maintenace, TBM)가 주로 사용되었다. 그러나 24시간 연속으로 가동되는 전파탐지 시스템에서 이러한 방식은 고장 발생 위험, 불필요한 정비와 부품 교체로 인한 높은 비용과 가용도 저하를 초래한다(Moon et al., 2023). 이를 해결하기 위해 장비의 상태 변화를 모니터링하여 잠재적인 이상을 조기에 탐지하고, 필요한 시점에 필요한 정비를 수행하는 상태기반정비(Condition Based Maintenace, CBM)가 필요하다.
무기체계의 센서 데이터는 시간의 흐름에 따라 연속적으로 수집되는 시계열 데이터로, 시간적 상관성과 순차적인 패턴을 포함한다(Robert et al., 2000). 하지만 전파탐지 무기체계 데이터는 기상 조건, 전파간섭, 목표물의 움직임 등 다양한 외부요인으로 인해 데이터 길이가 가변적이고, 이상 신호가 서로 다른 규모로 나타날 수 있다. 이러한 특성은 모든 이상 패턴을 사전에 정의하기에 어려움이 있으며, 정상 패턴뿐만 아니라 이상 패턴도 왜곡될 수 있다. 따라서 데이터를 명시적으로 표현하고 시간적 종속성을 반영하여 알고리즘 학습 효율성을 높이는 방법이 필요하다.
본 논문에서 무기체계에서 전파탐지시스템의 핵심 장비인 전파전송관과 관련된 공기압축기 및 관련 구동 부품들의 조기 이상 진단 방법을 제안한다. 이를 위해 신호의 다양한 시간 영역 특성을 추출하고, 이를 기반으로 이미지로 변환하여 이상탐지를 수행한다. 본 논문의 구성은 다음과 같다. 제2장에서는 본 연구의 적용 대상에 대한 설명과 무기체계 기반 압축공기 이상 진단 연구, 시계열 데이터를 이미지로 변환하는 관련 연구를 제시한다. 제3장에서는 수집된 센서 데이터에 대한 시간 영역 특성 추출 방법론과 이를 기반으로 이미지로 변환하는 이미지 인코딩을 활용한 이상탐지 방법론을 제시한다. 제4장에서는 제안된 방법론을 적용한 실험 결과 및 해석을 서술한다. 제5장에서는 결론 및 향후 연구 방향에 대해 제시한다.
2. 관련 연구
2.1 연구 적용 대상 개요
본 연구의 적용 대상은 전파탐지시스템 내부의 공기압축기이다. 전파탐지시스템은 전파를 방사하여 표적에 반사되는 신호를 분석해 표적을 식별하고 위치를 획득하는 감시·정찰 체계이다. 원거리에서 표적을 정밀하게 측정하기 위해 전파탐지시스템은 높은 주파수 신호와 높은 전력이 필요하다. 전파전송관은 신호의 전송손실이 적고 높은 전력에서 사용이 가능하여 전파탐지시스템의 신호 송·수신부에서 주로 이용한다. 전파전송관은 도체로 만든 속이 빈 도관으로, 내부에서 반복적인 전파의 반사를 일으켜 RF(Radio Frequency) 신호를 전송한다. 내부에서 전파를 반사하여 신호를 전송하기 때문에 전파전송관의 내부에서 전파의 진행을 방해하는 수분이나 이물질이 없어야 한다. 따라서 전파탐지시스템에서는 전파전송관 내부의 이물질 유입 방지 및 습도조절을 위해 공기압축기를 보유하고 있다. 하지만 전파전송관이 일정한 온도와 습도가 유지되지 않는 외부에 노출되어 있거나, 공기압축기가 제대로 작동하지 않을 경우, 외부 환경 조건의 변화로 인해 신호 전송에 문제가 발생할 뿐만 아니라, 반사되는 전파로 인해 송·수신부가 손상될 위험이 있다(Kim et al., 2022). 특히 공기압축기에서 압축공기 누출이 발생하면 건조 효율이 저하되고, 이로 인해 전파전송솬이 열화되며, 관련된 구동 부품들에 큰 영향을 미쳐 연쇄적인 고정을 초래할 수 있다(Park et al., 2024). 따라서 전파탐지시스템에서 압축공기 누출은 심각한 수준에 도달하기 전까지 이상 감지가 어려운 특성을 가지며, 전파탐지시스템의 효율 저하를 방지하기 위해 이를 조기에 이상 진단 할 수 있는 모델이 필요하다.
2.2 무기체계 기반 압축공기 이상 진단 연구
현재 무기체계 기반의 공기압축기의 압축공기 이상 진단을 위해 기존 연구에서는 정상 데이터를 기준으로 새로운 데이터를 분석하여 이상 여부를 파악하는 방법을 사용하고 있다. 마할라노비스 거리(Mahalanobis Distance)기반 방법으로 활용하여 여러 변수 간의 상관관계를 고려하여 이상 데이터를 탐지한다. 하지만 정상 데이터를 장비의 초기 운행 기간에 한정하여 설정하는 경우, 시스템의 장기적인 정상 상태 변화나 점진적인 성능 저하를 반영하지 못할 수 있다. 또한 마할라노비스 거리는 변수 간의 선형적 상관관계만을 고려하므로, 변수 간의 비선형관계를 파악하는데 한계가 있다(Kang and Park, 2023).
또 다른 기존 연구에서 공기압축기의 기능적 고장을 고려하여 모니터링 대상과 적합한 정비 방안을 도출하기 위해 DFMEA(Designs Failure Mode and Effects Analysis)를 활용한다. 공기 압축기의 고장이 발생하기 전에 이를 감지할 수 있는 적합한 센서를 추론하고, 고장의 전파 과정을 분석하여 진단 규칙을 수립한다. 이러한 과정은 공기압축기의 고장 메커니즘을 이해하고 센서 배치에 대한 의사결정에 중요한 정보를 제공한다. 하지만 이러한 접근 방법은 감시 대상을 선정하는 명확한 기준이 부족하며, 다른 시스템에 적용하기에 유연성이 떨어진다는 한계가 있다(Lee et al., 2024).
본 연구와 유사한 관련 연구로 크게 2가지가 있는데 먼저 첫 번째로 전파탐지 시스템의 전파전송관에서 발생하는 결로·결빙을 탐지하기 위해 CNN 모델과 기상학 기반 도메인 지식을 활용하는 방식이다. 이 연구는 온도와 습도의 기존 변수를 활용하여 이슬점이라는 새로운 변수를 활용하여 이상탐지를 수행한다. 하지만 이러한 이슬점 변수는 온도와 습도 데이터가 필수적이므로, 해당 변수가 없는 센서는 데이터 가용성에 한계가 발생한다(Kim et al., 2022).
두 번째로는 실제 운용하고 있는 무기체계 기반의 전파탐지 시스템의 공기압축기를 통해 여러 비지도학습 기반 이상탐지 알고리즘인 Isolation Forest(IF), Local Outlier Factor(LoF), PCA, One-Class SVM, LSTM-Autoencoder 등 다양한 알고리즘을 활용하여 최적의 모델을 선정하는 방식이다. 그러나 시계열 데이터의 구조적 특성과 도메인 지식이 충분히 반영되지 않았다는 한계가 존재한다(Kim et al., 2023).
2.3 시계열 데이터 기반 이미지 변환
시계열 데이터의 이미지로 변환하는 대표적인 방법으로 스펙트로그램(Spectrogram)이 있다(Song et al., 2009). 스펙트로그램은 시간에 따른 신호의 진폭 크기를 나타내는 파형과 특정 시간 또는 전체 신호에서 나타나는 주파수 성분과 진폭을 나타내는 스펙트럼(Spectrum)의 특징이 결합한 방법이다. 스펙트로그램의 경우 시간이나 공간에 대한 함수를 시간 또는 공간 주파수 성분으로 푸리에 변환 기반으로 고정된 주파수 해상도를 제공하고 주기적인 신호의 전반적인 패턴을 기반으로 사용한다.
스펙트로그램과 같이 시간-주파수 정보를 이미지로 변환할 수 있는 또 다른 전통적인 방법으로 스칼로그램(Scalogram)이 있다. 스칼로그램은 신호의 변화를 시간과 스케일에 따라 이미지로 변환하는 방법이다. 스칼로그램은 원본 신호와의 상관관계를 파악하여 웨이블릿 변환(Wavelet transform)을 통해 신호의 다양한 시간 또는 공간 스케일을 이미지로 변환할 수 있다. 신호를 파악하는 부분에 있어 스칼로그램을 사용한다.
스펙트로그램과 스칼로그램은 비데이터 적응형 모델(Non-Data Adaptive Model)이다. 비데이터 적응형 모델은 데이터의 특성과 무관하게 사전에 정의된 알고리즘을 사용하여 이미지로 변환하는 모델을 의미한다. 이러한 모델은 데이터의 특성에 따라 변환 방식을 고려하지 않고, 사전에 설정된 기저함수를 통해 데이터를 변환한다. 이에 따라 비데이터 적응형 모델은 데이터의 고유한 특성을 충분히 반영하지 못하고, 주어진 데이터 내에서 잠재된 시간적 상관성이나 패턴을 제한적으로 포착하는 한계를 가진다(Wang and Oates, 2015). 따라서 데이터의 특성을 효과적으로 포착하려면, 이를 반영한 적응한 모델을 활용할 필요가 있다. 앞선 방법의 한계를 극복하기 위해 사전에 정의된 매개변수 없이 원본 시계열 데이터를 2D 이미지로 변환하는 새로운 방법이 제안되었다. 1D 시계열 데이터를 2D 이미지로 변환 방법으로 Markov Transition Field(MTF), Recurrence Plot(RP), Gramian Angular Field(GAF)가 있다. Markov Transition Field(MTF)는 시계열 데이터의 이산화된 값 사이에서 발생하는 상태 전이 확률을 활용하여 패턴을 시각화하여, 신호 내의 시간적 패턴이 공간적으로 어떻게 분포되어 있는 지를 명확하게 나타낸다. 마르코프 체인을 기반하여 전이행렬을 사용하여 시계열 데이터를 이미지로 변환하여, 시계열 데이터의 복잡한 동적 패턴을 파악하는데 효과적이다(Phan et al., 2024). Recurrence Plot(RP)는 신호가 일정한 시간 간격 후 비슷한 상태로 돌아오는 재귀성을 시간적으로 표현하는 방법이다. Recurrence Plot(RP)는 시계열 데이터에서 재발 패턴을 파악하고 이를 2D 이미지로 변환하여 주기성이 있는 신호 패턴을 포착하는데 효과적이다. 마지막으로 시계열 데이터를 극좌표 변환한 후 이를 기반으로 2D 이미지화하는 Gramian Angular Field(GAF)가 있다. Gramian Angular Field(GAF)는 시계열 데이터의 시간적 상관관계를 보존하며 이미지로 변환할 수 있다. 이러한 기법들은 금융 분야에서 주가 예측이나 의료분야의 심전도(ECG) 패턴 분류에서 활용되었으며, 그 효과가 입증되었다(Chen and Tsai, 2020; Zhang et al., 2019). 따라서 무기체계에서도 적용할 필요성이 있다.
3. 제안 방법론
본 연구에서는 제안하는 방법론은 다음과 같다. 특성공학 기반의 Time-domain Feature 추출과 이미지 인코딩 기법을 결합한 이상탐지 프레임워크를 제안한다. 먼저, 수집된 센서 데이터에 대해 전처리 및 정규화 과정을 수행한 후, 시계열 데이터의 통계적 특성을 반영하는 다양한 Time-domain Feature를 추출한다. 이 과정에서 얻은 Time-domain Feature는 원시 특성에서 식별하기 어려운 이상 패턴을 정량적으로 포착하고 시각적으로 확인할 수 있는 정보를 제공하며, 각 특성은 서로 다른 통계적 의미를 지니기 때문에 원본 데이터에서 나타나지 않는 이상 패턴을 파악할 수 있다. 이후 이러한 Time-domain Feature를 기반으로 3가지 이미지 인코딩 기법을 적용하여, 시계열 데이터의 시간적 구조와 통계적 특성을 동시에 반영하여 2차원 이미지 데이터로 변환하고 이를 딥러닝 기반의 모델을 활용하여 이상탐지를 수행한다. 기존 연구에서는 Time-domain Feature를 추출과 이미지 인코딩 기법을 각각 독립적으로 적용하였으나, 제안하는 방법론은 시계열 특성과 시간 의존성을 시각적으로 표현할 수 있는 이미지 인코딩을 결합함으로써, 비선형적이고 복잡한 이상 패턴을 효과적으로 탐지할 수 있는 통합적인 새로운 방법론을 제시한다.
3.1 Time-domain Feature
Time-domain Feature는 기존 데이터에서 중요한 정보를 추출하거나 기존 변수를 바탕으로 새로운 변수를 생성하여 모델이 효과적으로 학습할 수 있도록 데이터의 특성을 추출하는 특성공학 방법이다(Moradi et al., 2023; Wang et al., 2015).
Time-domain Feature를 활용하면 원시 데이터에서 드러나지 않는 패턴을 파악할 수 있다. 센서 데이터는 0.1초 단위로 수집되며, Time-domain Feature는 1시간 단위로 집계된다. 여기서 x(n)은 1시간 동안 0.1초 단위로 수집된 센서 데이터의 원본값이다. N은 1시간 동안 0.1초 단위 포인트 수를 나타내며, t(n)의 경우 n-번째 초에서 x(n)이 발생한 시점을 의미한다. 각 Time-domain Feature의 수식은 <Table 2>에서 제시된다.
3.2 시계열 기반 이미지 인코딩 (Time series based Image Encoding)
시계열 데이터는 일반적으로 시간 축을 기준으로 관측된 값들이 나열된 1D 형태로 구성된다. 1D 형태로 구성된 시계열 데이터는 각 시점에서의 값을 단순히 시간 축을 따라 나열하는 방식으로 구성하기 때문에, 시점 간의 복잡한 상관관계를 명확히 표현하기 어려움이 있다. 데이터 간의 상관성을 단순히 값의 크기나 연속적인 변화만으로 드러나지 않으며, 데이터의 다차원적 특성이나 숨겨진 관계를 효과적으로 파악이 가능한 방법이 필요하다. 따라서 본 연구에서는 시계열의 특성을 유지하면서 이미지로 인코딩하는 방법을 활용한다.
Markov Transition Field(MTF)는 이산화된 시계열 데이터의 전이 확률을 기반으로 상태 변화를 이미지화하는 방법이다(Park et al., 2023).
| (1) |
Markov Transition Field(MTF)는 수식(1)로 정의된다. 시계열 데이터 집합 X=[x1,x2,…,xn]에 대해서, Q구간으로 나눈 뒤, ti의 시계열 데이터값 xi에 맞는 구간 에 할당한다. wi,j는 구간에서 qi구간으로 전이하는 빈도를 나타낸다.
Markove Transition Field(MTF)는 i행 j열에 해당하는 는 해당 시점 구간의 확률을 각 픽셀 Mij에 할당함으로써, Markov Transition Field(MTF)의 M은 시계열의 다중 간격 전이 확률을 인코딩한다. 는 시간 간격 k를 갖는 두 지점 간의 전이 확률을 나타낸다.
Markov Transition Field(MTF)는 연속형 시계열 데이터를 이산화하는 과정에서 구간의 간격을 결정하는데 큰 영향을 미친다. 구간의 간격이 넓은 경우, 대부분의 데이터가 평균에 가까운 구간에 집중되어 전이 확률이 특정 구간에 편중될 수 있다. 반면, 구간 간격이 좁아지면 데이터가 다양한 구간에 분포하게 되어 전이 확률이 극단적인 값을 나타낼 가능성이 줄어든다. 따라서 적절한 구간을 구하기 위해, 일정한 시간 동안의 데이터 세그멘트(Segment)에 대한 평균을 사용하는 방법인 Piecewise Aggregate Approximation(PAA)를 활용한다(Yu et al., 2019). Piecewise Aggregate Approximation(PAA) 기반으로 각 구간을 심볼(기호)로 변환하여 텍스트 형태로 나타내는 방식인 Sybolic Aggregate Approximation(SAX) 방법을 활용하여 연속형 시계열 데이터를 이산화한다.
시계열 데이터는 주기적 또는 비주기적 특성을 보이며 확률적 과정에서 생성되는 데이터에서 관찰되는 현상 중 하나는 재귀성이다. Recurrence Plot(RP)는 m차원의 공간 궤적을 2D로 이미지화하여 특정 궤적이 이전 상태로 돌아오는 시점 간의 유사성을 이미지로 표현하는 방법이다(Hatami et al., 2018).
Recurrence Plot(RP)는 수식 (2)로 정의한다. xi와 xj는 i번째 시점과 j번째 시점의 값이며 는 두 시점 간의 유클리드 거리를 나타낸다. Ri,j는 두 시점 간의 거리가 임계값 ϵ보다 작거나 같으면 1, 그렇지 않으면 0으로 할당하는 이진화 방식으로 정의된다. 하지만 본 연구에서는 이진화 방식에서 발생하는 정보 손실을 최소화하고, 세부적인 변화와 연속적인 정보를 보존하기 위해 이진화 공식이 아닌 유클리드 거리 공식만을 사용한다(Aldrich et al., 2023).
| (2) |
시계열 데이터는 일반적으로 직교좌표계에서 시간 축과 데이터 값으로 표현된다. Gramian Angular Field(GAF)는 이러한 데이터를 극좌표계로 변환하여 각도와 반지름으로 정의된 행렬을 생성하고, 이를 통해 1D 시계열 데이터를 2D 이미지로 인코딩하는 방법이다(Park et al., 2021). Gramian Angular Field(GAF)는 극좌표 기반으로 시계열 데이터의 시간적 상관관계를 시각적으로 표현할 수 있다.
정규화된 시계열 데이터인 를 cos의 역함수를 사용하여 각도 θi로 정의되며, 정규화 상수 N은 극좌표계에서의 반경 범위를 조절하는 정규화 상수이다. 시간 인덱스 ti는 반지름 ri로 표현되어, 수식 (3), 식 (4)를 통해 극좌표로 변환한다.
| (3) |
| (4) |
극좌표로 변환하는 과정에서 해당 시점에 오직 하나의 결과값을 생성하며, 유일한 역함수를 가진다. 즉, 각 데이터 포인트는 극좌표상에서 단 하나의 좌표만을 매핑하여 데이터의 변환 및 복원 과정에서 정보가 손실되지 않는다.
두 번째는 극좌표는 절대적인 시간 관계를 보존한다는 중요한 특성을 가지고 있다. 시계열 데이터에서 면적은 데이터 포인트가 특정 구간을 차지하는 영역의 크기를 나타내며, 이를 통해 데이터의 분포나 변화를 이해할 수 있다. 일반적으로 직교좌표에서 면적은 로 정의한다. 여기서 가 성립한다. 즉, f(x(t))가 구간 [i,i+k]와 [j,j+k]에서 동일한 값을 가지는 경우 두 구간의 면적도 동일하게 계산된다. 다시 말해 시작하는 시점과 관계없이 동일한 면적을 생성한다는 의미로 절대적인 시점의 위치와는 무관하게 면적이 결정된다. 반면 극좌표계에서 로 정의한다. 이 경우 가 된다. 즉, 특정 구간 i에서 j까지 면적은 단순히 두 시점 간의 간격 |i-j|에 의해서만 결정되지 않으며, 절대적인 i와 j의 값에도 영향을 받는다. 이는 극좌표계에서 시계열 데이터의 특정 시점에 따라 면적이 달라지므로, 시계열의 절대적인 시간 흐름과 위치 정보가 더욱 명확하게 반영이 된다. 따라서 극좌표계에서 정의된 면적은 시간 간격뿐만 아니라 특정 시점의 절대적인 위치에 따라 달라지므로 시계열 데이터의 시간적 특성을 더욱 잘 보존하고 시각적으로 잘 표현할 수 있으며 Gramian Angular Field(GAF)를 사용하는 이유이다(Wang and Oates, 2015).
Gramian Angular Field(GAF)는 두 가지 방식이 있다. 첫 번째로 각도의 합을 사용하는 Gramian Angular Summation Field(GASF)는 i와 j의 시간쌍으로 이루어진 극좌표계 시계열 데이터에서 각도의 합으로 나타내며 다음과 같이 정의한다.
| (5) |
| (6) |
다음으로 GASF와 반대로 Gramian Angular Difference Field(GADF)는 극좌표계 각도의 차이를 가지고 다음과 같이 정의한다.
| (7) |
| (8) |
4. 실험 및 결과해석
4.1 실험 데이터
본 연구에 사용한 실험 데이터는 전파탐지시스템에서 온도와 습도를 유지하는 공조시스템을 수행하는 장비가 공기압축기이다. 공기압축기에서 압축공기 누출은 전파탐지시스템에서 전파를 전송하는 전파전송관의 방전 현상이 발생할 수 있다. 따라서 압축공기 누출을 진단하기 위해서는 압축공기 누출과 관련된 데이터를 종합적으로 고려해야 한다. 공기압축기의 이상 진단에 있어 관련된 센서 데이터는 공기압축기, 고압력, 저압력, 공급 전압 센서이다. 해당 데이터의 선정은 기존 도메인 전문가들의 지식에 의해서 결정하였다. 해당 데이터는 초 단위로 수집되며 노이즈 제거를 위해서 시간 단위로 Time-domain Feature로 추출한다. 또한 수집된 각 데이터 마다 정격치와 데이터 범위가 다르기 때문에 표준화를 통해 범위 차이를 해결하였다. 이후 해당 데이터를 기반으로 학습 데이터와 테스트 데이터를 8:2의 비율로 구분하여 모델 학습 및 평가에 활용하였습니다.
4.2 딥러닝 기반 이상탐지 모델
딥러닝 기반 이상탐지 모델을 구축하기 위해 Autoencoder기반의 모델을 사용하였다. Autoencoder는 입력 데이터를 잠재 벡터(Latent vector)로 차원을 축소한 후, 다시 원본 데이터와 동일한 차원으로 복원하는 비지도 학습 모델로 복원된 값과 원본 값 간의 차이를 나타내는 복원 오차(Reconstruction Error)를 통해 이상 여부를 판단한다(Liou et al., 2014).
본 연구에서는 시계열 데이터를 이미지로 변환하는 데이터를 활용하기 때문에 복잡한 패턴을 효과적으로 학습하고, 복원 성능을 개선하기 위해 <Figure 2>의 Convolutional Autoencoder(CAE)를 활용하였다.
4.3 이상탐지 성능지표
본 실험의 경우 크게 3가지로 나눠서 비교하였다. 첫 번째는 이미지 인코딩을 적용하기 이전에 1D 원시 시계열 데이터와 Time-domain Feature의 성능 차이를 비교하였다. 두 번째는 원시 시계열 데이터에 각기 다른 이미지 인코딩 방법을 적용하여 성능지표를 비교하였다. 세 번째는 Time-domain Feature의 특성을 추출한 후 이를 기반으로 각기 다른 이미지 인코딩 방법을 적용하여 성능을 비교하였다. 모델이 탐지된 이상 중 실제 이상 데이터 비율의 평가지표인 정밀도, 실제 이상 데이터 중에서 모델이 정확하게 탐지한 비율 평가지표인 재현율, 정밀도와 재현율의 평균 지표로 사용하는 F1 Score, 임계값에서 Ture Positive Rate와 False Positive Rate 간의 관계를 평가하는 ROC 커브를 성능지표로 활용하였다.
| (9) |
| (10) |
| (11) |
4.4 이상탐지 결과 및 해석
<Table 4>는 이미지 인코딩의 성능지표이다. 해당 실험에서 이상탐지를 수행하기 위해 CNN-Autoencoder 모델을 사용하였다. 이미지 인코딩을 적용하지 않은 1D 형태의 Raw-No Encoding과 No Encoding Time-domain의 경우 1D 형태의 CNN-Autoencoder를 사용하였다. No Encoding보다 상대적으로 No Encoding Time-domain이 정밀도, 재현율, F1 Score에서 성능이 개선되는 것을 확인할 수 있다. 또한 <Figure 3> ROC 커브에서도 상대적으로 성능이 우수하다는 점을 확인 할 수 있다.
Time-domain 특성을 추출하지 않고 원시 데이터에서 각기 다른 이미지 인코딩을 적용한 Markov Transition Field(MTF), Recurrence Plot(RP), Gramian Angular Summation Field(GASF), Gramian Angular Difference Field(GADF) 중에서 정밀도, 재현율, F1 Score에서 모두 Gramian Angular Difference Field(GADF)가 가장 우수한 성능을 보였으며, ROC 커브에서는 Gramian Angular Summation Field(GASF)가 가장 우수한 성능을 확인할 수 있다.
본 연구에서 제안하는 방법인 Time-domain 특성을 추출하여 이를 기반으로 이미지 인코딩 방법을 적용한 MTF Time-domain, RP Time-domain, GASF Time-domain, GADF Time-domain 중에서 정밀도는 GASF Time-domain이 가장 높은 성능을 보였으며, 재현율과 F1 Score에서는 GADF Time-domain이 가장 높은 성능을 보였으며 ROC 커브에서는 미세하지만 GASF Time-domain이 더 우수함을 확인할 수 있다.
4.5 이미지 인코딩 적용 결과
<Figure 4>는 Markov Transition Field(MTF)를 통해 Time-domain Feature를 이미지로 인코딩한 결과를 나타낸다. (a)와 (b)는 각각 정상과 비정상 데이터를 나타낸다. (a)의 정상 데이터에서는 각 Time-domain Feature마다 Markov Transition Field(MTF)의 패턴이 다르지만, 전반적으로 랜덤하게 찍힌 점처럼 보이는 밝은 픽셀들은 이미지 전체에 비교적 고르게 분포되어 있다. 이는 정상 데이터가 특정 구간에만 전이 확률이 집중되는 것이 아니라, 다양한 상태 간의 전이 확률이 고르게 분포된 상태를 의미한다. 정상 상태 데이터가 극단적인 변동보다는 다양한 상태 간 균형을 유지하고 있다고 해석이 가능하다. Markov Transition Field(MTF) 이미지에서 대각선은 같은 시점 내에서의 전이 확률을 나타내며, 상대적으로 밝다. 그러나 대각선 이외의 밝은 점들은 서로 다른 시점 간의 전이 확률을 나타내며, 대각선과 구별되는 위치에서 나타난다.
(b)의 경우 정상 데이터에서는 대각선이 상대적으로 밝고 연속적인 선형 구조 패턴을 보였지만, 비정상 데이터는 대각선의 패턴이 끊기고 불규칙적으로 약화 된 패턴을 보이며 이는 동일한 시점 내 전이 확률이 낮아지거나 불안정해졌음을 파악할 수 있다. 특히 Std, Kurtosis, Median, RMS는 명확한 격자 패턴과 블록형 패턴이 보인다. 이는 특정 시점에 전이 확률이 매우 높거나, 전이 확률이 특정 구간에 국한되었음을 의미한다. 정상 데이터에 비해 밝은 점들의 패턴이 특정 영역에서만 나타나는 특징이 있다. 이는 비정상 상태에서 일부 상태 전이 확률이 매우 제한적이거나 특정 상태에 과도하게 집중됨을 의미한다.
<Figure 5>는 Recurrence Plot(RP)을 통해 Time-domain Feature를 이미지 인코딩한 결과를 나타낸다. Figure 5 (a)와 (b)는 각각 정상과 비정상 데이터를 나타낸다. 정상 데이터 (a)는 공통적인 패턴은 대각선이 연속적으로 선명한 패턴이 있다. 대각선은 재귀하는 시점을 나타내며, 이 패턴이 유지되는 이유는 높은 자기 상관성을 의미한다. 또한 대각선을 중심으로 대칭되는 시점에서 밝은 패턴이 있으며 대각선 주변에 밀집된 패턴이 나타난다. 이는 특정 시점 간격에서 유사한 상태가 반복됨을 나타내며 특히 Mean, RMS, Shape factor에서 명확하게 나타난다. 정상 데이터에서 격자형 패턴은 상태 변화가 규칙성과 특정 간격으로 유사한 상태로 주기성을 확인할 수 있다.
반면, 이상 데이터(b)는 정상 데이터왇 달리 주기적인 패턴이 아닌 불규칙한 패턴이 나타난다. 또한 시점 간의 상관관계가 낮아짐에 따라 어두운 명암이 빈번하게 나타난다. 이는 시계열 데이터가 시간에 따라 변화할 때 과거 시점에서의 유사성이 떨어지는 것이 나타난다.
<Figure 6>은 Gramian Angular Summation Field(GASF)를 통해 Time-domain Feature를 이미지 인코딩한 결과를 나타낸다. <Figure 6> (a)와 (b)는 각각 정상과 비정상 데이터를 나타낸다. (a)는 정상 상태의 Gramian Angular Summation Field(GASF)는 시점 간 상관관계가 상대적으로 낮고 데이터의 변동 폭이 크지 않다. 따라서 정상 상태의 Gramian Angular Summation Field(GASF)는 데이터의 변동 폭이 크지 않기 때문에 시점 간 상관관계가 낮아지고, 그 결과 cos 값의 합이 작아져 Gramian Angular Summation Field(GASF) 이미지에서 어두운 명암이 나타난다. 또한 Gramian Angular Summation Field(GASF)는 우함수인 cos을 사용하기 때문에 주대각선 기준으로 좌우 대칭적 패턴이 형성되며 정상 상태 데이터에서 더욱 명확하게 차이가 드러난다.
(b)의 경우 비정상 상태에서는 데이터의 변동성이 급격하게 증가하거나 불규칙한 변동이 발생함에 따라 시점 간 상관관계가 높아질 수 있다. 이러한 변화는 Gramian Angular Summation Field(GASF) 이미지에서 밝은 명암으로 표현되며, 이는 비정상 상태를 시각적으로 보여준다. 비정상 상태에서 상관관계가 높아질수록 cos 값의 합이 커지며, 그 결과 Gramian Angular Summation Field(GASF) 이미지에서 밝은 패턴이 나타난다.
<Figure 7>은 Gramian Angular Difference Field(GADF)를 통해 Time-domain Feature를 이미지 인코딩한 결과를 나타낸다. <Figure 7> (a)와 (b)는 각각 정상과 비정상 데이터를 나타낸다. Gramian Angular Difference Field(GADF)는 홀함수인 sin함수를 사용하여 주대각선을 기준으로 패턴은 대칭적이지만, 명암은 대조적으로 나타난다. (a)는 정상 상태의 Gramian Angular Difference Field(GADF)는 시점 간의 상관관계가 낮아 이미지의 명암 대조는 상대적으로 낮게 나타난다. 주대각선을 기준으로 대칭적인 패턴은 데이터가 규칙적으로 변동하고 있음을 보여주며, 교차선이 많이 나타나는 복잡한 패턴이 나타난다.
(b)의 경우 비정상 상태에서는 시점 간의 관계가 불규칙해지며, 그 결과 교차선 패턴은 희미해지면서, 명함의 퍼짐이 커지면서 명암 차이가 두드러지게 나타나는 패턴으로 나타난다.
5. 결 론
무기체계에 대한 최적의 상태기반정비를 수행하기 위해 사전에 이상 상태를 효율적으로 탐지할 수 있는 방법이 필요했다. 이를 위해 본 연구에서는 Time-domain 기반의 통계적 특성을 활용하여 이미지로 변환하는 Image Encoding 방법을 결합한 새로운 프레임 워크를 제안하였다. 수집된 센서 데이터에서 원시 데이터는 파악하기 어려웠던 이상 패턴을 다양한 변수를 통해 수치로 파악할 수 있으며, 이를 통해 이미지로 변환하여 정상 상태와 비정상 상태의 패턴을 명확하게 파악할 수 있었다.
24시간 연속적으로 가동되는 전파탐지시스템은 장비의 상태를 신속하게 파악하는 것이 필수적이다. 실제 무기체계를 운용하는 현장에서는 실시간으로 대량의 데이터가 수집되고 있으나, 이를 효과적 분석하고 처리하는 방법이 부족한 상황이다. 특히 다양한 이상 신호가 서로 다른 규모로 발생할 수 있기 때문에, 모든 고장 패턴을 사전에 정의하여 분석하는 것은 현실적으로 어렵다.
본 연구를 통해 전파탐지 무기체계에서 공조시스템의 핵심적인 역할을 수행하는 공기압축기의 압축공기 누출과 유사한 부품의 상태기반정비 구현에 있어 중요한 가이드라인으로 활용 될 수 있다. 제안한 방법의 경우 데이터를 변환하는 방식으로 시계열 기반의 센서 데이터의 경우 다양한 도메인에서 적용이 가능하다. 이는 센서 데이터를 기반으로 한 다양한 장비에서 상태 진단 및 예측 정비를 수행할 수 있다는 이점이 있다.
하지만 이미지 기반의 경우 이상 패턴을 정량적으로 해석하는데 한계가 존재한다. 따라서 향후 연구에서는 Gray-Level Co-occurrence Matrix(GLCM) 과 Local Binary Pattener(LBP)과 같은 텍스처 분석(Texture Analysis) 방법을 활용하고자 한다. 이러한 기법은 이미지 내 픽셀 간의 공간적 관계 또는 국소적인 명암 대비를 수치화함으로써, 시각적으로 확인되면 이상 징후를 정량적 지표로 표현할 수 있는 기반을 제공한다. 이를 통해 제안한 방법론의 결과에 대한 신뢰성과 설명 가능성을 높이는 것이 가능할 것으로 기대된다. 더불어 본 연구가 상태기반정비(Condition Based Maintenance) 수준의 진단에 초점을 맞췄다면, 추후 연구에서는 예측 기반 정비 개념을 포함한 CBM+로의 확정을 통해 유지보수 시점까지 예측할 수 있는 체계를 구축할 계획이다.
Acknowledgments
이 논문은 2022년 정부(방위사업청)의 재원으로 국방기술진흥연구소의 지원을 받아 수행된 연구임(KRIT-CT-22-081, 무기체계 CBM+ 특화연구센터).
References
-
Aldrich, C. (2023), A comparative analysis of image encoding of time series for anomaly detection, in Time-Series Analysis – Recent Advances, New Perspectives and Applications, IntechOpen.
[https://doi.org/10.5772/intechopen.1002535]
-
Chen, J. H. and Tsai, Y. C. (2020), Encoding candlesticks as images for pattern classification using convolutional neural networks, Financial Innovation, 6(1), 26.
[https://doi.org/10.1186/s40854-020-00187-0]
- Hatami, N., Gavet, Y., and Debayle, J. (2018), Classification of time-series image using deep convolutional neural networks, Procedings of the 10th International Conference on Machine Vision (ICMV 2017), 10696, 242-249, SPIE.
-
Kang, M. S., Park, Y. K., Noh, W. S., Kang, T.H., Cho, l. H., and Jeon, G. S. (2023), A Study on early detection of refrigerant leakage based on radar system operation data, Journal of the Korean Academia-Industrial Cooperation Society, 24(6), 116-124.
[https://doi.org/10.5762/KAIS.2023.24.6.116]
- Kang, M. and Park, Y. (2023), Unsupervised anomaly detection for radar cooling system based on multivariate time series data, Proceedings of the Korea Contents Association Conference (ICCC), 49-50.
-
Kim, G. Y., Kim, N. S., Cho, K. H., Lee, H., & pp. ark, J. H. (2022), A Study of Domestic Applocation of US LPD (Logistics Product Data), Journal of the Korean Society for Aeronautical & Space Science, 50(9), 663-668.
[https://doi.org/10.5139/JKSAS.2022.50.9.663]
-
Kim, K. W. (2023), Anomaly detection of air dryer for radar based on machine learning algorithms, Journal of the Korean Academia-Industrial Cooperation Society, 24(3), 1-12.
[https://doi.org/10.5762/KAIS.2023.24.3.1]
-
Kim, Y. G., Son, M. J., Noh, S. C., and Kim, S. J. (2022), A Study on the prevention of condensation and freezing in radar waveguide using condition-based maintenace, Journal of the Korean Academia-Industrial Cooperation Society, 23(7), 229-239.
[https://doi.org/10.5762/KAIS.2022.23.7.229]
-
Lee, J. H., Jung, S. U., Park, S. Y., Park, H. B., Kim, M. G., Shin, D. G., and Heo, J. W. (2024), A Study on sensor inference for applying CBM+ to the cooling system of radar systems, Journal of the Korean Academia-Industrial Cooperation Society, 25(7), 379-386.
[https://doi.org/10.5762/KAIS.2024.25.7.379]
-
Liou, C. Y., Cheng, W. C., and Liou, D. R. (2014), Autoencoder for words, Neurocomputing, 139, 84-96.
[https://doi.org/10.1016/j.neucom.2013.09.055]
-
Moradi, M., Broer, A., Chiachio, J., Benedictus, R., Loutas, T. H., and Zarouchas, D. (2023), Intelligent health indicator construction for prognostics of composite structures utilizing a semi-supervised deep neural network and SHM data, Engineering Application of Artificial Intelligence, 117, 105502.
[https://doi.org/10.1016/j.engappai.2022.105502]
-
Park, J. Y., Seo, D. H., and Nam, H. W.(2021), Deep-learning-based automatic modulation classification using imaging algorithm, The Journal of Korean Institute of Electromagnetic Enginering and Science, 32(4), 328-333.
[https://doi.org/10.5515/KJKIEES.2021.32.4.328]
-
Park, M. G., Park, H. B., Kim, M. S., Kim, D. H., Park, Y. K., and Bae, H. R (2024), A Study on estimating the first prediction time (FPT) for condition-based maintenance, Journal of the Korean Society of Electronic Commerce, 29(1), 93-114.
[https://doi.org/10.7838/jsebs.2024.29.1.093]
-
Phan, D. T., Jakob, A., and Purat, M. (2024), Comparision performance of spectrogram and scalogram as input of acoustic recognition task, arXiv preprint, arXiv:2403.xxxxx, .
[https://doi.org/10.1007/978-3-031-84457-7_41]
- Shin, S. (2022), Application Plan of condition-based maintenace (CBM/CBM+) under the total life cycle systems management (TLCSM) environment, Defense & Technology, 516, 104-111.
-
Shumway, R. H. and Stoffer, D. S. (2000), Time series analysis and its applications, Springer, New York, 3, 4.
[https://doi.org/10.1007/978-1-4757-3261-0]
- Song, Y., Keromytis, A. D., and Stolfo, S. J. (2009), Spectrogram: A mixture-of-Markov-chains model for anomaly detection in web traffic, Proceedings of the Network and Distributed System Security Symposium (NDSS), 9, 1-15.
-
Wang, X., Zheng, Y., Zhao, Z., and Wang, J. (2015), Bearing fault diagnosis based on statistical locally linear embedding, Sensors, 15(7), 16225-16247.
[https://doi.org/10.3390/s150716225]
- Wang, Z. and Oates, T. (2015), Encoding time series as images for visual inspection and classification using tiled convolutional neural networks, Proceedings of the Workshop at the Twenty-Ninth AAAI Conference on Artificial Intelligence, 1, 1-7.
- Wang, Z. and Oates, T. (2015), Spatially encoding temporal correlations to classify temporal data using convolutional neural networks, arXiv preprint, arXiv:1509.07481, .
-
Yu, Y., Zhu, Y., Wan, D., Zhao, Q., and Liu, H. (2019), A novel trend symbolic aggregate approximation for time series, arXiv preprint, arXiv:1905.00421, .
[https://doi.org/10.1007/978-3-030-19063-7_65]
-
Zhang, G. Si., Y., Wang, D., Yang, W., and Sun, Y. (2019), Automated detection of myocardial infarction using a Gramian angular field and principal component analysis network, IEEE Access, 7, 171570-171583.
[https://doi.org/10.1109/ACCESS.2019.2955555]
이민섭: 울산대학교 산업공학과에서 2021년 학사학위를 취득하고 부산대학교 산업공학과 석사과정에 재학 중이다. 연구분야는 딥러닝, 건전성 및 예측 관리, 운영 유지보수이다.
박기군: 가천대학교 통계학과에서 2017년에 학사학위를 취득하고, 부산대학교 산업공학과에서 2024년 박사학위를 취득하였다. 2024년부터 부산대학교 인간중심-탄소중립 글로벌 공급망 연구센터에서 연수연구원으로 재직 중이다. 관심 분야는 항만 물류, 시뮬레이션기반 최적화이다.
박한별: 경성대학교 산업경영공학과에서 2021년 학사학위를 취득하고 부산대학교에서 산업공학과 박사과정에 재학 중이다. 딥러닝을 산업 현장의 특성에 맞게 응용하려는 연구를 수행하고 있으며, 주로 운영 유지보수 분야를 다루고 있다.
박연경: 고려대학교 산업공학과에서 2006년 학사, 동 대학교 소프트웨어공학과에서 2019년 석사를 취득 2006년부터 LIG넥스원 IPS 연구소 연구원으로 재직 중이다. 관심 분야는 CBM+, IPS이다.
배혜림: 서울대학교에서 1996년에 학사, 1996년 석사, 2002년 박사학위를 취득하였고, 2002년부터 2003년까지 삼성카드에서 근무했으며, 2005년부터 부산대학교 산업공학과 교수를 역임하고 2024년부터 부산대학교 데이터사이언스전문대학원 교수로 재직 중이다. 관심 분야는 정보시스템 설계, 클라우드 컴퓨팅, 비즈니스 프로세스 마이닝, 항만 물류, 인공지능이다.







