대포병탐지레이더의 AI 기반 표적/클러터 분류모델에 관한 연구

1. 서 론

대포병탐지레이더는 공제선 상단으로 탐색빔을 방사하여 포탄을 탐지하고, 탐지된 포탄에 대해서는 계속 추적하여 탄도 정보를 수집한다. 레이더는 수집된 탄도 정보를 분석하여 화포 위치를 탐지한다. 포탄 탐색은 <Figure 1>과 같이 빔 방사에 의해 수행되며, 안테나 빔은 차폐정을 따라 공제선 상단으로 방사하는 탐색빔, 실제 표적 여부를 확인하는 확인빔, 확인된 표적을 5~15초 동안 추적하는 추적빔 등 3가지의 빔 형태가 있다. 화포 위치의 추정은 추적빔에서 추적된 탄도 정보를 분석하여 탄도방정식을 이용하여 화포 위치와 예상 탄착지점을 산출한다(Kim, 2023; Park and Jin, 2020).

Figure 1.

Operational concept of Counter-Battery Radar

레이더는 다중경로, 시간지연, 환경적 요소 등의 신호 간섭으로 인해 원하는 표적의 반사 신호뿐만 아니라 비표적에 대한 반사 신호가 함께 수신된다. 클러터(Clutter)는 안테나에서 송신한 신호가 표적에 도달한 뒤 다시 안테나로 수신되는 과정에서 생성되는 원하지 않는 신호이다. 클러터 신호는 표적의 탐지를 어렵게 하고, 레이더의 성능을 심각하게 저하할 수 있는 요소이다(Temlioglu and Erer, 2021; Kim and Kim, 2023; Jeon et al., 2020). 본 연구에서의 표적은 대포병탐지레이더가 탐지해야 할 강외탄도 특성을 보유한 박격포, 야포, 로켓이며, 클러터는 비표적과 허상 표적을 포함하는 개념으로 정의한다. 비표적은 포탄 이외에 비행하는 물체인 헬기, 무인기, 새 등의 실존하는 물체이며, 허상 표적은 실제로 존재하지는 않지만, 탐색 및 추적 시 탐지되는 가짜 표적을 의미한다. 클러터는 확률적으로 발생하는 모든 레이더의 특성으로 악기상 또는 복잡한 클러터 환경에서 발생빈도가 높아진다.

대포병탐지레이더에는 클러터를 제거하기 위해 다양한 알고리즘이 포함되어 있다. 예를 들어 클러터는 속도가 상대적으로 낮은 원리를 이용하여 일정 속도 이하의 표적(구름, 안개, 새때, 저속차량), 탄도에서 고도 변화가 크지 않은 표적(비행기), 주변의 클러터 발생 지도를 작성하여 해당 영역에서 탐지되는 표적, 관계각 변화가 큰 표적(비행기, 새때, 클러터)은 삭제하는 등 다양한 알고리즘을 통해 클러터를 삭제하고 있다.

클러터 제거 알고리즘에도 불구하고, 클러터로 인해 운용자의 피로도가 증가하고, 이에 따른 긴급대응 소요 등으로 야전현장에서는 클러터의 감소요구가 지속되고 있다. 레이더의 성능 측면에서도 클러터를 제거할 경우 적의 포격 도발이 집중되는 상황에서 실 표적의 동시탐지능력 향상을 기대할 수 있다.

따라서 본 연구에서는 현 알고리즘의 보완을 위해 AI 기반의 표적과 클러터를 분류하는 모델을 개발하였고, 실제 현장에서 수집된 데이터를 활용하여 모델의 효과성을 검증하였다. 본 연구의 제2장에서는 관련 연구에 대한 고찰을 수행하였으며, 제3장에서는 본 연구에서 개발한 표적/클러터 분류모델을 소개하고, 제4장에서는 실제 현장에서 수집된 데이터를 기반으로 개발모델의 성능을 평가하였다. 제5장에서 향후 연구의 추진 방향을 제시한다.

2. 관련 연구 고찰

본 연구와 관련된 연구는 크게 3가지 분야이다. 첫째는 대포병탐지레이더에 관련된 연구로 탄의 종류 식별, 미래 대포병탐지레이더의 발전 방향 제시, 사격효과도 분석 등과 관련된 연구이다. 둘째는 국방 분야의 AI 적용 연구이며, 마지막으로 레이더의 클러터 감소를 위한 연구들이 진행되었다.

대포병탐지레이더와 관련된 연구 중, 가장 유사한 연구는 Koh et al.(2022)의 표적 및 클러터 분류를 위한 LSTM(Long short term memory) 기반 AI 모델이다. 이 연구에서는 입력변수로서 좌표 위치와 해당 위치의 변화량, 좌표간의 기울기와 변화량 등 4개의 입력변수를 사용하여 학습 및 모델 성능을 측정하였다. Park and Jin(2020)은 화포 원점과 탄착점을 추정하기 위해 레이더 신호처리 과정 중에 산출되는 데이터를 퍼지로직과 AI를 이용한 방법을 활용하였다. Khudov et al.(2021)은 이동형 박격포의 화포 원점을 추정하는 수리 모델을 제안하였으며 정확도가 평균 23%~71% 향상되었다. Kim(2023)은 대포병탐지레이더가 화포 원점 추정 시 발생하는 오차가 사격효과도에 미치는 영향을 몬테카를로 시뮬레이션을 이용해 모의분석하였다.

국방 분야의 인공지능과 관련된 연구로서는 Huizing et al.(2019)은 군사용 레이더에서 수신되는 마이크로 도플러 스펙트로그램을 활용하여 딥러닝 기법을 통해 소형 UAV를 탐지/분류하는 연구를 하였다. 또한, Lin et al.(2020)은 군인들의 자살징후를 예측하기 위해 긴장감, 적대감, 불면증 등 6가지의 심리적 영역에 대한 데이터를 Random Forest, SVM, Decision Tree 등 여러 Machine Learning 기법을 적용하였다. 특히, 데이터가 상대적으로 적은 클래스들에 대해서는 SMOTE(Synthetic Minority Over-sampling Technique)를 적용하여 데이터 불균형을 해소하였다. Tural et al.(2022)은 탄약의 탄피 상태 및 내부충전물의 결함을 판별함에 있어 CNN(Convolutional Neural Network)을 적용, 학습하는 연구를 진행하였다. 이를 통해, 탄약 분류 및 불량품 검출에 소요되는 시간 및 비용 측면에서 AI 기법 적용이 더 효율적임을 보여 주었다. Fernandes et al.(2022)은 Passive Sonar(Sound navigation and ranging) 시스템에서 발생하는 신호를 LOFAR(Low-frequency analyzer and recorder)를 통해 Time-Frequency 관계의 이미지를 생성한 후, 이를 CNN을 적용, 학습하여 선박을 식별하는 연구를 진행하였다.

클러터 억제와 관련된 연구는 대포병탐지레이더뿐 아니라 기상레이더, 함정 레이더 등 다양한 플랫폼에 관해 연구가 진행되었다. Moon et al.(2018)은 레이더의 탐지능력은 신호 대 잡음비보다 신호 대 클러터 비에 더 의존한다고 하였다. 신호 대 클러터 비를 분석하여 임의의 환경에서 지면 기반 레이더의 탐지능력을 예측하였다. Kim and Kim(2023)은 레이더 운용에 있어 표적에서부터 반사된 신호를 클러터 신호와 구별해내는 것이 매우 중요하다고 하면서, 국방과학기술조사서를 인용하여 클러터 특성 억제기술이 다양하게 요구될 것으로 전망하였다. 해당 연구에서 지면 클러터의 RCS(Radar Cross Section : 레이더반사단면적) 및 반사 전압을 모델링하였다. Jeon et al.(2020)은 함정용 다기능 레이더의 탐지성능 분석을 위해 여러 가지 해상의 클러터 모델 중 레이더가 운용될 적합한 해상 클러터 모델을 선정하고 저고도 소형 표적탐지에 대한 분석을 진행하였다. Kim et al.(2014)은 기상레이더를 대상으로 강수 신호 주변에 지형 클러터가 존재하는 경우 강수 신호로 오인하여 기상 오보를 일으킬 수 있음을 제기하고, 국내 지형과 기상 현상에 적합한 클러터 맵 기반 클러터 제거기법을 제안하였다. Jeon et al.(2018)은 이동하는 플랫폼에 탑재된 레이더에 수신되는 클러터 억제를 위해 2개의 펄스 제거기(pulse canceller) 구조를 사용하는 방안을 제시하였다. Pei et al.(2022)은 해안 감시레이더의 탐지성능 향상을 위해 기계학습(Machine Learning)으로 클러터 감소를 연구하였다. 먼저 Cycle-GAN을 통해 클러터 데이터 구축 및 학습을 하였고, 클러터 억제 및 표적탐지에 대한 손실함수를 비용함수로 표현하여 효율적으로 클러터를 억제할 수 있는 연구를 진행하였으나, 해안의 복합상황에서 발생할 수 있는 클러터에 실증이 추가로 필요하다. Callaghan et al.(2017)은 각각의 Range-Doppler 픽셀의 강도를 토대로, SVM(Support vector machine)과 KNN(K-nearest neighbor) 알고리즘으로 해안에서 발생할 수 있는 클러터를 제거함으로써 해상의 작은 표적(선박)을 탐지할 방법을 제안하였다. Li et al.(2019)은 클러터로부터 표적을 분류하기 위해, 레이더 신호의 시간 및 주파수 데이터에서 frequency peak to average ratio, temporal Hurst exponent, entropy 등 3가지 특징에 착안하여 SVM 알고리즘으로 클러터들로부터 표적탐지를 높일 수 있는 연구를 하였다. Cheikh and Soltani(2006)는 열상 노이즈를 갖는 클러터로부터 표적탐지를 향상하기 위해 ANN(Artificial neural network)을 활용하였다.

본 연구의 기여점은 다음과 같다. 첫째, 본 연구에서 개발한 모델은 군용장비인 대포병탐지레이더를 대상으로 한 모델이지만 클러터의 발생은 모든 레이더에서 공통적으로 나타나는 물리적인 특성으로 다양한 분야의 레이더에 응용하여 적용할 수 있다. 군에서 보유한 방공레이덛, 해안감시레이더, 비호체계레이더, 다기능레이더, 함정레이더 뿐만 아니라 민간에서 운용하고 있는 기상레이더, 공항레이더 등에도 본 연구의 응용을 통해 확장 적용이 가능할 것으로 판단된다. 둘째, 유사연구인 Koh et al.(2022)과 비교 시, 대포병탐지레이더의 클러터 최소화를 위해 AI 기반의 알고리즘을 개발한다는 점은 같다. 그러나 AI 기반 모델의 입력변수의 차이와 이로 인한 클러터 탐지 성능의 향상, 그리고 개발한 알고리즘을 기반으로 실시간으로 탐지된 실제 데이터를 실제 표적과 클러터로 분류할 수 있도록 실증적 차원의 검증까지 이루어졌다는 점이 본 연구의 차별성이라 할 수 있다.

3. AI 기반 표적/클러터 분류모델

3.1 표적 및 클러터 분류변수 선정

대포병탐지레이더에 의해 탐지된 원천데이터는 40여 개 이상의 항목들로 구성되어 있다. 탐지시각, 위도, 경도, RCS(Radar Cross Section), 고도, 속도, 방위각, 좌표(East, North, Up) 등으로 구성되어 있다. 이 가운데 표적 및 클러터을 분류할 수 있는 변수를 선택하여야 한다. 본 연구에서는 원천데이터의 40여 개 항목을 다양하게 조합하여 표적 및 클러터를 분류할 수 있는 변수를 별도로 선정하였다. <Figure 2>와 같이, 기존 알고리즘에서 표적과 클러터를 분류하는데 활용한 RCS(<Figure 2(a)>)와 특정 방향으로 기울기(<Figure 2(b)>) 등의 지표로는 그 값과 형태가 유사하여 표적(포탄, ballistic)과 비표적(clutter)의 분류가 제한됨을 알 수 있다. 특히, RCS는 탐지대상의 탐지 방향 즉 표면적에 따라 동일한 탐지대상일지라도 그 값은 다양하게 변화한다.

Figure 2.

Graph for RCS Value and Slope in 2-dimension EU(East & Up)

이에, 본 연구에서는 3차원상에서의 탄도 궤적(포물선)을 기초로, 탐지된 데이터들에 의해 형성되는 궤적의 형태에서 변수를 착안하였다. <Figure 3>에서 보는 것과 같이, 표적은 포물선형태의 궤적이며, 클러터는 특정한 형태의 궤적이 미형성되는 것을 알 수 있다.

Figure 3.

Trajectory Graph of Target and Clutter

레이더에서 표적 또는 클러터의 신호 수신 시, <Figure 4>와 같이 궤적 고도의 변화량 및 각도를 변수로 설정하였다. 먼저 대포병탐지레이더로부터 수신된 신호의 궤적 좌표 데이터를 받는다. 좌표는 3차원상의 ENU(East, North, Up)로 이루어져 있으며, 일반적인 xyz좌표와 같다. 해당 고도편차와 각도는 다음 전처리 과정을 통해 좌표값에서 추출한다. i번째 수신되는 수신 신호의 3차원상(East, North, Up)의 좌표를 t_i(e_i, n_i, u_i), i번째 수신되는 수신 신호의 고도를 u_i로 정의한다. v_i는 i번째 수신 신호의 3차원상의 좌표 변화량을 의미하며, α_i는 i번째 신호의 좌표 변화량에 따른 각도를 의미한다.

Figure 4.

Input Variables

고도의 변화량 (Δu_i)은 궤적에서 연속되는 2개의 3차원상의 좌표 t_i(e_i, n_i, u_i), t_i+1(e_i+1, n_i+1, u_i+1)가 주어질 때, 식 (1)에 의해 결정된다.

$\[ \mathrm{\Delta }{u}_i=u_{i+1}-u_i \]$

(1)

각도(α_i)는 궤적에서 연속되는 3개의 3차원상의 좌표가 t_i(e_i, n_i, u_i), t_i+1(e_i+1, n_i+1, u_i+1), t_i+2(e_i+2, n_i+2, u_i+2)가 주어질 때, 식(2)~(4)에 의해 결정된다.

$\[ v_i=t_{i+1}-t_i=\left[e_{i+1}-e_i,n_{i+1}-n_i,u_{i+1}-u_i\right] \]$

(2)

$\[ v_{i+1}\begin{array}{l}=t_{i+2}-t_{i+1}\hfill \\ =\left[e_{i+2}-e_{i+1},n_{i+2}-n_{i+1},u_{i+2}-u_{i+1}\right]\hfill \end{array} \]$

(3)

$\[ {\alpha }_{i+1}=\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{c}\mathrm{o}\mathrm{s}\left(\frac{v_i\cdot v_{i+1}}{\left|v_i\right|\left|v_{i+1}\right|}\right) \]$

(4)

최종적으로 AI 모델에 다음 특징값 순서를 입력하여 분류값을 아래와 같이 산출한다.

$\[ \left(\mathrm{\Delta }{u}_1,{\alpha }_1\right),\left(\mathrm{\Delta }{u}_2,{\alpha }_2\right),\cdots \left(\mathrm{\Delta }{u}_n,{\alpha }_n\right) \]$

3.2 학습 및 고도화

앞에서 선정된 입력변수 계산을 위해 데이터를 전처리 및 라벨링 후 LSTM(Long short term memory) 기반 인공지능망 모델로 학습 및 고도화를 진행하였다. 통상 언어데이터, 시계열 데이터와 같은 순차적인 데이터 학습에는 순환신경망(RNN : Recurrent Neural Network)을 사용한다. 과거의 학습을 현재 학습에 반영하는 순환구조를 갖는 순환신경망의 경우, 시간을 많이 거슬러 올라갈수록 경사소멸문제와 장기 의존성 문제가 발생할 수 있다. 이에 대한 보완 및 기존 선행연구 Koh et al.(2022)와의 비교분석을 위해 LSTM 알고리즘을 활용한다. <Figure 5>와 같이 M개의 단방향 LSTM레이어와 M-1개의 Dropout레이어로 이루어져 있다. M의 크기가 커질수록 추론능력은 높아지지만, 학습에 필요한 데이터 또한 늘어난다. x_t, h_t, c_t는 모두 벡터이다. x_t는 입력 순서의 t번째 데이터를 의미한다. h_t는 입력 순서의 t번째 데이터에 대한 모델의 출력값이다. c_t는 입력 순서의 t번째 데이터에 대한 모델의 기억 값이다. 본 연구에서 개발한 모델에서는 LSTM의 레이어 구조는 입력값 3개와 출력값 3개를 사용하여 이전 결과에서 h_t-1와 c_t-1을 입력값으로 받고, 현 순서에서 x_t를 입력값으로 받은 후, LSTM 내부 논리로 출력값을 계산하고 h_t와 c_t를 다음 순서의 데이터 추론에 사용하기 위해 전달하고 h_t를 출력한다. 출력값은 활성화 함수가 tanh일 경우 식 (5)에 의해 결정, 출력된다.

$\[ g_t=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left(W_{ig}{x}_t+b_{ig}+W_{kg}{h}_{t-1}+b_{hg}\right) \]$

(5)

Figure 5.

Structure of LSTM

Dropout 레이어는 학습 시에만 과적합 방지를 위해 활성화하고, 추론 시에는 비활성화한다. 모델의 학습방법은 궤적의 실제 분류값을 기초로 매시간 간격의 출력값마다 손실함수를 계산하여 AI 모델을 갱신한다.

본 연구에서는 <Table 1>에서 보는 바와 같이, 총 5개의 AI 기반 분류모델을 구현하였다. 위의 LSTM 기반 인공지능망 모델을 활용하여 먼저 Koh et al.(2022)에서 연구한 위치 및 기울기 변화량에 기반한 AI 분류모델(모델 1)을 구현하였다. 본 연구에서 개발한 모델은 모델 2~5이다. 3.1.절에서 설명한 분류기준 중 하나인 궤적 각도를 기반으로 한 최초 AI 분류모델(모델 2)을 개발하여 모델1과 동일한 학습 데이터를 활용하여 학습을 진행하였다. 이후, 학습 데이터의 불균형 해소를 위해 발사체의 설계해석에 사용하는 도구인 PRODAS(Projectile Rocket Ordnance Design & Analysis System)에 내장된 데이터를 추가하여 재학습을 진행하였다(모델 3). 궤적 각도를 기반으로 탐지데이터를 분류 시, 비행기(유·무인기)처럼 각도의 변화가 포탄의 상승 또는 하강궤적과 유사한 경우도 표적으로 분류하는 경우를 고려하여 앞 3.1.절에서 설명한 두 번째 분류기준인 고도편차를 추가하였다. 즉 궤적 각도와 고도 변화량을 토대로 학습을 진행하여 개발하였다(모델 4). 이후 AI 분류모델의 최종 운용환경을 고려하여 탐지데이터 조건 즉 시계열 데이터의 최대 입력 길이를 제한하고 학습을 통해 최종모델(모델 5)을 개발하였다.

Table 1.

Learning Variables and Characteristics of Each Model

대포병탐지레이터 내 AI 기반 표적 분류모델 적용을 위해서는 레이더의 수신 신호별 최대 13개의 시계열 데이터를 기반으로 최초 이벤트 발생 후 5초 이내 1차 분류 하여야 한다. 현재 대포병탐지레이더는 <Figure 6>에서 보는 바와 같이, 최초 탐지 이벤트 발생 후 5초 동안 수집된 탐지 이벤트별 데이터(최대 13개)를 토대로 동역학 파라미터 및 확률 기반 알고리즘을 통해 표적 및 비표적을 구분하고 있다. 본 연구에서 개발하는 AI기반 표적분류 모델은 기존의 표적분류체계에서 동역학 파라미터에 의한 1차 표적 분류 전에 위치하여 사전 필터링 역할을 하는 개념이다. 이는 기존의 탐지 및 분류에 소요되는 작전반응시간에 영향을 주면 안 되기에 5초 이내에 탐지된 이벤트를 사전 분류한 후 다음 단계 (동역학 파라미터에 의한 분류)로 전송하여야 한다.

Figure 6.

Proposed Target/Clutter Classification System

4. 실험결과

4.1 실험환경

본 절에서는 본 연구에서 개발한 모델들 및 학습 데이터에 대한 주요 특징을 설명한다. 특히 모델별 학습 대상(표적분류 변수), 학습 데이터의 특징, 그리고 데이터 불균형 해소 등을 설명한다.

(1) 모델특성 요약

개발한 모델의 성능 비교 대상은 Koh et al.(2020)의 LSTM기반 AI 분류모델(모델 1), 본 연구 개발모델(모델 2, 모델 3, 모델 4, 모델 5) 등 5개의 모델을 대상으로 성능을 확인하였다. 모델1의 학습의 대상은 3차원 위치 및 변화량, 2차원 위치 및 변화량 등 4개의 입력변수이다. 반면, 개발모델들은 모델 2, 3은 궤적 각도이며, 모델 4, 5는 궤적 각도와 고도편차이다. 모든 분류모델들은 Python Version 3.9.13에서 구현하였으며, 학습 및 성능측정 컴퓨터 사양은 AMD Ryzen 5950x CPU에 32GB RAM이며, 모델별 학습시간은 7분 이내로 소요되었다(모델별 25 epoch).

(2) 학습 데이터의 불균형 해소

<Table 2>는 학습 데이터를 요약한 표이다. 학습 데이터는 모델 1, 2까지는 야전에서 수집한 총 4,456건의 데이터이며 이 중 표적(포탄) 데이터는 758건, 클러터(비표적) 데이터는 3,698건이다. 평소에도 표적의 발생 확률(P(E_표적|x))이 낮은 상황이며, 클러터의 발생 확률(P(E_비표적|x))이 높은 상황이기에, AI 분류모델이 특정 대상에 불균형하게 학습되어 평소에는 성능이 우수하나, 표적이 발생이 높은 상황(적 도발의 경우)에서는 AI 분류모델의 성능이 저조하게 발생할 수 있다.

$\[ P\left(E_{\text{비표적}}|x\right)=\frac{P\left(x|E_{\text{비표적}}\right)P\left(E_{\text{비 표적}}\right)}{P\left(x\right)} \]$

(6)

$\[ P\left(E_{\text{표적}}|x\right)=\frac{P\left(x|E_{\text{표적}}\right)P\left(E_{\text{표적}}\right)}{P\left(x\right)} \]$

(7)

$\[ P\left(E_{\text{비표적}}|x\right)>P\left(E_{\text{실탄}}|x\right) \]$

(8)

Table 2.

Learning Data

클러터의 비율이 83%로서 불균형한 부분을 개선하고자 PRODAS 데이터를 활용하여 모델 3, 4, 5에 추가적인 학습을 진행하였다. 모델 3, 4, 5에 적용된 표적 데이터는 2,774건(+2,016), 클러터 데이터는 동일하게 3,698건이며 클러터의 비율은 57%를 차지한다.

PRODAS 데이터의 경우, 풍향 및 풍속 등을 반영한 환경에서 시뮬레이션을 통해 생성되었으며, 일련의 탐지데이터의 누락이 없다. <Figure 7>에서 보는 바와 같이, 실제 표적 이벤트 발생 시 포물선 궤적에서 오차가 발생하며 일부 누락되는 현상이 발생한다(Figure 6-(a)). 실제 장비 운용상에서 발생하는 데이터의 특징(궤적 상 오차, 데이터 누락 등)을 반영하기 위해 PRODAS에서 생성된 표적 데이터(Figure 6-(b))에 대해 오차 및 데이터 누락 등을 적용하여 학습 시 적용하였다. 통상 데이터 전처리 시 데이터 누락의 경우, 해당 이벤트 제거 또는 대체 등의 방법으로 보완을 한다. 그러나, 본 연구에서 개발된 AI 모델이 실제 운용되는 환경을 고려 시, 결측치를 포함한 이벤트, 포물선 궤적 상 오차를 포함한 이벤트 등이 중요하다. AI 분류모델이 학습 데이터에 지나치게 적합하여 실제 장비에 의해 탐지되는 데이터에서는 성능이 낮아지는 과대 적합을 방지하기 위해서다.

Figure 7.

Trajectory of Real Target and PRODAS

4.2 실험결과

본 절에서는 본 연구에서 개발한 AI 분류모델별 성능을 평가 및 비교한다. 이를 위해 먼저, 성능측정에 사용된 데이터 현황, 모델별 성능측정 및 평가지표를 설명하며, 이를 토대로 모델별 성능을 평가한다. 특히, 본 연구에서 개발한 모델들(모델 2~5)의 성능 비교를 위해, 기존 연구(Koh et al., 2022)의 AI 모델(모델 1)을 자체 구현하여 비교한다. 또한, 최종모델(모델 5)를 LSTM 뿐만 아니라 RNN 및 transformer 기반으로 각각 학습 및 성능측정을 비교한다.

(1) 성능측정 데이터

성능 측정환경은 개발환경과 같으며, 학습(Training) 및 검증(Validation)에 사용되지 않은 별도의 5,020건의 데이터를 활용하였다. 5,020건의 데이터 중 표적 데이터는 669건, 클러터 데이터는 4,312건, 허상 표적 데이터는 39건이다. 특히, 표적 데이터의 경우 위치편향이라는 문제점을 가지고 있다. 위치편향이란 야전의 화포 사격 진지가 고정되어 있어서 발생하는 문제로, <Figure 8(a)>과 같이 화포의 위치가 정해져 있어 표적의 궤적이 발생하는 위치도 정해져 있다. 즉, 특정 위치에서 탐지 이벤트 발생 시 표적으로 분류하는 경향이 우세할 수 있다. 실제 전장 상황에서의 적 포탄의 궤적은 통상 북쪽에서 남쪽으로 형성하게 된다. 또한, 위치에 대한 정보가 없는 경우 및 복합적인 상황을 고려 시, 포탄의 궤적은 임의의 방향에서 형성될 수 있다. 위의 표적에 대한 원천데이터를 전처리하여 <Figure 8(b)>와 <Figure 8(c)>에서 보는 바와 같이, 최초 탐지 위치(T1)를 북→남(T2), 그리고 임의방향(T3)으로 처리하여 성능측정에 각각 활용하였다. 반면 클러터 데이터는 <Figure 8(d)>와 같이 탐지구역 내 임의방향에서 생성되기에 별도의 최초 탐지 위치 조정 없이 활용하였다.

Figure 8.

Original Target Data and Location Bias Removed Data

(2) 성능측정 및 평가지표

분류 모형의 예측결과는 혼동행렬(Confusion Matrix)로 나타낸다. <Table 3>에서 보는 바와 같이, 예측결과와 실제값의 조합에 따라 TP(True Positive), FN(False Negative), FP(False Positive), TN(True Negative) 네 가지로 구분한다.

Table 3.

Confusion Matrix

통상 <Table 3>으로부터 모델별 성능측정 및 평가를 위한 지표로 정확도(Accuracy), 재현율(Recall), 정밀도(Precision), F₁ - Score, ROC (Receiver Operating Characteristic) 곡선 등을 사용한다.

$\[ \text{정확도}=\frac{TP+TN}{TP+TN+FP+FN} \]$

(9)

$\[ \text{재현율}=\frac{TP}{TP+FN} \]$

(10)

$\[ \mathrm{정}\mathrm{밀}\mathrm{도} = \frac{TP}{TP+FP} \]$

(11)

$\[ F_1-Score=2\times \frac{\text{정밀도}\times \text{재현율}}{\text{정밀도}+\text{재현율}} \]$

(12)

위 식(9)~(12)는 통상 분류를 위한 AI 모델들의 성능을 비교 평가하는 지표로 사용된다. 본 연구에서 개발한 AI 분류모델은 최종적으로 대포병탐지레이더에서 운용될 것이다. 즉, 개발된 AI 모델의 최종 사용 목적 및 대상을 고려 시, 본 연구에서 최종 적합 모델 선정 시에는 재현율(Recall) 및 계산속도(Computational time)를 기준으로 한다. 재현율(Recall)은 실제 참(Positive)인 건수 중 AI 모델이 참(Positive)으로 판별한 비율이다. 즉, 실제 표적(포탄) 중 AI 모델이 표적으로 판별한 비율인 것이다. 대포병탐지레이더에 탐지 이벤트 발생 시, 실제 표적(포탄)을 클러터로 오분류하는 확률을 줄여야 한다. 표적 및 클러터에 대한 단순 정답 비율(정확도, Accuracy)은 AI 모델이 한쪽으로 편중되어 판별하도록 학습 시에는 높게 측정될 수 있으며, 특히 클러터가 자주 발생하는 대포병탐지레이더 운용환경 고려 시 부적합하다.

계산속도(Computational time)는 0.03초 이내로 설정한다. 최초 탐지 이벤트 발생 후 5초 이내에 최대 13개의 일련의 시계열 데이터를 활용하여 표적으로 분류된 이벤트를 다음 분류 알고리즘으로 전송해야 한다. 레이더 빔의 방사 주기 및 1차 분류에 필요한 방사횟수(최대 13개)를 고려하여 0.03초 이내로 한다.

(3) AI 분류모델 성능측정 결과

기존 연구(Koh et al., 2022)에서 활용된 AI 분류모델 (모델 1)과 본 연구에서 학습 및 고도화를 통해 개발한 모델들(모델 2~5)에 대한 성능 측정결과는 <Table 4>에서 보는 바와 같다. 먼저, 동일 데이터로 기존 연구(Koh et al., 2022)에서 제안한 모델1과 본 연구에서 제안한 방법으로 개발한 모델 2와 성능 측정 결과, 모델 1의 T1에서의 성능지표(정확도, 재현율, 정밀도, F₁ - Score)는 우수함을 알 수 있다. 그러나, T2 및 T3의 데이터로 성능측정 결과 재현율의 경우, 94.81%에서 각각 55.84% (T2) 및 58.44% (T3)로 크게 하락하였다. 반면, 모델 2의 T1, T2, T3에서 각각 재현율의 변화폭은 최대 4.33% (모델 2)이다. 본 연구에서 개발된 모델 2~5는 모델 1과 동일한 상황 데이터(T1, 최초 탐지 위치 미변경)로 학습을 하였음에도 불구하고, 모델 1 대비 T1에서의 성능을 제외한 모든 성능지표에서 우수하며, 모델별 T1, T2, T3에서 측정된 성능 간의 차이가 크지 않다. 이는, 모델 1은 특정 방향에서 발생하는 표적에 대해서만 3차원 및 2차원상에서 위치 및 기울기의 변화량으로 학습하여 특정방향에 편향되어 있다고 볼 수 있다. 즉, 본 연구에서 탐지된 일련의 시계열 데이터들의 각도 및 고도차이로 학습시킨 모델들의 성능은 위치에 편향되어 있지 않으며, 탐지구역 내 어느 방향에서 발생하는 이벤트들에 대해서도 안정적인 성능을 발휘할 수 있다. 대포병탐지레이더의 실제 운용환경을 고려시, 표적(포탄)이 발생하는 위치는 특정할 수 없으며, 운용개념 및 작전상황에 따라 전방위에서 발생하는 이벤트(T3)를 탐지하여 표적/클러터로 분류하여야 한다.

Table 4.

Experimental Result of Each Model

학습 데이터의 불균형을 해소한 모델 3의 성능은 모델 2(학습 데이터 불균형)의 성능 대비 현저하게 우수하다고 볼 수는 없다. 하지만, 학습 데이터의 불균형을 해소한 모델에서 측정된 성능이기에, 해당 성능 측정값들의 객관성을 확보했다고 볼 수 있다. 모델 3의 저조한 성능(재현율, T3 = 69.66%)을 향상하기 위해 개발된 모델 4의 경우, T3에서의 재현율이 84.52%로 우수한 성능을 발휘한다(정확도 95.66%, 정밀도 89.61%, F₁ - Score 0.882). 또한, 실제 대포병탐지레이더에 적용 및 운용상 목적을 고려하여 최대 탐지데이터를 13개로 제한하여 학습시킨 모델 5의 경우, 재현율이 92.21%로 모든 탐지데이터를 학습한 모델 4 대비 성능이 우수함을 볼 수 있다. 즉, 탄도의 모든 궤적(상승부, 전환부, 하강부)을 학습한 모델 4 대비 최초 탐지데이터 최대 13개(상승부)를 학습한 모델 5가 표적(탄도)의 특성을 잘 이해하고 있다고 볼 수 있다. 탄도의 궤적인 포물선에서 상승 → 하강으로 전환되는 부분들이 비표적(클러터)들의 일부 형상과 비슷하기에 모델 4의 재현율이 모델 5보다 상대적으로 저조하다고 볼 수 있다. 한편, 모든 모델의 계산속도는 기준(0.03초) 이내 임을 알 수 있다.

<Table 4>의 지표에서 측정된 값들을 토대로 산출된 모델별 ROC-AUC(Receiver Operation Characteristic Curve-Area Under Curve)는 <Figure 9>과 같다. 성능지표 및 실제 운용환경을 고려한 모델 5의 성능이 기존 연구 모델 1보다 성능이 더 좋다고 평가할 수 있다.

Figure 9.

ROC-AUC of Model 1 and Model 5

AI 기반 분류모델의 실제 적용 목적 및 대상을 고려하여 재현율(Recall)을 극대화할 수 있는임계치(Threshold)를 설정 후 이에 해당하는 정밀도(Precision) 실험결과는 아래 <Table 5>와 같다. 포탄(표적)을 클러터로 오분류하는 것을 최소화하기 위해 최종모델(모델 5)에서는 포탄 분류 임계값을 낮춰서 낮은 확신값(Confidence value)도 포탄으로 분류할 수 있도록 한다. 최종모델의 Validation 과정에서 표적 및 클러터로 각각 분류된 이벤트들의 확신값의 분포 분석을 통해 표적에 대한 재현율(Recall)을 높일 수 있는 최저값을 분석한다. 이후, 최종모델의 Test 과정에 해당 최저값을 적용하여 대포병탐지레이더 운용 목적(실제 표적 미탐지 최소화 또는 제로화)에 부합할 수 있는 모델 설정이 가능하다. 본 연구에서 개발한 AI 기반 분류모델은 최초 탐지 수신 신호 발생 시 표적 분류를 위한 1차 모델이다. 수신 신호들 가운데 실제 표적(포탄)을 클러터로 처리(미탐지)하여 기존의 내장된 분류모델로 전송이 되지 않으면 운용상 심각한 문제를 초래한다. 최초 탐지 신호 중 클러터를 표적으로 1차 분류(오분류)하여 기존의 내장된 분류모델로 전송 시에는 재분류를 하면 되기에 운용상에 문제는 발생하지 않는다. 즉 실제 포탄을 클러터로 오분류할 경우를 제로화(재현율=1)하며, 클러터를 최대한 분류하는 것이 본 연구에서 개발한 모델 5의 역할 및 기능이 되는 것이다.

Table 5.

Precision According to Recall Threshold

(4) 분류 알고리즘별 성능측정

본 절에서는 LSTM 기반의 최종모델(모델 5)를 RNN 및 transformer 알고리즘 기반으로 학습 및 성능을 측정하여 비교한다. 본 연구에서 기존 연구와의 비교분석을 위해 활용한 LSTM 알고리즘 외에 모델 5를 RNN 및 transformer 알고리즘으로 각각 구현한 후, 모델 5 학습에 사용된 학습 및 성능측정 데이터(T3)를 사용한다. 실제 탐지 이벤트 발생 환경특성 반영 및 클래스별 불균형을 제거한 데이터로 학습 및 성능측정을 통해 각 알고리즘별 성능 결과에 대한 객관성을 확보할 수 있다. LSTM에서 설계된 은닉층(2개)과 동일하게 RNN 및 transformer를 설계하여 학습 및 성능을 측정한 결과는 <Table 6>에서 보는 바와 같다. LSTM 기반 모델 5의 재현율(92.21 %)이 RNN 및 transformer에서의 재현율 73.59 %, 88.43 % 보다 우수하다. 본 연구에서 사용되는 입력변수의 개수(1~2개), 탐지 이벤트별 데이터의 최대길이(13개) 등을 고려시 LSTM 기반으로 구현한 표적 분류모델이 RNN 및 transformer 알고리즘 기반의 모델보다 더 적합한 것으로 보인다. 한편, 계산속도는 3개의 알고리즘 모두 기준시간(0.03초 이내)을 충족함을 볼 수 있다.

Table 6.

Experimental Result of Each Algorithm

(5) 현 표적 분류모델과 개발모델의 성능 비교

추가로 대포병탐지레이더에 내장된 분류모델과 개발모델 (모델 5)의 성능을 비교하였다. 포탄 탐지율, 클러터 발생빈도, 허상 표적 발생빈도 등 3가지의 성능지표를 사용하였다. 실제 대포병탐지레이더에 적용 및 운용목적을 고려하여, 재현율이 100% 발휘되는 임계값을 설정하여 비교하였다. 4.2.1절의 총 5,020건(표적 669건, 클러터 4,312건, 허상 표적 39건)의 실데이터를 활용하였다. 본 연구에서 개발한 AI 기반 분류모델(모델 5) 적용 시, 실제 표적(포탄)을 100% 표적으로 분류한다. 포탄 탐지율은 가장 중요한 지표로서, 현 표적 분류모델에서 탐지한 669건의 표적을 개발모델에서도 모두 표적으로 분류하였다. 클러터 발생빈도는 현 표적 분류모델에서 발생한 4,312건이 발생했지만, 개발모델에서는 1,313건이 발생하였다. 클러터 발생을 69.5% 감소시켜 불필요한 빔 방사 방지로 빔 여유 자원을 확보하여 동시탐지능력 및 탐지율 향상을 기대할 수 있다. 허상 표적 발생빈도는 현 표적 분류모델에서는 39건이 발생하였으나, 개발모델에서는 19건이 발생하여 51.3% 감소하였다.

5. 결론

본 연구에서는 대포병탐지레이더의 탐지 신호 중 표적과 클러터를 분류하는 AI 기반 분류모델을 LSTM 기반으로 개발하였다. 기존 유사연구가 학습의 대상이 신호 발생 위치와 기울기의 변화량이지만, 본 연구에서는 신호 발생 위치의 궤적의 각도와 고도편차를 선정하였다. 아울러 AI 분류모델 개발 시 데이터의 불균형을 해소하기 위해, PRODAS에서 표적에 대한 데이터를 추가 추출하여 학습 시에 활용함으로써, 클래스별(표적, 클러터) 균형을 유지할 수 있었다. 화포 위치에 대한 정보가 없는 실상황을 고려하여 위치편향 없이 임의방향에서 생성된 데이터를 활용하였다.

개발모델의 성능분석 결과, 기존 유사연구에서 구현된 AI 기반 분류모델 대비 재현율, 정밀도, 정확도 등에서 우수한 성능을 보여주었다. 해당 모델이 실제 장비에 적용 시 목적 및 운용환경을 고려하여 재현율에 대한 임계치를 조정하여 적용 시에는 클러터의 발생빈도를 69.5% 감소시킬 수 있음을 보여주었다. 이를 통해, 야전부대 운용자들의 피로도 감소뿐만 아니라, 장비의 운용 효율 향상에도 크게 기여할 것으로 예상한다. 본 연구에서 표적 분류를 위해 선정한 특징값, 즉 입력변수가 표적(포탄)의 궤적 및 고도편차 특성을 잘 반영한 결과라고 볼 수 있다. 어떤 데이터를 어떻게 가공하여 AI 모델을 학습시키는지가 해당 AI 모델의 성능을 결정한다고 볼 수 있다.

향후 연구과제는 본 연구를 응용하여 타 무기체계 적용 가능성 여부를 검토하는 것이다. 일차적으로 대포병탐지레이더를 대상으로 본 연구가 수행되었지만, 유사장비인 방공레이더, 해안 감시레이더, 항공기에 탑재된 레이더 등 다양한 레이더 분야에서도 표적과 클러터를 분류하는 문제가 현장에서는 시급하기 때문이다. 레이더 이외에 열상감시장비(TOD), 경계용 CCTV와 같은 영상 분야의 무기체계에도 적용할 수 있는 응용연구를 진행할 것이다.

References

• Callaghan, D., Burger, J., and Mishra, A. K. (2017), Machine learning approach to radar sea clutter suppression, In Proceedings of the IEEE Radar Conference, Seattle, WA, USA, 8-12 May. [https://doi.org/10.1109/RADAR.2017.7944391]
• Cheikh, K. and Soltani, F. (2006), Application of neural networks to radar signal detection in K-distribution clutter, IEE Proc. Radar Sonar Navig, 153, 460-466. [https://doi.org/10.1049/ip-rsn:20050103]
• Fernandes, J. D. C. V., de Moura Junior, N. N., and de Seixas, J. M. (2022), Deep learning models for passive sonar signal classification of military data, Remote Sensing, 14(11), 2648. [https://doi.org/10.3390/rs14112648]
• Huizing, A., Heiligers, M., Dekker, B., de Wit, J., Cifola, L., and Harmanny, R. (2019), Deep learning for classification of mini-UAVs using micro-Doppler spectrograms in cognitive radar, IEEE Aerospace and Electronic Systems Magazine, 34(11), 45-56. [https://doi.org/10.1109/MAES.2019.2933972]
• Jeon, W. J., Kim, H. S., Park, M. H., Jung, D. M., Kwon, S. W., Jo, M. H., Kang, Y. D., and Yoo, S. K. (2020), Development of Sea Clutter Model for Performance Analysis of Naval Multi Function Radar, The Journal of The Institute of Internet, Broadcasting and Communication, 20(2), 109-115.
• Joon, H., Bae, C. S., and Yang, H. G. (2018), Clutter Suppression Method for Altitude and Mainlobe Clutter In Moving, Journal of the Korea Institute of Information and Communication Engineering, 22(10), 1386-1391.
• Koh, I. S., Kim, H., Chun, S. H., and Chong, M. K. (2022), Efficient Recurrent Neural Network for Classifying Target and Clutter: Feasibility Simulation of Its Real-Time Clutter Filter for a Weapon Location Radar, Journal of Electromagnetic Engineering and Science, 22(1), 48-55. [https://doi.org/10.26866/jees.2022.1.r.60]
• Khudov, H., Yuzova, I., Lisohorskyi, B., Solomonenko, Y., Mykus, S., Irkha, A., Onishchuk, V., Sukonko, S., Semiv, G., and Bondarenko, S. (2021), Development of Methods for Determining the Coordinates of Firing Positions of Roving Mortars by a Network of Couter-Battery Radars, EUREKA: Physics and Engineering, 3, 14-150. [https://doi.org/10.21303/2461-4262.2021.001821]
• Kim, B. J. (2023), Analyzing the Impact of Observation Errors in Counter-Battery Radar and Errors of Artillery on Firing Effectiveness, Journal of the Korea Society for Simulation, 32(2), 67-77.
• Kim, H. R., Jung, J. S., Kwag, Y. K., Kim, J. W., Kim, J. H., and Ko, J. S. (2014), Performance Analysis on Terrain-Adaptive Clutter Map Algorithm for Ground Clutter Rejection of Weather Radar, The Journal of Korean Institute of Electromagnetic Engineering and Science, 25(12), 1292-1299. [https://doi.org/10.5515/KJKIEES.2014.25.12.1292]
• Kim, T. I. and Kim, S. (2023), Characteristics of Land Clutter Signals and Their Synthesis Methods, The Journal of Korean Institute of Electromagnetic Engineering and Science, 34(2), 79-87. [https://doi.org/10.5515/KJKIEES.2023.34.2.79]
• Lin, G. M., Nagamine, M., Yang, S. N., Tai, Y. M., Lin, C., and Sato, H. (2020), Machine learning based suicide ideation prediction for military personnel, IEEE Journal of Biomedical and Health Informations, 24(7), 1907-1916. [https://doi.org/10.1109/JBHI.2020.2988393]
• Li, Y., Xie, P., Tang, Z., Jing, T., and Qi, P. (2019), SVM-based sea-surface small target detection: A false-alarm-rate-controllable approach, IEEE Geosci. Remote Sens. Lett, 16, 1225-1229. [https://doi.org/10.1109/LGRS.2019.2894385]
• Moon, C. H., An, D. J., and Lee, J. H. (2018), Surface Clutter RCS Analysis for Ground-Based Radar, The Journal of Korean Institute of Electromagnetic Engineering and Science, 29(6), 433-440. [https://doi.org/10.5515/KJKIEES.2018.29.6.433]
• Park, S. J. and Jin, H. S. (2020), Classification Type of Weapon Using Artificial Intelligence for Counter-battery Radar, Journal of Institute of Korean Electrical and Electronics Engineers, 24(4), 921-930.
• Pei, J., Yang, Y., Wu, Z., Ma, Y., Huo, W., Zhang, Y., and Yang, J. (2022), A sea clutter suppression method based on machine learning approach for marine surveillance radar, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 15, 3120-3130. [https://doi.org/10.1109/JSTARS.2022.3167410]
• Temlioglu, E. and Erer, I. (2021), A novel Convolutional Autoencoder-Based Clutter Removal Method for Buried Threat Detection in Ground-Penetrating Radar, IEEE Transactions on Geoscience and Remote Sensing, 60. [https://doi.org/10.1109/TGRS.2021.3098122]
• Tural, S., Samet, R., Aydin, S., and Traore, M. (2022), Deep learning based classification of military cartridge cases and defect segmentation, IEEE Access, 10, 74961-74976. [https://doi.org/10.1109/ACCESS.2022.3191328]