Text-to-text 학습을 수행하기 위해서는 입력 값인 테이블 데이터를 하나의 텍스트 데이터로 변환해야 한다. 테이블 데이터를 텍스트로 변환하는 가장 단순한 방법은 필드명과 필드에 해당하는 값을 단순히 이어 붙이는 것이다. 하지만 이러한 전처리는 필드명과 해당 값이 구분되지 않아 테이블의 구조적 특징을 반영할 수 없다(Liu et al., 2018). 기존 table-to-text 연구들은 단일 정보 테이블의 구조적 특징을 반영하기 위해 필드명과 필드값 위치 정보를 추가로 제공할 경우 성능이 향상됨을 실험적으로 증명하였다 (Lebret et al., 2016; Liu et al., 2018). 따라서 본 연구에서는 스페셜 토큰을 활용하여 테이블 데이터의 구조적 특징을 반영할 수 있는 전처리 기법을 제안한다. 각 필드에 해당하는 값은 단일 값인 경우도 있으며 여러 행으로 이루어진 다중 값일 수도 있다. 또한 각 필드명과 필드값은 하나 이상의 토큰으로 이루어질 수 있다. 본 연구에서는 필드명에 대한 스페셜 토큰 <c>와 </c>를 각각 필드명의 앞 뒤에 추가함으로써, 하나 이상의 토큰으로 이루어진 필드명 영역을 구분하였다. 필드값 또한 스페셜 토큰 <v>와 </v>를 앞과 뒤에 추가하여 필드값 영역을 표시하였다. 예를 들어 스페셜 토큰을 활용하지 않는 경우 <Figure 5>의 단일 정보 테이블 Unit ID는 [Unit, ID, 1001]의 시퀀스로 표현 할 수 있지만, 첫번째 필드명이 Unit인지 Unit ID인지 구분하기 어렵다. 하지만 스페셜 토큰을 활용할 경우 <Figure 5>의 Unit ID는 [<c>, Unit, ID, </c>, <v>, 1001, </v>]로 표현 할 수 있기 때문에 여러 토큰으로 이루어진 필드명과 필드값의 범위를 구분하기 쉽다.

Figure 5. 
The Preprocessing Process for Single-Row Table

기존 table-to-text 연구들은 단일 정보 테이블에만 적용이 가능하며 두 개 이상의 정보를 가진 다중 정보 테이블에는 적용할 수 없다. 하지만 제안 전처리 기법은 한 필드 내 여러 값들 사이에 이를 구분해주는 스페셜 토큰을 추가함으로써 다중 정보 테이블에도 쉽게 적용할 수 있다. 예를 들어 <Figure 6>의 Location 필드값의 시퀀스가 [<v>, 39., 303, N, 127.,333, E, 38., 778, N,...</v>]로 표현 될 경우, 같은 필드 내의 다른 값을 구분하기 어렵다. 하지만 각 필드값의 영역을 구분하기 위한 스페셜 토큰 <s>를 추가하면 <Figure 6>의 오른쪽과 같이 다중 정보 테이블을 간단하게 표현할 수 있다. 따라서 제안 전처리 기법을 활용한 방법론은 보고서 생성시 어떤 필드가 중요한지 필드별 어텐션 스코어를 세부적으로 산출할 수 있다.

Figure 6. 
The Preprocessing Process for Multi-Row Table

본 연구에서 제안하는 TaT4는 자연어 처리에서 뛰어난 성능을 보이고 있는 트랜스포머(Vaswani et al., 2017)를 활용한 인코더와 디코더로 구성되어 있다. 3.1장에서 설명한 전처리 과정을 거친 테이블 데이터는 길이가 n인 시퀀스로 변환된다. 각 시퀀스 값들은 d차원으로 임베딩되어 입력 시퀀스 X=x1,x2,…,xn∈Rn×d로 토큰화 된다. 인코더는 입력 시퀀스 X를 입력 받아 표현 벡터 Z=z1,z2,…,zn∈Rn×d을 산출한다. 디코더는 표현 벡터 Z와 이전 시점 t-1까지 생성된 보고서의 내용인 시퀀스 y^1:t-1가 주어졌을 때, 다음 시점의 토큰 y^t을 생성한다. 모델의 목적 함수는 식 (1)과 같이 모델의 파라미터θ에 대하여 길이가 n^'이고 각 토큰의 임베딩 차원이 d인 정답 보고서의 시퀀스 Y=y1,y2,…,yn'∈Rn'×d가 생성될 로그 우도를 최대화하는 것이다.

인코더와 디코더는 각각 멀티 헤드 셀프 어텐션 레이어와 다중 레이어 퍼셉트론으로 구성된 N개의 블록으로 이루어져있다. 셀프 어텐션은 테이블 시퀀스를 이루는 각 토큰의 표현 벡터를 효율적으로 인코딩하기 위해 분석 대상이 되는 토큰과 나머지 토큰에 대한 가중치를 계산하는 메커니즘이다. 셀프 어텐션을 통한 토큰의 가중합 벡터는 수식 (2)와 같이 각각 분석 대상이 되는 단어를 표현하는 쿼리(query; q), 쿼리와의 유사도를 계산하기 위한 키(key; k), 키 값에 해당하는 토큰 벡터인 밸류(value; v)를 통해 구한다. q, k, v는 식 (3)과 같이 d_model차원을 가진 토큰 임베딩 벡터인 Q, K, V에 대하여 각각 linear projection 행렬인 WiQ,WiK,WiV를 곱하여 구해지며, q와 k의 유사도는 내적을 통해 계산된다. 이후 q와 k의 차원 증가에 따른 발산을 방지하기 위해 k의 차원인 d_k의 제곱근 값으로 스케일링한 후, 소프트맥스(softmax) 함수를 통해 0에서 1사이의 값으로 어텐션 스코어가 산출되어 v의 가중치로 활용된다. 또한 식 (4)과 같이 하나의 헤드가 아닌 서로 다른 h개의 헤드로부터 어텐션 스코어를 산출하여 합한 후, linear projection 행렬인 WiO를 통해 테이블의 시퀀스를 구성하는 개별 토큰에 대한 최종적인 표현 벡터를 산출한다.

전장 상황 인지 보고서는 탐지하고자 하는 개체의 종류와 보고 형식에 따라 다양한 종류가 있다. 예를 들어 지대공 상황에서 적 전투기의 비행 항적을 보고하는 상황이 있을 수 있고, 적/아군 지상 부대의 근접 전투 상황에서 아군 부대의 피해 규모를 보고하는 상황이 존재할 수도 있다. 하지만 모든 보고 상황에 따라 보고서 생성 모델을 학습하는 것은 많은 시간이 요구되기 때문에 현실적으로 적용하기가 어렵다. 이 문제를 해결하기 위해 TaT4는 Raffel et al.(2019)에서 활용된 태스크 토큰을 다중 보고서 생성으로 확장한다. TaT4는 보고서 유형을 토큰화하여 모델에 추가적으로 입력해줌으로써 간단하고 효과적인 멀티 태스크 학습을 수행한다. <Figure 7>은 TaT4의 멀티 태스크 학습을 보여준다. <Figure 7>에서 볼 수 있듯이 TaT4는 보고서 유형을 토큰화하여 전처리된 테이블 시퀀스 앞에 추가한 후 모델에 입력한다. 모델은 학습 과정을 거치면서 보고서 유형 정보와 테이블 정보 간의 관계를 학습하여 적절한 보고서를 생성하게 된다. 또한 멀티 태스크 학습은 여러 보고서를 하나의 데이터셋으로 통합하여 단일 모델로 학습하기 때문에 학습 데이터가 증가하는 효과가 있으며, 개별 보고서 생성 태스크에 대한 과적합을 방지할 수 있다(Liu et al., 2019).

Figure 7. 
Multi-Task Learning with Report Type Prefix

본 연구에서 제안하는 TaT4는 트랜스포머(Vaswani et al., 2017)와 동일한 구조를 가지고 있으며, 옵티마이저는 Adafactor(Shazeer et al., 2018)를 사용하였다. 학습률은 0.001, 배치 사이즈는 64, 에포크는 50으로 3회 반복 실험을 진행하였다. 특히 본 연구에서는 TaT4의 한국어 생성 능력을 향상시키기 위해 한국어 3억 7천만 개 문장과 한/영 뉴스 데이터에서 구축한 총 64,000개 단어를 통해 사전 학습된 KE-T5(Shin et al., 2021)로 모델 파라미터를 초기화하였다. 또한 TaT4는 3개의 국방 M&S에 등장한 지명, 무기 및 개체명과 같은 고유명사들과 테이블 구조를 표현하는 스페셜 토큰들을 포함해 기존 사전에 존재하지 않는 395개의 단어를 추가하여 총 64,395개로 학습을 수행하였다. 테스트 단계에서는 단어 생성 시 빔 서치(beam search)를 사용하였으며 빔의 개수는 3으로 설정하였다. 각 전장 상황 인지 보고서별로 학습, 검증, 테스트 데이터의 비율은 7:1:2 로 설정하였다. 멀티 태스크 학습에는 각 보고서별 학습 데이터만을 사용하여 학습하였고, 보고서별로 검증 데이터에 대해 최적의 검증 성능을 보여주는 모델에 대해 각각 테스트를 진행하였다(Raffel et al., 2019).

평가지표는 기존 table-to-text 연구에서 많이 사용되는 ROUGE-4 F1(Lin, 2004)과 BLEU-4(Papineni et al., 2002)를 활용하였다(Lebret et al., 2016; Liu et al., 2018). ROUGE는 식 (5), (6), (7)과 같이 정답 문장과 예측 문장의 n-gram에 대한 점수로 recall과 precision, F1 점수를 계산할 수 있다. 식 (5)와 식 (6)의 references는 정답 문장의 집합, 식 (6)의 candidates는 모델이 생성한 예측 문장의 집합을 의미하며 본 연구에서는 복수의 정답과 예측을 허용하지 않고 단일 정답 보고서에 대한 하나의 예측 값에 대해 점수를 계산하였다. Count(gram_n)는 정답 혹은 예측 문장의 n-gram의 개수를, Count_match(gram_n)는 정답 문장과 예측 문장에 공통적으로 있는 n-gram의 개수를 나타낸다. 식 (5)는 정답 문장의 n-gram개수에 대해 예측 문장과 실제 문장이 겹치는 n-gram의 개수, 식 (6)은 예측 문장의 n-gram개수에 대해 예측 문장과 실제 문장이 겹치는 n-gram의 개수로 계산되며, 식 (7)은 recall과 precision의 조화 평균으로 계산된다.

BLEU는 식 (6)과 같은 n-gram precision 기반 점수이다. 하지만 BLEU는 생성 문장이 과도하게 길어지거나 같은 단어를 반복적으로 생성할 경우 페널티를 부과한다. 식 (8)과 같이 n-gram precision을 계산할 때 Count_match(gram_n) 대신 Count_clip(gram_n)을 사용한다. 식 (8)의 Count_clip(gram_n)은 예측 문장에서 특정 n-gram이 생성된 개수가 실제 정답 문장에서 등장한 개수보다 많을 경우, Count_match(gram_n)를 정답 문장에서 등장한 최대값으로 클립핑(clipping)하여 중복되는 단어에 대한 점수의 증가를 방지한다. 또한 식 (9)와 같이 예측 문장이 정답 문장보다 짧을 경우 1보다 작은 값을, 정답 문장보다 길 경우 1의 가중치를 부여한다. 최종적인 BLEU는 식 (10)과 같이 uni-gram부터 n-gram까지의 조화 평균으로 계산된다. w_n는 식 (8)에 대한 가중치를 나타내며 일반적으로 1n로 설정하여 모든 p_i에 동일한 가중치를 적용한다.

본 연구는 제안 방법론의 효과를 입증하기 위해 3개의 국방 M&S로부터 나온 8개의 전장 상황 인지 보고서 데이터에(reconnaissance wing video interpretation, engagement result, ground forces observation, legion UAV video interpretation, anti-aircraft tracking, radar detection, engagement situation, warship observation) 대해 실험을 진행하였고, 제안 방법론의 우수성을 입증하기 위해 다양한 모델을 TaT4와 비교하였다. Structure-aware Seq2Seq(Liu et al., 2018)은 단일 정보 테이블을 위한 전처리 방법, 듀얼 어텐션 메커니즘, 그리고 필드 게이트 인코더를 제안한 대표적인 table-to-text 방법론으로 제안 방법론의 비교 모델로 선정하였다. 그리고 사전 학습과 멀티 태스크 학습의 효과를 확인하기 위해서 사전 학습과 멀티 태스크를 모두 사용하지 않은 모델인 트랜스포머와 사전 학습 후 개별 보고서에 대해서만 전이 학습을 수행한 TaT4 without (w/o) multi-task (MT)를 제안하는 TaT4와 비교하였다. 비교 방법론 모두 멀티 태스크를 사용하지 않기 때문에 보고서별로 총 8개의 모델을 구축하여 성능을 평가하였다. <Table 2>는 제안 방법론과 비교 방법론들의 3회 반복 실험에 대한 평균 ROUGE-4 F1, BLEU-4와 표준오차를 나타낸 것이고, <Table 3>은 학습 데이터가 가장 많은 보고서와 가장 적은 보고서의 각 방법론들로부터 생성된 보고서 예시이다.

<Table 2>의 실험 결과에서 알 수 있듯이 모든 보고서에서 TaT4가 비교 방법론에 비해 매우 좋은 성능을 보이는 것을 확인할 수 있었다. 특히 structure-aware Seq2Seq은 대부분의 보고서에서 매우 낮은 성능을 보였으며 학습에 실패했다는 것을 알 수 있었다. Structure-aware Seq2Seq은 long short-term memory (LSTM) 기반 순환신경망을 기본 구조로 사용하기 때문에 전장 상황 보고서와 같이 보고서의 길이가 길어질수록 장기 의존성(long-term dependency)에 의해 학습이 제대로 되지 않는다. 실제로 <Table 3>에서 structure-aware Seq2Seq으로 생성된 보고서를 보면 트랜스포머 기반 모델들에 비해 생성된 시퀀스가 짧은 것을 알 수 있다. 특히 데이터가 59개 밖에 되지 않는 대공 항적 보고서 같은 경우, 학습에 완전히 실패한 것을 확인할 수 있다. 반면에 제안 모델인 TaT4는 셀프 어텐션 메커니즘 기반 트랜스포머를 기본 구조로 활용하고 동시에 사전 학습을 활용함으로써 장기 의존성에 문제점을 줄이고 안정된 학습을 할 수 있었다. 또한 멀티 태스크를 통해 모든 보고서를 학습 데이터로 사용하여 데이터 부족 문제를 극복할 수 있었다. 실제로 TaT4는 모든 보고서에서 적절한 문장을 생성하였으며 데이터가 적은 상황에서도 의미 있는 수준의 보고서를 생성하는 것을 확인하였다. 특히 TaT4는 다중 정보 테이블을 입력값으로 가지는 대공 항적 보고서에서 다른 비교 방법론들보다 높은 BLEU-4와 ROUGE-4 F1 값을 보여주었다. 이를 통해 제안하는 전처리 기법과 멀티 태스크 학습이 다중 정보 테이블에서도 효과적이라는 것을 입증하였다.

사전 학습과 멀티 태스크가 TaT4 학습에 어떠한 영향을 주었는지 파악하기 위해서 사전 학습과 멀티 태스크를 모두 사용하지 않은 트랜스포머와 멀티 태스크를 사용하지 않은 TaT4 w/o MT 모델을 제안하는 TaT4와 비교하였다. <Table 2>에서 트랜스포머와 TaT4 w/o MT는 대부분 structure-aware Seq2Seq와 비슷하거나 더 좋은 성능을 보였다. 하지만 제안 방법론인 TaT4에서 멀티 태스크 학습을 제외하고 사전 학습만을 활용한 TaT4 w/o MT가 대부분 보고서에서 학습에 실패하였고 사전 학습을 사용하지 않은 트랜스포머보다도 성능이 낮음을 확인할 수 있었다. 반면에 전투 함정 관측 보고서(warship observation)와 정찰 비행단 영상 판독 보고서(reconnaissance wing video interpretation)에서는 BLEU-4 기준 65.65%, 85.58%를 달성하여 제안하는 TaT4에 준하는 성능을 보여주었다. 주목할 점은 학습에 실패한 보고서들의 데이터 개수이다. TaT4 w/o MT가 성공적으로 학습한 보고서는 CH warship observation과 CJ21 reconnaissance wing video이며 데이터 개수는 각각 약 7,000개와 3,400개로 학습하기 적당한 개수라고 판단할 수 있다. 하지만 실패한 보고서의 데이터 수는 500개 이하로 매우 적었다. 즉 학습에 적당한 데이터가 있을 때는 성능이 향상되지만 그렇지 않을 경우 오히려 악영향을 끼치고 있다는 것을 알 수 있었다. 이는 신문 혹은 메신저 데이터로 이루어진 사전 학습 데이터와 전장 상황 인지 보고서 데이터의 도메인 차이로 인해 일반화가 제대로 되지 못했다고 해석할 수 있다. 실제로 <Table 3>에서 TaT4 w/o MT로 생성한 대공 항적 보고서는 보고서에 적합하지 않은 단어를 다수 출력한 것을 확인 할 수 있었다. 하지만 TaT4 w/o MT와 달리 제안 방법론인 TaT4는 보고서 유형을 추가적으로 모델에 입력함으로써 여러 보고서를 단일 모델로 생성할 수 있는 멀티 태스크 학습을 수행하였다. 이는 모든 보고서를 하나의 데이터셋으로 취급하기 때문에 특정 보고서에 과적합 되지 않는 효과와 데이터 증가 효과를 통해 일반화 성능을 향상시킬 수 있었다. 결론적으로 실험 결과들을 통해 사전 학습과 멀티 태스크의 상호 보완적인 관계가 TaT4의 성능을 향상시킬 수 있었고 TaT4가 기존 table-to-text 모델보다 우수하다는 것을 입증하였다.

또한 실제 전장 상황에서는 모든 필드 정보를 얻을 수 없기 때문에 하나의 보고서에서도 수집된 정보와 현 상황에 맞게 적절한 보고서를 생성할 수 있어야 한다. <Figure 8>은 교전 결과 보고서에서 적군 정보 유무에 따른 데이터 예시(table)와 예측값(prediction)을 나타낸다. <Figure 8>의 어텐션 스코어는 TaT4가 적군 정보의 유무에 따라 어떤 필드에 가중치를 두었는지 파악하기 위해 각 필드에 해당하는 토큰들의 어텐션 스코어를 산출한 값이다. 전장 상황 인지 보고서에서 가장 중요한 부분은 상황이 발생한 정확한 시간과 장소를 보고하는 것이다. 본 연구는 <Figure 8>을 통해 두 보고서 모두 보고 부대의 위치(위경도)에 가중치가 높은 것을 알 수 있었다. 특히 두 번째 그림의 경우에는 적군 부대를 탐지한 상황으로 적군 부대의 규모와 종류, 이동 방향에 가중치가 높은 것을 알 수 있었다. 어텐션 스코어 결과는 TaT4가 상황에 맞게 적절한 보고서를 생성할 수 있음을 보였으며 실제 전장 상황에서 활용할 수 있는 가능성을 보여주었다.

Figure 8. 
Comparison of Attention Scores Depending on Presence of Enemy Information on CJ21 Engagement Result