문서 요약은 결과물의 형태에 따라 크게 추출요약과 생성요약 두 가지로 구분된다. 추출요약은 원문의 내용 중 중요하다고 판단되는 문장의 인덱스를 추출하여 요약문으로 활용하는 방법론이다. 따라서 각 문장에 해당하는 인덱스를 분류(classification)하거나 순서(ranking)를 매기는 방식으로 문제가 정의된다. 생성요약은 원문의 내용 중 핵심적인 내용을 간추려 새로운 문장으로 생성해내는 NLG 기반의 방법론이다. 새로운 문장을 구성해야 하기 때문에 추출요약 과업보다 난이도가 높지만 보다 자연스러운 요약문을 얻을 수 있다는 장점이 존재한다. 본 연구에서는 생성요약 과업이 현실세계에 적용하는 응용연구로서 더 적합하다고 판단하였기 때문에 생성요약 모델을 사용하여 실험을 진행하였다.

현재 생성요약 모델 중 가장 우수한 성능을 보이는 모델은 BART를 기반으로 하고 있다(Aghajanyan et al., 2021). BART는 Facebook에서 공개한 인코더-디코더 형태로 구성된 모델로, 입력 텍스트에 다양한 노이즈(noise)를 추가하고 이를 복원하는 방식의 사전학습을 진행한다. 사전학습을 위해 byte-level Byte-Pair-Encoding(BPE)을 사용하여 토큰화 하였고, 사용된 노이즈는 총 다섯 가지로 각각 토큰 마스킹(token masking), 토큰 삭제(token deletion), 텍스트 채우기(text infilling), 문장 혼합(sentence permutation), 그리고 문서 회전(document rotation)으로 불린다.

토큰 마스킹 방법은 BERT 모델에서 제안한 방법과 같이 문장 내 임의의 토큰에 마스킹을 적용한 후 이를 복원하는 학습 방법이다. 토큰 삭제 방법은 입력 문장에서 임의로 선택된 토큰을 삭제한 후 삭제된 토큰의 위치를 찾는 학습 방법이다. 텍스트 채우기 방법은 SpanBERT(Joshi et al., 2020)에서 영감을 받은 방법이며, 문장 내 토큰을 마스킹한 후 마스킹 된 토큰이 총 몇 개인지를 예측하는 학습 방법이다. 이 때 한 개 이상의 연속된 토큰을 마스킹할 수도 있지만 어떠한 토큰도 마스킹하지 않은 경우에도 마스킹 토큰을 삽입하여 마스킹된 토큰의 개수를 예측해야 한다는 특징이 있다. 문장 혼합 방법은 문서 내 문장을 구분한 후 순서를 섞는 방식으로 노이즈를 추가하는 학습 방법이다. 마지막으로 문서 회전은 문서 내 임의의 토큰을 선택한 후 문서를 해당 토큰 위치부터 시작하도록 순서를 회전하여 실제 문서의 시작을 구분하도록 예측하는 학습 방법이다. 해당 논문의 실험 결과에 따르면 텍스트 채우기 방법을 사용하여 사전학습을 진행했을 때 가장 우수한 성능을 보였다.

이후 BART 모델을 문서요약 과업에 맞게 미세조정하는 단계에서는 원문을 입력 데이터로, 대응하는 요약문을 레이블(label)로 활용한다. 디코더는 매 시점마다 미리 정의된 어휘 사전의 분포에서 가장 등장할 확률이 높은 단어를 선택하고 각 시점의 출력값을 취합하여 최종 요약문을 생성한다. 본 연구에서 사용한 KoBART의 어휘 사전은 30,000 차원으로 구성되어 있다.

Tacotron(Wang et al., 2017)은 Google에서 공개한 음성합성 모델이다. Tacotron에서는 음성합성을 위해 전통적인 방식으로 언어적인 특성과 음성 특성을 추출하는 대신, 텍스트와 음성의 쌍으로 구성된 많은 데이터로 학습한 단일 신경망으로 이를 대체하였다. Tacotron은 인코더-디코더와 어텐션(attention) 구조의 형태로 구성되어 있으며, 인코더에서는 텍스트를 캐릭터(character) 단위로 나눈 원-핫(one-hot) 벡터를 입력으로 받아 입력 텍스트에 대한 정보를 추출한다. 이 과정에서 문장 내의 정보를 추출하는 데 효과적이라 알려져 있는 CBHG(1-D convolutional bank + highway network + bidirectional GRU) 모듈을 사용한다. 디코더에서는 인코더에서 전달되는 정보와 어텐션 기법을 활용하여 음성 특징 벡터인 멜-스펙트로그램(mel-spectrogram)을 순차적으로 출력한다. 이후 CBHG 모듈을 사용하여 후처리를 진행한 후 Griffin-Lim(Griffin and Lim, 1984) 알고리즘을 사용하여 최종 음성 신호를 생성한다. <Figure 1>은 멜-스펙트로그램의 출력 예시를 나타낸다(Shen et al., 2018).

Figure 1. 
Example of Mel-Spectrogram

Tacotron2는 기존 Tacotron의 한계를 개선한 모델이다. 기존 Tacotron에서 최종 음성을 출력하기 위하여 사용하는 Griffin-Lim 알고리즘은 WaveNet과 같은 신경망 기반의 방법론보다 합성되는 음성의 품질이 낮다는 한계가 존재했다. 따라서 해당 연구에서는 기존 Tacotron 기반의 모델을 사용하지만 디코더를 통해 생성된 멜-스펙트로그램을 WaveNet 모델의 입력으로 사용하여 상대적으로 높은 품질의 음성을 합성하는 방법을 제안하였다.

모델 경량화(model compression)는 큰 모델이 좋은 성능을 보이지만 용량 및 추론 시간의 한계로 서비스 단계에서 활용할 수 없는 상황을 해결하기 위해 등장한 방법론이다. 그 중 지식 증류(knowledge distillation) 기법은 큰 모델의 지식(knowledge)을 정의하고, 상대적으로 작은 모델이 이를 전달받아 좋은 성능을 얻도록 유도하는 학습 방법이다(Hinton et al., 2015). 지식 증류 기법은 자연어 처리, 이미지 처리, 음성 처리 등 다양한 도메인의 과업에서 범용적으로 활용가능하다. 또한 모델의 구조에 의존하지 않고 경량화를 수행할 수 있다는 것이 장점이며 모델의 예측 확률 분포, 모델의 중간 레이어의 벡터 표현, 또는 모델 내 레이어 간 관계 등 다양한 지식을 정의하여 작은 모델에 전달할 수 있다(Gou, Yu, Maybank, & Tao, 2021).

본 연구에서 제안하는 통합 프레임워크의 학습 및 추론 절차는 <Figure 2>에서 확인할 수 있다. 제안한 프레임워크에서는 관련 연구에서 소개한 딥러닝 기반의 KoBART(문서요약), Tacotron2(음성합성), Waveglow(음성합성) 세 가지가 사용되었으며, 문서요약과 음성합성이 별도의 학습 과정을 거친 후 추론 단계에서 통합된다.

Figure 2. 
Overall Architecture

문서요약 모델인 KoBART를 학습할 때는 위키피디아 등 일반적인 도메인의 텍스트로 사전학습된 모델을 기반으로 하여 수집한 뉴스 도메인의 데이터로 미세조정을 수행하였다. 음성합성 모델인 Tacotron2를 학습할 때는 단일 여성 화자의 발화로 구성된 KSS 데이터셋을 사용하여 모델을 사전학습한 후, 합성하고자 하는 인물의 음성 발화 데이터로 추가 학습을 수행하였다. 마지막 추론 단계에서는 문서요약 모델의 추론 결과인 요약문이 음성합성 모델의 입력 텍스트로 사용되어 요약문에 대한 합성된 발화를 출력한다.

본 연구에서 제안하는 통합 프레임워크의 활용도를 높이기 위해서는 요약문을 자연스러운 발화로 이어지게 하는 완성도 높은 음역 모듈이 필수적이며, 추론 단계에서의 연산 자원 효율화 및 시간 단축을 위한 모델 경량화도 함께 고려되어야 한다. 이를 위해 본 연구에서 사용된 음역모듈과 수행한 경량화 과정에 대해서는 각각 다음 두 절에서 설명한다.

음성합성 모델이 숫자나 영어 등 한글이 아닌 텍스트까지 발화로 합성하기 위해서는 숫자와 영어가 포함된 충분한 학습 데이터를 확보해야 한다. 그러나 현실적으로 합성하고자 하는 인물에 대한 많은 발화 데이터를 확보하는 것이 어려운 경우가 많다. 따라서 제안하는 프레임워크에서는 문서요약 모델의 추론 결과인 요약문 내 포함된 숫자와 영어 표현을 한글로 바꾸어 주는 음역모듈을 도입하였다.

모듈을 구축하기 위해서 규칙(rule) 기반의 방법론과 신경망 기반의 방법론을 함께 활용하였다. 먼저 규칙 기반의 음역모듈은 숫자를 한글로 변환하는 상황에서 사용되었다. 예를 들어 ‘7시’를 ‘일곱 시’로, 그리고 ‘7월’을 ‘칠월’로 변환하는 등 학습 데이터가 속한 뉴스 도메인에서 충분히 등장할 수 있다고 판단되는 상황의 음역 표현에 대한 규칙을 미리 설정하였다. 이는 자주 등장하는 숫자 표현에 대한 빠른 추론이 가능하다는 장점이 존재한다. 뉴스 데이터의 특성 상 앞서 언급한 경우를 제외한 특수한 숫자 표현은 빈번하게 등장하지 않기 때문에 빠른 추론을 목적으로 할 경우 규칙 기반 음역모듈이 효과적이라 할 수 있다.

두 번째로 영어 표현에 대한 음역 작업은 LSTM 신경망 기반의 모듈을 사용하였다. 시퀀스 데이터를 효과적으로 처리할 수 있는 LSTM과 어텐션 기반의 모델을 사용함으로써 변환이 필요한 영어 텍스트가 입력으로 들어왔을 때 이에 대응하는 한글 표현을 출력할 수 있다. 신경망 기반의 음역모듈은 규칙 기반 음역모듈보다 상대적으로 추론 속도가 느리지만 다양한 형태의 입력에 대해서 상대적으로 안정적인 음역 품질을 보인다. 신경망 기반 음역모듈의 경우 웹 상에 공개된 기학습된 모델을 사용하였다 .⁴⁾

본 연구에서는 응용 서비스 측면에서 모델의 용량을 줄이고 각 단계에서 소요되는 추론 시간을 감소시키고자 경량화 작업을 수행하였다. 문서요약 모델에 대해서는 지식 증류 기법의 일종으로, 사전학습된 KoBART를 미세조정하는 과정에서 레이어의 일부를 추출한 후 학습을 수행하는 SFT 기법을 사용하여 DistilKoBART를 구축하였다(Shleifer and Rush, 2020). Figure 3은 DistilKoBART를 학습하는 과정을 나타낸 것이다. DistilKoBART는 추출하는 레이어의 개수에 따라 다양한 형태로 구축할 수 있는데, 본 연구에서는 인코더 3개-디코더 3개, 인코더 3개-디코더 6개, 그리고 인코더 3개-디코더 3개로 구성된 DistilKoBART를 구축하였다. 이후 실험 결과를 제시할 때 각 모델을 DistilKoBART-6-3, DistilKoBART-3-6, DistilKoBART-3-3으로 명명하였다.

Figure 3. 
DistilKoBARTConstruction Process

음성합성 모델인 Tacotron2는 모델의 출력값인 멜-스펙트로그램을 음성으로 변환하기 위해 추가적으로 WaveNet 모듈을 사용한다. 그러나 자기-회귀(auto-regressive) 기반의 WaveNet 모듈은 음성 합성 속도가 느리다는 한계점이 존재한다. 따라서 본 연구에서는 해당 모듈 대신 Waveglow 모듈로 대체함으로써 추론 속도 측면에서의 경량화를 수행하였다. Waveglow는 상대적으로 빠른 음성합성 속도를 보이는 flow 기반의 모델이며, 자기-회귀 형태가 아닌 역함수 변환이 가능한 함수를 사용하여 음성 데이터의 분포를 직접적으로 모델링하는 방법론이다(Prenger et al., 2019). 모델 크기 측면에서는 WaveNet보다 크지만 추론 속도 측면에서는 매우 유리하며, 정성적으로 합성된 음성의 품질을 평가했을 때 두 모델의 결과물 간 유의미한 차이가 나지 않는다고 판단하였다.⁵⁾

문서요약 모델을 학습하기 위해서 2020년 AI 데이터셋 구축 사업의 일환으로 비플라이소프트 주관 하에 구축된 한국어 문서요약 텍스트 데이터 중 뉴스기사에 해당하는 생성요약 데이터를 사용하였다. 훈련, 검증, 평가 데이터의 수는 각각 30만 개, 1만 개, 1만 개로 구성되어 있으며 훈련 데이터는 정성적인 전처리를 통해 약 26만 개의 데이터를 최종적으로 사용하였다.

음성합성 모델은 전이 학습 기법을 사용하여 학습하였기 때문에 많은 양의 데이터로 사전학습을 진행하였다. 사전학습에 사용된 KSS 데이터셋은 단일 여성 화자가 약 13,000 건의 문장을 발화하여 공개된 데이터셋이며, 12시간 이상의 음성 발화로 구성되어 있다. 이후 합성하고자 하는 음성으로는 비교적 음성의 정체성이 뚜렷한 연예인인 장기하와 본 연구의 1저자를 선정하였다.

두 인물의 음성은 각각 다른 방법으로 수집하였다. 먼저 연예인 장기하의 음성은 오디오북 플랫폼인 ‘밀리의 서재’와 ‘네이버 오디오북’에서 오디오북을 구입하여 추출하였다. 추출한 음성 발화는 네이버의 ‘클로바 스피치’ 서비스를 이용하여 문장 단위로 분리하였고, 총 3,752 건의 문장에 대해 텍스트-음성 쌍으로 구성된 데이터를 확보하였다. 반면 본 연구저자의 음성 발화를 수집할 때에는 KSS 데이터셋에서 제공하는 스크립트를 직접 녹음하여 3,000건의 데이터를 수집하였다. 오디오북과는 다르게 주변 소음이 포함되어 있기 때문에 별도의 전처리를 거쳐 소음 및 불필요한 공백을 제거하였다.

본 장에서는 한국어 문서요약 모델과 음성합성 모델에 대한 정량적, 정성적 평가를 수행하였다. 제안하는 경량화된 문서요약 모델은 기존 KoBART 모델보다 더 적은 파라미터를 가지면서도 좋은 성능을 보이고, 정성적으로 판단하였을 때 문서 내의 핵심 내용을 잘 포착함을 확인하였다. 특히 사람이 작성한 정답 요약문에서 오타가 존재할 수 있는 반면, 잘 학습된 모델은 올바른 단어를 사용하여 요약할 수 있기 때문에 구축 비용과 정확도 측면에서 효과적이라는 사실을 보여주었다. 음성합성 모델에 대해서도 학습한 목소리와 유사한 음성을 생성한 결과를 데모 페이지를 통해 공개하였다. 또한 문서요약 모델과 음성합성 모델을 연결하는 음역모듈은 다양한 상황에서 등장하는 숫자 및 영어 표현을 효과적으로 한글로 변환하였다. 이는 주어진 데이터를 잘 학습한 모델이 추가적인 비용을 지불하지 않고도 문서를 잘 요약하여 음성으로 결과를 제공해야 하는 다양한 상황에서 활용될 수 있음을 시사한다.