음성 감정인식은 음성신호의 전반적인 특징이나 Mel Frequency Cepstral Coefficient(MFCC)와 같은 스펙트럼 특징을 활용하여 감정을 분류하는 기술이다. 음성신호의 특징을 입력으로 하여 서포트 벡터 머신(Seehapoch et al., 2013), 히든 마코브 모델(Nwe et al., 2003) 등의 머신러닝 알고리즘이 음성 감정인식 초기 연구에 활용되었다. 최근에는 자연어처리, 컴퓨터비전과 같은 다양한 분야에서 높은 분류 성능을 가진 딥러닝 아키텍처(Fayek et al., 2017; Han et al., 2014)를 활용하여 음성 감정인식 성능을 개선하고자 하는 연구가 이루어지고 있다. 한편, 사람은 다양한 형태로 감정을 표현하므로 이에 영감을 받아 음성과 다른 형태의 정보를 함께 활용하여 감정을 인식하는 멀티모달 모델(Paleari et al., 2010)이 제안되어 감정인식 성능을 크게 향상시켰다. 따라서 음성만 활용 가능한 환경에서 다른 형태의 정보를 추출하고 감정인식에 함께 활용하기 위하여 음성인식 모듈을 적용한 감정인식 프레임워크(Xu et al., 2019; Yoon et al., 2018)가 제안되었다. 감정인식 프레임워크는 음성인식 모듈을 활용하여 음성으로부터 대화내용을 텍스트 형태로 추출하고, 음성과 추출한 텍스트를 멀티모달 모델의 입력으로 활용하여 감정인식 성능을 향상시키는 전략을 사용한다. 예를 들어 구글 음성인식 모듈과 순환 신경망(recurrent neural network)을 적용한 감정인식 프레임워크(Yoon et al., 2018)는 음성만을 활용한 모델보다 우수한 감정인식 성능을 기록하였으며, 음성인식 모듈에서 추출한 텍스트와 음성에서 강조된 감정을 추출하기 위해 오텐선(attention) 메커니즘을 추가한 감정인식 프레임워크(Xu et al., 2019)는 감정인식 성능을 더욱 향상시켰다. 그러나 선행 연구의 감정인식 프레임워크는 음성인식 모듈의 성능에 의존적이기 때문에 주변 소음이 포함된 실제 환경에서 음성인식의 성능이 하락하면 감정인식의 성능도 하락하는 단점을 갖고 있다. 따라서 본 연구는 음성인식 모듈에서 추출된 텍스트와 실제 대화내용의 차이를 반영할 수 있는 Consistency Regularization 학습 방법론을 적용하여 선행연구의 단점을 보완한다.

자기지도학습 방법론은 레이블이 없는 대량의 데이터를 활용하여 모델을 사전 학습(pre-training)하고 과업 데이터로 미세 조정(fine-tuning)하여 모델의 예측성능을 향상시키는 연구분야이다. 자기지도 학습 방법론은 레이블이 없는 대량의 데이터에서 패턴 및 특징을 학습할 수 있으므로 과업 데이터가 충분하지 않을 때 더 효과적이다. 최근 다양한 자기지도학습 모델이 공개되었으며 자연어처리(Devlin et al., 2018; Liu et al., 2019), 컴퓨터 비전(Chen et al., 2020; Kolesnikov et al., 2019), 음성인식(Baevski et al., 2019; Baevski et al., 2020) 등 다양한 분야에서 모델의 예측성능을 향상시키는 것으로 나타났다. 또한, 모델을 학습하기에 데이터의 양이 충분하지 않은 감정인식 분야에서도 많은 연구들이 자기지도학습 모델을 감정인식에 활용하였다(Pepino et al., 2021; Siriwardhana et al., 2020a; Siriwardhana et al., 2020b). 예를 들어, 다량의 영어 음성으로 사전 학습된 Wav2vec 2.0 모델(Baevski et al., 2020)을 활용하여 음성으로부터 벡터를 추출하고, 추출된 벡터로 감정을 분류하는 감정인식 모델(Pepino et al., 2021)이 제안되었다. 또한, 음성 자기지도학습 모델인 Wav2vec(Schneider et al., 2019)과 텍스트 자기지도학습 모델인 RoBERTa(Liu et al., 2019)를 활용하여 각각 음성과 텍스트의 특징을 추출하고, 멀티모달 모델의 입력으로 활용하는 방법(Siriwardhana et al., 2020a)이 제안되어 감정인식 성능을 향상시켰다. 따라서, 본 연구는 한국어 감정인식 데이터가 충분하지 않은 환경을 고려하여 대량의 데이터로 사전 학습된 자기지도학습 모델을 감정인식 프레임워크에 적용한다. 음성 자기지도학습 모델로는 Wav2vec 2.0을 활용하고 텍스트 자기지도학습 모델로는 한국어 데이터로 사전 학습한 BERT 모델인 HanBERT(Park, 2018)를 활용한다.

멀티모달 모델의 목적은 두 가지 이상의 형태를 갖고 있는 데이터를 함께 활용하여 한 가지 형태의 데이터만 사용하는 모델보다 우수한 정확도를 달성하는 것이다. 감정 인식 분야에서 멀티모달 모델은 사용되는 음성, 이미지, 텍스트 등 상이한 형태의 데이터의 길이가 서로 다르기 때문에 시점을 일치시킨 후 감정을 인식하거나 시간적 정보가 없는 데이터를 융합할 수 있는 멀티모달 아키텍처가 연구되었다. 전자의 경우, Gu et al.(2018)은 음성과 텍스트의 시간적 정보가 정렬된 데이터를 활용하여 어텐션 메커니즘을 적용한 계층적 융합 아키텍처를 제안하였다. Tsai et al.(2018) 연구에서는 시간 정보가 포함되어 있는 음성, 이미지, 텍스트 데이터에서 특정 시간대에 공통으로 나타난 특징정보를 추출하고, 추출된 특징벡터를 활용하여 감정을 인식하는 방법론을 제안하였다. 후자의 경우, Majumder et al.(2018)은 게이트 순환 유닛(gated recurrent unit; GRU)을 활용하여 서로 다른 길이의 데이터를 일정 길이의 특징 벡터로 압축한 후 정보를 계층적으로 융합할 수 있는 멀티모달 아키텍처를 제안하였다. Tsai et al.(2019)은 시간 정보가 정렬되지 않은 음성, 이미지, 텍스트 데이터에서 공통적으로 강조하는 감정 정보를 추출하기 위해 Cross-modal Transformer 융합 아키텍처를 제안하여 감정인식 성능을 향상시켰다. 본 연구의 감정인식 프레임워크는 음성인식 모듈을 활용하여 텍스트를 추출하므로 음성과 텍스트의 시점 정보가 없다. 따라서 시점 정보 없이 음성과 텍스트 정보를 융합하기 위하여 다양한 선행 연구의 멀티모달 융합 아키텍처를 감정인식 프레임워크에 변형하여 적용하였다.

음성인식 모듈을 활용하여 감정을 인식하는 멀티모달 감정인식 프레임워크의 상세 구조는 <Figure 3>과 같다. 먼저 음성인식 모듈을 활용하여 음성의 대화내용을 텍스트 형태로 추출한다. 이후 음성과 텍스트를 해당 자기지도학습 모델의 입력 변수로 활용하여 각 정보를 일련의 벡터로 압축한다. 그리고 융합 아키텍처를 활용하여 음성 정보와 텍스트 정보를 융합하고 최종적인 감정 추정이 이루어진다. 제안 프레임워크에 대한 세부적인 절차는 다음과 같다. 입력된 일련의 음성신호를 a=a₁,…,a_T 라 할 때, 제안 프레임워크는 외부 음성인식 모듈 G을 활용하여 음성의 대화내용인 텍스트 s=G(a)를 추출한다. 이후 텍스트 자기지도학습 모델과 함께 학습된 토크나이저(tokenizer)를 활용하여 추출된 텍스트를 토큰 형태로 분할하면 s=s₁,…,s_L과 같이 표현할 수 있다. 일반적으로 음성신호와 텍스트 토큰은 서로 다른 길이를 갖고 있다(T ≠ L ∈ N⁺). 음성신호는 음성 자기지도학습 모델 E_audio의 입력 변수로 활용되어 일련의 벡터 Eaudioa=ha=h1a,⋯,hna로 압축된다. 본 연구에서 활용하는 음성 자기지도학습 모델인 Wav2vec 2.0은 음성신호에 있는 복잡한 패턴을 추출할 수 있도록 대량의 음성데이터로 사전 학습되었으므로 압축된 음성벡터에는 음성의 중요정보가 포함되어 있다. 한편, 텍스트 토큰은 텍스트 자기지도학습 모델 E_text의 입력 변수로 활용되어 일련의 벡터 Etexts=hs=h1s,⋯,hks로 압축된다. 제안 프레임워크는 텍스트 자기지도학습 모델로 HanBERT를 적용하였다. HanBERT는 대량의 한국어 문서를 사전 학습하여 문맥과 단어의 상관관계를 고려할 수 있으므로 압축된 텍스트벡터는 감정을 유추할 수 있는 텍스트의 중요정보를 포함하고 있다. 제안 프레임워크의 마지막 단계에서는 압축된 음성벡터 h^a와 텍스트벡터 h^s를 융합 아키텍처 F_fusion 의 입력으로 활용하여 감정 e∈E 의 확률분포 F_fusion(h^a, h^s)=p_θ(e│a,G(a))를 추정한다.

Figure 3. 
Overview of our Framework with Self-supervised Models

감정인식 프레임워크를 적용한 선행 연구는 멀티모달 데이터에서 제공한 음성과 텍스트를 활용하여 멀티모달 모델을 학습한다. 반면, 서비스에 활용할 때에는 외부 음성인식 모듈을 활용하여 추출한 텍스트와 음성을 멀티모달 모델의 입력으로 활용한다. 실제 사용 환경에서 생성된 음성은 주변소음을 포함하고 있으므로 음성인식 모듈을 통해 추출된 텍스트는 실제 대화내용과 다를 수 있다. 따라서 선행 연구의 멀티모달 모델은 서비스 단계에서 음성인식 모듈로부터 실제 대화내용과 다른 텍스트를 입력으로 받아 감정을 추론하므로 낮은 감정인식 성능을 기록했다. 또한, 외부 음성인식 모듈을 적용한 감정인식 프레임워크는 학습과정에서 음성인식 모듈의 인식률을 향상시킬 수 없는 구조적인 문제를 갖고 있다. 이를 극복하기 위하여 본 연구는 음성인식 모듈에서 추출된 텍스트와 실제 대화내용의 차이를 학습에 반영할 수 있는 Consistency Regularization 학습 방법론을 제안한다. 제안 학습 방법론은 음성인식 모듈을 학습할 수 없는 제한된 감정인식 프레임워크의 성능을 향상시키기 위해 설계되었다. 제안 학습 방법론의 구조는 <Figure 4>과 같다.

Figure 4. 
Training Process with Consistency Regularization

제안 학습 방법론은 STT path와 Golden Path로 나뉘어 감정을 추론한 후 각각의 결과를 학습에 활용한다. 먼저 학습 데이터 P_train에서 샘플링 된 음성 a∼P_train이 주어졌을 때, STT path는 음성인식 모듈을 활용하여 텍스트 s*=G(a)를 추출하고 프레임워크의 절차에 따라 감정분포 p_θ(e│a,s*)을 추정한다. 반면, Golden path는 학습 데이터에서 음성과 함께 텍스트 a, s∼P_train를 제공받아 멀티모달 모델의 입력변수로 활용하여 감정의 확률분포 p_θ(e│a, s)를 추정한다. STT path를 통해 추정한 확률분포와 Golden path를 통해 추정한 확률분포의 차이를 Kullback-Leibler Divergence로 측정하여 Consistency Regularization Loss를 구성한다.

두 분포의 차이는 음성인식 모듈을 통해 추출된 텍스트와 실제 대화내용이 다르기 때문에 발생한다. 따라서 Consistency Regularization Loss를 최소화하도록 모델을 학습함으로써 추출된 텍스트와 대화 내용의 차이를 멀티모달 모델이 고려하여 감정을 추정하도록 조정한다. 또한, 멀티모달 모델이 주어진 음성과 텍스트를 활용하여 감정을 예측할 수 있도록 Golden path를 통해 추정한 확률분포와 정답 라벨 e ∈ E을 활용하여 Cross Entropy Loss를 계산한다.

본 논문에서는 Consistency Regularization Loss와 Cross Entropy Loss를 더해서 최종 목적식을 계산하고 최소화한다. 이때, 두 손실함수의 균형을 맞추기 위하여 가중 계수 λ : λ > 0 를 곱하여 최종 목적식을 구성한다.

제안 프레임워크의 융합 아키텍처는 Wav2vec 2.0에서 추출한 음성벡터와 HanBERT에서 추출한 텍스트벡터의 정보를 융합하여 감정을 분류하는 멀티모달 모델이다. 본 연구는 다양한 선행연구의 멀티모달 모델을 변형하여 융합 아키텍처에 적용한다. 본 연구에서 활용한 3가지 융합 아키텍처의 구조는 <Figure 5>와 같다.

Figure 5. 
Multi-modal Fusion Architecture

Multimodal Transformer(Tsai et al., 2019)는 서로 길이가 다른 변수의 순차적 정보를 반영하고 각 변수에서 공통적으로 나타난 감정을 추출할 수 있는 융합 아키텍처이다. 제안 프레임워크는 Multimodal Transformer 내부의 Cross-modal Transformer를 변형하여 키(key), 쿼리(query), 값(value)에 각각 자기지도학습 모델로부터 추출한 음성벡터와 텍스트벡터를 투입하여 두 정보를 융합한다. Fusion Transformer(Khan et al., 2020)는 순차적인 변수의 정보를 취합할 수 있는 Transformer의 셀프 어텐션(self-attention) 구조를 고려한 융합 아키텍처이다. 본 연구에서는 자기지도학습 모델의 음성벡터와 텍스트벡터의 차원 크기가 다른 것을 고려하여 합성곱 연산을 통해 음성벡터와 텍스트벡터의 차원을 일치시킨 후 두 벡터를 결합(concatenation)하여 Transformer의 입력으로 활용한다. Shallow Fusion Model(Siriwardhana et al., 2020b)은 BERT와 유사한 형태의 음성 및 텍스트 자기지도학습 모델에서클래스 토큰에 해당하는 첫 번째 벡터를 각각 추출한 후 결합하여 감정을 분류하는 융합 아키텍처이다. 본 연구에서 활용한 음성 자기지도학습 모델은 음성과 텍스트의 크기 따라 음성벡터와 텍스트벡터의 길이가 가변적이기 때문에 평균을 활용하여 크기가 고정적인 벡터를 도출한 후 Shallow Fusion Model에 적용한다.

본 연구는 AIhub에서 감정 인식 연구용으로 공개된 멀티모달 영상 데이터셋을 활용하여 제안 방법론을 실험하였다. 이 데이터셋은 총 300명의 연기자가 2인 1조를 이루어 다양한 상황을 연기한 영상으로 구성되며, 영상 파일과 함께 영상의 대화내용을 기록한 텍스트, 감정정보 등의 메타파일을 포함하고 있다. 감정 라벨은 기쁨(happy), 놀람(surprise), 분노(angry), 슬픔(sad), 혐오(dislike), 공포(fear), 경멸(contempt), 중립(neutral)으로 총 8가지이며, 자세한 라벨 분포는 <Table 1>과 같다. 데이터셋의 감정라벨에는 데이터 불균형이 존재한다. 데이터 불균형은 모델의 안정적인 학습을 저해하므로 데이터의 수가 가장 적은 경멸(contempt)과 공포(fear)를 제외하고 총 6가지 라벨 데이터셋을 활용하여 제안 방법론을 실험하였다.

본 연구는 제안 학습 방법론의 효과를 정밀 분석하기 위하여 멀티모달 모델에서 음성과 텍스트 자기지도학습 모델의 기여도를 Gradient-weighted Class Activation Mapping(Grad-CAM)을 활용하여 측정했다. Grad-CAM은 이미지 분야에서 모델이 특정 라벨을 예측하는데 기여한 객체를 추출하기 위하여 이미지 픽셀의 중요도를 그래디언트로 추정한 분석 방법론이다(Selvaraju et al., 2017). 감정분석 멀티모달 모델에 Grad-CAM을 적용하면 융합 아키텍처의 입력으로 활용된 각 자기지도학습 모델의 정보벡터가 감정을 분류하는데 기여한 정도를 측정할 수 있다. 본 연구는 테스트 데이터에서 Grad-CAM을 활용하여 자기지도학습 모델의 기여도를 측정한 후, 라벨을 기준으로 평균을 적용하여 자기지도학습 모델의 라벨별 평균 기여도를 계산하였다. <Figure 6>는 Shallow Fusion 융합 아키텍처가 적용된 멀티모달 모델에서 자기지도학습 모델의 라벨별 평균 기여도를 측정한 그림이다.

Figure 6. 
Dependency Results of each Self-supervised Model by Grad-CAM

기여도 측정 결과 혐오(dislike)와 중립(neutral) 감정을 예측할 때, 음성 자기지도학습 모델의 정보 의존도가 각각 53.2%, 51.9%로 비교적 크다는 것을 확인할 수 있다. 멀티모달 데이터셋에서 혐오 감정은 텍스트에는 감정이 드러나지 않는 비꼬는 형태의 대화에서 나타난다. 비꼬는 형태의 대화는 다양한 감정에서 활용될 수 있는 일반적인 단어로 구성된 텍스트와 독특한 느낌의 억양이 포함된 음성의 조합으로 표현된다. 반면, 중립 감정이 나타난 대화는 음성 및 텍스트에 감정을 나타낼 수 있는 특징을 포함하고 있지 않지만 음성의 변화에 따라 다양한 형태의 감정으로 변형될 수 있다. 따라서 멀티모달 모델이 혐오 및 중립 감정을 다른 감정과 구분하기 위하여 텍스트 정보보다 음성 정보를 더 활용한 것으로 추측할 수 있다.

한편, 슬픔(sad) 감정 예측에는 주로 텍스트 자기지도학습 모델의 정보를 활용하는 것으로 나타났다. 데이터셋에서 슬픔을 표현하는 대화에는 다른 감정과는 다르게 슬픔을 나타낼 수 있는 특정 단어가 빈번히 등장한다. 따라서 멀티모달 모델이 텍스트 정보에 대한 의존도가 높은 것으로 추측할 수 있다. 그 이외의 감정 예측에는 두 가지 정보를 공평하게 활용하는 것으로 나타났다. 측정한 기여도를 기반으로 음성인식 모듈 및 제안 학습 방법론을 적용한 멀티모달 모델의 성능 변화를 분석하기 위하여, 테스트 데이터에서 측정한 각 모델의 성능을 정오행렬로 표현한 그림은 <Figure 7>과 같다.

Figure 7. 
Confusion Matrix Results of Multi-modal Model with Various Settings

분석 결과 음성인식 모듈을 적용한 멀티모달 모델의 감정인식 성능이 원본 텍스트를 사용한 멀티모달 모델보다 낮은 것을 확인할 수 있다. 특히, 텍스트 자기지도학습 모델의 정보 기여도가 큰 라벨인 슬픔(sad)의 예측성능은 48.8%에서 34.1%로 크게 하락하는 것으로 나타났다. 음성인식 모듈로부터 추출한 텍스트가 실제 대화내용과 다르기 때문에 텍스트에 의존적인라벨의 감정인식 성능이 하락하는 것으로 추측할 수 있다. 반면, 음성 자기지도학습 모델의 기여도가 큰 라벨인 혐오(dislike)와 중립(neutral)의 감정인식 성능은 조금 상승한 것을 확인할 수 있다. 마지막으로 제안 학습 방법론을 적용한 결과 음성인식 모듈의 저조한 인식률로 인해 하락한 놀람(surprise), 슬픔(sad), 분노(angry) 라벨의 감정인식 성능이 상승한 것을 확인할 수 있다. 이 결과는 제안 학습 방법론을 적용하면 음성인식 모듈 때문에 발생한 텍스트 정보의 오류를 멀티모달 모델이 보정하여 프레임워크의 감정 인식 성능을 향상시킬 수 있음을 입증하는 것이다.