본 연구에서 사용한 기계학습 모형 및 딥러닝 모형에서는 단어사전에 등록되지 않은 신조어나 오탈자는 삭제되거나 [UNK]토큰으로 치환되었다. 각 단어의 의미보다 문장의 문맥 정보를 학습하기 위해 LR모델에서는 n-gram 방법을 사용하였다. KoBERT와 같은 딥러닝 모형에서는 OOV 문제를 줄이기 위해 BPE(Byte Pair Encoding) 방식을 변형한 WordPiece 방식으로 토크나이징을 수행하였기 때문에 한글로 이루어진 신조어나 오탈자가 [UNK]토큰으로 치환되는 경우는 매우 적었고, 한자와 이모티콘이 대부분 [UNK]토큰으로 치환되었다. 또한, KoBERT를 비롯한 딥러닝 모형들은 attention 기반의 딥러닝 모형으로, 문장 내 단어 간의 관계를 학습한다.

기계학습 모형인 LR모델과 딥러닝 모형 중 성능이 가장 좋았던 KcELECTRA 모형에서 같은 단어가 다른 의미로 쓰였을 때 문맥적인 정보를 파악하여 서로 다른 의미의 단어로 확인할 수 있는지 LIME을 통해 확인하였다. <Figure 2>는 LR모델에서 ‘일본’이라는 단어가 등장한 서로 다른 두 개의 문장에서 label에 미치는 영향이 다른 것을 보여주는 LIME 분석 결과다. ‘일본’이라는 단어는 욕설이나 혐오적인 발언이 아님에도 offensive가 아니라 hate에 영향을 주고 있는 것을 확인할 수 있었고, 두 문장에서 ‘일본’이 hate label에 주는 영향의 차이가 적은 것을 확인할 수 있었다. <Figure 3>은 KcELECTRA 모델에서 ‘일본’이라는 단어가 서로 다른 두 개의 문장에서 offensive label에 미치는 영향이 다른 것을 보여주는 LIME 분석 결과다. 각 문장에서 KcELECTRA 모델은 attention 기반의 딥러닝 모델이기 때문에 같은 단어라도 각 문장의 문맥에 따라 영향을 준 label이 다른 것을 확인할 수 있었다.

Figure 2. 
Context Analysis with Logistic Regression

Figure 3. 
Context Analysis with KcELECTRA

따라서 한국어 혐오 표현 분류를 위해서는 문맥을 잘 학습할 수 있는 딥러닝 모형이 필요하고, 특정 단어가 다양한 문맥에서 사용된 예제 문장들을 더 추가하여 문맥에 따른 단어의 다양한 쓰임새를 학습시켜야한다.

<Table 3>에서 혐오 표현 분류 모형의 경우, 좋지 못한 성능을 보였기 때문에 주어진 데이터로 학습된 모형에 대한 LIME 분석을 통해 예측 결과에 영향을 준 요인들에 대해서 살펴보았다. 하지만, 해당 실험에 사용한 데이터셋이 크라우드소싱 방법으로 레이블링하여 구축되었으므로 모형 학습에 사용된 데이터 자체의 문제점이 있는지를 파악하기 위해서 데이터셋을 직접 살펴보고 데이터 태깅 가이드라인과 다르게 태깅이 되어있는 레이블링 오류를 확인하고자 하였다.

<Table 4>는 혐오 표현 분류 문제에서의 레이블이 잘못 표기된 각 클래스의 대표적인 문장들이다. 잘못된 첫 번째 문장에서는 10+8이라는 발음상 욕설이 되는 분명한 욕설이 있음에도 불구하고 none, 즉 정상 데이터로 레이블링 되었다. 또한 두 번째 문장은 단순히 바람을 말하는 정상 데이터로 볼 수 있음에도 offensive, 공격적인 어조를 가진 댓글로 분류되었다. 마지막으로 세 번째 문장은 hate로 레이블링이 되었는데, 작가의 성(姓)을 말하는 ’ㅈ‘ 을 어노테이터들이 욕설로 해석하였을 것으로 예측할 수 있다.

본 연구에서 사용한 데이터셋의 경우에는 데이터 레이블링 작업을 크라우드소싱으로 진행하였기 때문에 데이터 레이블링의 오류가 존재할 수 있다. 하지만, 데이터 레이블링의 오류로 인해 인공지능 모델의 성능이 매우 저하될 수 있으므로, 이를 보완하기 위해 레이블 노이즈를 고려한 다양한 기법의 적용이 필요하다. 예를 들면, 더 많은 데이터를 레이블링하거나 크라우드소싱의 어노테이터들의 합의 지수가 높은 데이터들을 우선적으로 학습시킨 모델을 사용하여 semi-self supervised learning 방법을 사용하여 오토레이블링을 하는 방법 등 다양한 방법을 적용할 수 있다.

클래스별 f1-score를 <Table 6>에서 확인하였을 때 gender bias는 71~75%의 비교적 좋은 성능을 보였다. 편견 분류 성능에 영향을 끼친 요인들을 살펴보기 위해서 LIME을 통해 모델의 예측에 영향을 많이 준 단어를 분석하였다. 데이터 태깅 가이드라인에 따르면, 성별에 대한 편견적인 내용을 포함하는 문장이면 gender bias로 태깅하였다. 따라서 모델은 입력 데이터에서 여자, 남자 등 성별과 관련된 단어가 발견되면 gender bias로 분류하는 경향이 있었다. <Figure 4>는 KoBERT 모델의 bias detection 결과를 LIME으로 분석한 것이다. ‘엄마’라는 단어의 영향을 크게 받아 gender bias로 예측한다. gender bias는 성별과 관련된 단어를 보고 판단하면 되기 때문에 분류 성능이 좋지만, <Figure 4>처럼 특정 단어에 의존하는 경향이 있다. 따라서 특정 단어에 대한 의존성을 줄이기 위해 문맥 정보를 많이 반영할 수 있는 모형이 필요하고, 주어진 데이터셋의 데이터 불균형이 심하므로 none bias에 비해 약 5배 정도 적은 gender bias 데이터를 추가하여 충분한 학습 데이터를 제공할 필요가 있다. 또한, 성별과 관련된 단어가 들어가 있지만, 성별에 대한 편견적인 내용이 없는 데이터를 더 추가하는 등 데이터의 다양성 측면도 함께 고려할 필요가 있다.

Figure 4. 
Bias Detection

편견 발언 분류 모형의 예측 결과를 LIME으로 분석하고, 학습에 영향을 준 데이터들에 대해서 분석하였다. 본 연구에 사용된 데이터셋은 크라우드소싱 방법으로 레이블링되어 구축되었으므로 직접 데이터셋을 살펴보고 데이터 태깅 가이드라인과 다르게 태깅이 되어있는 데이터가 있는지 잘못 레이블링된 데이터를 확인하였다.

<Table 5>의 첫 번째, 두 번째 예시 문장들은 외모에 대해 예쁘다는 수식어를 사용하여 none bias 데이터로 예측될 수 있지만, 이것은 성별에 대한 편견이 포함된 문장으로도 보일 수 있다. 세 번째, 네 번째 예시 문장은 ‘예쁘다’, ‘천상여자’라는 발언이 gender bias가 있다고 labeling된 반면, 첫 번째 두 번째 문장에서는 비슷한 맥락으로 사용된 ‘예쁘다’, ‘몸매 갑’이라는 발언이 gender bias가 없는 none bias 데이터로 labeling 되었다. bias 판단에 있어 더 명확한 기준을 제시하여 Mislabeled data를 줄인다면 모델이 더 명확하게 학습하여 더 좋은 결과를 기대할 수 있을 것이다.

편견 발언의 클래스별 f1-score을 <Table 6>에서 살펴보았을 때 other bias 의 경우, 45~57% 정도의 비교적 낮은 성능을 보였다. 각 클래스별 분류 성능을 특정 bias가 아닌 여러 bias를 가지고 있는 others bias는 분류 성능이 좋지 않았다. <Table 3>의 모델별 bias classification에 대한 성능을 보면 모든 모델에서 others bias에 대한 분류 성능이 좋지 않을 것을 확인할 수 있다.

이러한 결과는 댓글 데이터에서 중복된 bias를 가진 데이터의 영향을 받은 것으로 판단된다. 입력 문장에서 인종, 장애 등 다양한 bias들이 중복되어 나타난 경우, label은 others bias이지만, gender bias와 다른 bias가 중복되어 나타난 경우, label이 gender인 경우가 많았다. <Table 7>의 예시처럼 label이 gender bias이지만, gender bias 외에 장애, 나이에 대한 bias가 포함되어있을 경우 others로도 분류될 수 있다.

편견 발언 분류 작업의 others bias의 성능이 비교적 낮은 이유가 others bias에 다양한 bias가 포함되어 있어 분류가 어렵기 때문에 발생하는 것인지 확인하기 위해 bias label이 보다 세분화되어 있는 Unsmile dataset(Kang et al., 2022)을 추가로 학습하였다. 편견 발언 분류에서 gender bias label의 f1-score가 가장 높은 KcELECTRA와 others bias label의 f1-score가 가장 높은 KoELECTRA 모델에 Unsmile dataset을 학습시켜 성능을 확인하였다. Unsmile dataset의 학습에서는 KcELECTRA 모델이 더 우수한 성능을 보였다.

Unsmile dataset은 특정 집단에 대한 편견을 세부적으로 labeling한 한국어 혐오표현 데이터셋이다. Unsmile dataset은 multi-label dataset으로 여러 bias가 포함된 문장의 경우 여러 개의 label을 갖는다. <Table 8>은 KoELECTRA와 KcELECTRA를 Unsmile dataset을 사용하여 multi-label classification을 학습시키고 성능을 평가한 결과이다. KoELETRA와 KcELECTRA에 KOCO dataset을 학습시켰을 때, others bias에 대한 f1-score는 각각 0.57, 0.52이다. Unsmile dataset 을 학습시킨 결과에서는 다양한 bias에 대해서 KOCO dataset 학습 시보다 더 높은 f1-score를 확인할 수 있다. 하지만, 기타 혐오 label에서는 매우 낮은 성능을 보인다. 이처럼 분류하고자 하는 bias가 명확하면 성능이 개선되고, ‘기타’ 등으로 다양한 bias를 포함한 label일 경우 성능이 저하되는 것을 확인하였다.

따라서 한국어 혐오표현 데이터셋 구축 시에는 편견 및 혐오를 세분화하여 데이터셋을 구축하여야한다. KOCO dataset의 gender bias 데이터의 경우 gender bias와 others bias가 같이 나타나는 문장을 어떤 label로 분류할 것인지 명확한 가이드라인을 세워야 한다. 또한, KOCO dataset의 others bias는 보다 구체적인 label로 세분화할 필요가 있다. Unsmile dataset처럼 여성, 인종, 연령, 지역 등 label을 세분화하여 모델의 성능 개선을 기대할 수 있다.