TFRecord 파일은 Tensorflow의 학습 데이터 등을 저장하기 위한 Binary Data format으로, 구글의 Protocol Buffer format의 Data를 파일에 Serialize하여 저장한다. <Figure 2>에서 1번은 TFRecord로 저장되기 전 개별 파일의 일련 정보다. 2번은 각각의 라벨 정보다. 3번은 각각의 이미지 정보다. 모든 정보들이 다 떨어져 있기 때문에 4번과 같이 모두 Serialize를 통해 하나로 이어 붙일 수 있다. 즉, 하나의 파일로 만드는 것이 TFRecord를 만드는 과정이다.

Figure 2. 
TFRecord Process

CSV 파일에서 숫자 또는 텍스트 데이터를 읽을 경우에는 별다른 문제점이 발생하지 않는다. 하지만 이미지 데이터를 읽을 경우 이미지는 JPEG나 PNG형태의 파일로 저장되어 있다. 이에 대한 메타 데이터와 레이블은 별도의 파일에 저장되어 있기 때문에, 학습 데이터를 읽을 때 메타데이터나 레이블 파일 하나만 읽는 것이 아니라 이미지 파일도 별도로 읽어야 하므로 코드가 복잡해진다. 이미지를 JPG나 PNG 포맷으로 읽어서 매번 디코딩을 하게 될 경우, 성능 저하로 인해 학습 단계에서 데이터를 읽는 부분에서 많은 성능 저하가 발생한다. 따라서, TFRecord를 사용하는 것으로써 대규모 데이터를 효율적으로 학습할 수 있게 된다. TFRecord 데이터 사용의 장점을 정리하면 첫째, 효율성이다. TFRecord 형식의 데이터는 원래 데이터보다 더 적은 공간을 차지하기 때문이다. 둘째, TensorFlow는 병렬 I/O 동작으로 TFRecord 형식의 데이터를 읽을 수 있다. 이것은 GPU나 TPU 장치로 작업할 때 매우 유용하다. 셋째, TFRecord 데이터는 데이터와 그것의 메타데이터 등 필요한 모든 것을 하나의 파일에 저장할 수 있으며 사용자가 사용하고 있는 파일형식이 무엇이든 TFRecord로 변환하여 저장 및 사용할 수 있다(Woo, 2022).

ConvNeXt는 합성곱 신경망인 CNN(Convolutional Neural Network)에 속하는 모델 중 하나이다. 기존에는 복잡한 분류나 회귀 문제를 해결하기 위해 다층 퍼셉트론을 쌓는 MLP(Multi-Layer Perceptron) 기법이 개발되었다. 그러나 이미지와 같은 비정형 데이터의 경우, MLP에 적용하기 위해선 1차원 행렬로 변환해야만 한다. 기존 방법론에서는 이미지를 1차원 행렬로 변환하는 과정에서 공간 정보(Spatial Feature)가 손실될 수 있다는 문제가 있었다. 이러한 문제를 해결하기 위해 CNN은 공간 정보를 적절히 반영할 수 있다. 2012년에 발표된 AlexNet을 시작으로, VGGNet, ResNeXt, DenseNet, MobileNet, EfficientNet, RegNet 등 다양한 CNN 모델이 등장하여 발전해 왔다. 그 중 ConvNeXt는 현대적인 기법을 도입한 최신 모델로, 다음과 같은 방법으로 설계된다. 먼저, swin transformer에서 사용된 훈련 기술을 적용한다. 주로 에폭 수를 90에서 300으로 증가시킨다. 또한, Mixup, cutmix, random augment, random erasing과 같은 데이터 증강 기법을 사용하며, Adam에 가중치 감소(weight decay)를 추가한다. 둘째, Macro Design을 적용한다. <Figure 3>과 같이 Swin-Transformer는 Input을 Patch단위로 나누었으며 Hierarchical 구조를 4개의 Block단위로 분리하였는데 이에 대해 2가지를 적용시켰다.

Figure 3. 
Swin-Transformer

<Figure 4>에서 기존 ResNet은 (a)와 같이 1×1 컨볼루션으로 채널을 줄인 후 3×3 컨볼루션을 진행하고 다시 1×1으로 채널을 늘리는 Bottleneck 구조를 가지고 있다. MobileNetV2에서는 FLOPs를 줄이기 위해 (b)와 같은 Inverted Bottleneck을 사용했는데, ConvNeXt에도 동일하게 적용되었다. 이는 다운샘플링 잔여 블록에 의해 많은 FLOPs가 감소되는 효과를 가질 수 있다. 또한, 커널 크기를 증가시켰다. 이전 대부분의 모델에서는 3x3 컨볼루션을 기본으로 사용했는데, 이를 7x7 형태인 큰 커널 크기로 변경했다. 더불어, 활성화 함수와 정규화 레이어 등과 같은 마이크로 스케일을 변경했다.

Figure 4. 
Inverted Bottleneck

<Figure 5>에서는 GELU를 사용을 통해 ReLU를 대체하였다. 더불어, 매우 적은 활성화 함수를 사용했는데, ConvNeXt에서는 2개의 1×1 레이어 사이에서만 활성화 함수를 적용했다. 일반적으로 ConvNet에서는 바로 뒤에 배치 정규화를 위치시키지만, ConvNeXt에서는 매우 적은 정규화를 사용한다. 이로써 배치 정규화를 줄일 수 있게 되었다. 또한, 일곱 번째로 각 스테이지의 시작 전에 다운샘플 레이어를 추가했다(Liu et al., 2020).

Figure 5. 
Fewer activation Function

Data 수집 단계에서는 7가지 감정(Happy : 행복, Surprise : 놀람, Sad : 슬픔, Fear : 두려움, Neutral : 중립, Angry : 분노, Disgusting : 당황)을 나타내는 얼굴표정 이미지 38,500장으로 구성하였다. 한국인의 얼굴표정 이미지는 한국지능정보사회진흥원에서 전문 배우로 구성하여 촬영된 이미지 35,000장(컬러)을 수집하였으며, 다문화 장병에 대비하여 외국인 얼굴표정 이미지는 Kaggle에서 3,500장(흑백) 수집하였다. Data 수집 이후에 모델 성능평가를 위해 Train Data, Validation Data, Test Data를 6:2:2로 분류하였다. 이미지 Data구성은 <Table 1>과 같다.

Kaggle에서 수집한 이미지 데이터의 해상도가 한국지능정보사회진흥원에서 수집한 이미지 데이터의 해상도보다 낮아 추후 이미지 분석에 대한 정확도를 높이기 위해 Kaggle 이미지파일의 해상도를 높이는 작업을 진행하였다. 또한, 앞서 설명한대로 JPG 형식의 데이터를 Tensorflow 기반 TFRecord 형식의 데이터로 변환해야 한다. JPG 파일형태의 사진의 경우 흑백사진과 컬러사진으로 구성되어 있기 때문에 이를 TFRecord로 변환하기 전 흑백 또는 컬러사진 둘 중의 하나의 형태로 변경해야한다. 따라서 본 연구에서는 흑백사진을 컬러사진으로 바꿔주는 코드를 통해 동일하게 모두 컬러사진의 JPG 파일로 만들었다. 이후 총 38,5000장에 대해서 단 하나의 TFRecord 데이터 형태 파일로 만드는 것이 아닌 각 감정별로 TFRecord 데이터 형태 파일로 변경하였다. 이후 모델의 일반화 성능을 향상시키기 위해 데이터 증강기법을 적용하였다.

사전에 각 감정별로 JPG 파일 형태에서 TFRecord 데이터 파일 형태로 변환시킨 파일들을 Train과 Validation에 맞게 코드에 배치시켰다. 모형은 앞에 언급한대로 합성곱 신경망 모델 중 하나인 ConvNeXt 모델을 적용했다. epoch은 100으로 설정하고 학습을 진행시켰으며, 학습 과정에서 accuracy가 어느 정도 증가했다가 감소하는 지점에서 학습이 조기 종료될 수 있도록 ealry stop을 설정했다. 이후 학습된 모델을 바탕으로 피검자가 심리검사를 진행하면서 실시간으로 피검자의 얼굴표정을 감지하여 학습시켰던 모델을 바탕으로 감정분석을 실시할 수 있도록 OPEN-CV 기법을 적용 및 연결하였다.

본 연구는 연구자가 제시한 TFRecord 학습속도 개선에 대한 결과를 확인하기 위해 일반 JPG파일 가지고 CSV형태로 변환 후 학습하는 과정과 TFRecord 형태로 변환 후 학습하는 과정에 대해서 학습시간을 비교하였다. JPG의 해상도는 학습시간과 컴퓨터 메모리 용량을 고려하고 과적합이 발생하지 않는 상태에서 추후 얼굴의 작은 변화나 세부사항을 더 잘 인식하여 이를 기반으로 감정을 잘 분류할 수 있도록 최적의 해상도 값인 1280×720으로 설정하였으며 사진 1장당 파일 크기는 1.5MB다.

Figure 6. 
Modeling Process

또한, 모델의 성능을 확인하기 위해 검증과정을 진행했다. <Figure 7>을 통해 모형의 val값과 loss값을 확인할 수 있다.

Figure 7. 
ConvNeXt Model Accuracy & Model Loss

또한, Test Data를 활용하여 학습된 모델들의 성능 비교를 실시하였다. <Table 3>은 Test Data를 활용하여 이미지 분류모델들의 총 4가지의 성능지표에 대해 Confusion Matrix로 정리하였다. 성능지표는 Accuracy(정확도), Precision(정밀도), Recall(재현율), F1 Score 이다. ConvNeXt모델이 우수한 성능을 보이는지 검증하기 위해 과거 CNN기반 중 딥러닝 모델에서 대표적으로 많이 사용하고 있는 ResNet50모델과 모바일 및 임베디드 기기와 같이 자원이 제한된 환경에서도 효율적으로 사용이 가능한 MobileNetV2 모델을 가지고 전처리부터 학습까지 동일한 조건으로 설정한 후 성능을 비교하였다. 그 결과 <Table 3>과 같이 ConvNext 모델이 가장 우수한 예측결과 값을 나타냈다.

본 연구자가 제시한 TFRecord 파일을 통해 개선된 학습 속도와 우수한 정확도를 가진 성능 좋은 모델을 활용한다면 검사 간 신뢰성 있는 결과 값을 도출할 수 있을 것으로 판단된다.

실험에 참여하게 되는 피검자 선정방법은 향후 간부들에게 적용된다는 점을 가정하여 군인 신분인 간부 37명, 병사 3명으로 선정하였다. 군 간부들이 피검자의 대부분을 차지하나 병사에서 부사관으로 임관하거나 간부사관 전형을 통해 장교로 임관하는 특이케이스를 고려하여 소수의 인원인 병사 3명을 실험 대상자로 선정하였다. 질문은 자유로운 의견을 얘기할 수 있도록 비대면 방식으로 진행하고 AI가 질문을 말해주는 방식으로 검사를 실시하였다. 질문 구성은 현재 자기보고식 응답방법으로 실시하고 있는 복무적응도 검사 2.0의 질문 190개 중 중복적으로 묻는 문항을 분석 및 도출하여 <Table 4>와 같이 총 10개의 질문으로 구성하였다.

<Figure 8>은 피검자를 대상으로 검사 시 응답한 얼굴표정에 대해 감정을 분석하는 장면을 가정하여 인공지능으로 사람모델을 만들어 분석모델에 적용한 예시자료다. 피검자가 검사를 진행할 때 검사 당시 화면에는 <Figure 8>과 같이 실시간 감정에 대해 분석한 수치가 나타나진 않지만 별도로 감정들을 분석하여 해당 수치들을 파일로 정리하여 결과에 활용한다. 검사를 진행할 때 본인의 감정이 실시간으로 분석되어 나오는 수치가 화면에 나타날 시 응답에 영향을 미치므로 실시간으로 감정이 분석되고 있는 수치들은 피검자의 화면에서는 나타나지 않도록 한다.

Figure 8. 
Inspection Analysis Screen

피검자가 질문에 대해 응답할 시 가장 많이 노출하는 감정을 최빈값으로 가정하여 수치 종합본에 기입하였다. 그러나, 질문에 응답 도중 특이 감정이 노출되었을 경우 이를 포착 후 해당 답변을 중심으로 특이 감정의 이유를 확인하는 작업을 같이 진행하였다. <Figure 9>는 예시로 question 1의 Angry의 감정에 대해 분석한 히스토그램과 question 1의 heatmap 시각화자료이다. 히스토그램에서 x축은 감정의 수치, y축은 감정의 수치 빈도를 나타낸다. 히스토그램을 통해 피검자들이 나타내는 각 질문별 감정들의 수치에 대한 빈도를 파악할 수 있다. question 1의 angry는 4~10%의 수치가 피검자들의 평균적인 반응을 나타내는 것을 확인 할 수 있다. 또한, heatmap은 각 질문별 감정들의 상관관계를 나타낸다. question 1에서 angry와 sad가 0.71로 가장 강한 상관관계를 나타냄을 확인할 수 있다. 이를 통해 피검자들이 가장 강한 상관관계를 갖는 감정을 드러내는 것과 별개로 다른 상관관계를 갖는 감정들이 나타난다면 관심을 갖고 행동을 관찰해야하는 간부로 분류하는데 도움이 되는 자료라고 할 수 있다.

Figure 9. 
Question 1 Histogram & Heatmap

또한, <Figure 10>은 question 1의 결과를 Box-plot으로 분석한 결과이다. 해당 자료와 같이 각 질문 마다 Box-plot을 통해 나타낸다면 이상치를 쉽게 식별할 수 있다. 이상치로 분류된 인원에 대해서는 앞서 언급했던 바와 같이 특이 감정으로 분류한다. 이후, 검사에 불성실하게 응답하여 노출된 감정인지, 과도하게 감정을 노출시키려다 발생한 것인지 등을 확인한다. question 1에서 Happy의 이상치는 답변을 확인해보니 진정성을 요구하는 답변을 기대하는 질문에서 다른 피검자들과는 달리 웃으면서 답변을 제대로 하지 않고 넘어가려는 불성실한 태도를 보여서 이상치로 분류된 인원이었다. 또한, angry, Fearful, Sad의 이상치는 업무 또는 스트레스에 대한 답변을 할 때 분류된 것으로 확인할 수 있었다. 즉 검사를 통해 이러한 이상치를 탐색하고 원인을 살펴보는 과정을 진행한다면 본 연구의 목적을 달성할 수 있을 것으로 판단된다.

Figure 10. 
Question 1 Box-plot

또한, <Figure 11>은 question 1을 산점도행렬 및 상관관계를 분석한 자료이다. 해당 자료를 통해 앞서 설명했던 히스토그램과 heat-map의 자료를 한 눈에 쉽게 확인할 수 있다.

Figure 11. 
Question 1 Scatter-plot