다채널 설비 센서로부터 수집된 시계열 데이터는 일정 시간의 윈도우 단위로 나누어지고, 나누어진 한 윈도우 단위의 입력 데이터는 (윈도우 길이×채널 수) 의 크기를 갖고 모델에 입력된다. 입력된 데이터는 CNN을 활용한 특징 추출기와 완전 연결 레이어(fully connected layer)를 통해 (1×클래스 수)의 크기를 가지는 특징 벡터로 요약된다. 특징 추출기는 시계열 데이터의 특징 추출기로 많이 활용되는 RNN 및 LSTM으로도 대체할 수 있다. 하지만 convolution 연산을 사용하는 CNN 특징 추출기 또한 다채널 시계열 데이터의 특징 추출에서 좋은 성능을 보이고(Ince et al., 2016), 대부분의 오픈셋 분류 알고리즘이 CNN을 기반으로 구성되어 있기 때문에 공정한 비교를 위하여 convolution 연산을 사용하는 CNN 특징추출기를 채택하였다.

요약된 (1×클래스 수)의 크기를 갖는 특징 벡터는 모델의 마지막 출력 레이어인 시그모이드 출력 레이어로 입력된다. 시그모이드 출력 레이어는 학습 데이터에 존재하는 클래스 수만큼 시그모이드 함수를 포함하며 이는 특징 벡터를 (1×클래스 수)의 크기를 갖는 각 클래스별 예측 확률로 변환한다.

손실함수(loss function)는 식 (1)과 같이 학습 데이터에 대한 모든 클래스별 시그모이드 함수가 출력하는 확률값의 로그 손실 총합으로 정의하였다. 식 (1)에서 y_i는 i번째 클래스의 정답값을 나타내고, 시그모이드 출력 확률값 f(s_i)는 i번째 클래스의 예측 확률을 나타낸다. 모델이 해당 손실함수를 최소화하는 방향으로 학습이 진행되면, i번째 클래스 레이블 정답이 y_i=1인 학습데이터가 입력될 때는 i번째 시그모이드 출력 확률값 f(s_i)는 1에 가까워지도록 학습되고, y_i=0인 학습데이터가 입력되면 f(s_i)는 0에 가까워지도록 학습된다.

모델 학습이 완료되면 새로운 데이터 x_i가 입력되었을 때 모델은 각 클래스별 시그모이드 출력 확률 f(s_i)를 산출하고 이 산출값이 임계값 t_i보다 크면 i번째 클래스 예측 레이블은 1이 되고, 반대로 임계값보다 작으면 i번째 클래스 예측 레이블은 0이 된다(식 (2)). 만일 모든 클래스에서 시그모이드 출력 확률이 임계값보다 작으면 예측 레이블은 모든 클래스에 대해 0이 되고, 이는 어떠한 클래스에도 속하지 않는 모르는 클래스로 분류된다. 또한 여러 클래스에서 예측 레이블이 1이 될 수도 있으므로 다중 레이블 예측으로의 확장이 가능하다.

모델이 학습하지 않은 클래스의 데이터를 모르는 클래스로 분류하기 위해서는 해당 클래스가 아닌 데이터에 대해서는 낮은 예측 확률을 출력할 수 있어야 한다. 특히, 어떠한 학습 클래스에도 속하지 않는 모르는 데이터의 경우 모든 학습 클래스에서 낮은 예측 확률을 출력할 수 있어야 한다. 학습하지 않은 클래스 데이터의 모든 기존 클래스 확률을 낮추기 위한 방법으로 학습 단계에서 백그라운드 데이터를 활용할 수 있다(Dhamija et al., 2018). 백그라운드 데이터를 활용한 방법론은 모델이 학습하고자 하는 클래스 외의 데이터를 백그라운드 데이터로 활용하여 해당 데이터들이 모든 학습 클래스에서 낮은 예측 확률을 출력하도록 모델을 학습시킨다. 이 때 백그라운드 데이터는 모델이 학습하지 않은 클래스의 데이터에 대한 가이드 라인으로 작용하여 추후 학습된 모델에 모르는 클래스의 데이터가 입력되었을 때 모든 학습 클래스에서 낮은 예측 확률을 출력하도록 유도한다.

기존 백그라운드 데이터 활용 방법론은 백그라운드 데이터에 대한 손실함수를 새롭게 정의하여 이를 기존 손실함수에 결합하는 방식을 채택한다. 이를 통해 모델은 학습 클래스의 데이터에 대해서는 해당 클래스로 잘 분류할 수 있도록 하고, 학습 클래스에 속하지 않는 백그라운드 데이터에 대해서는 어떠한 클래스로도 분류되지 않도록 학습한다. 하지만 기존 방법론은 단일 레이블 분류 상황을 다루고 있기 때문에 소프트 맥스 함수를 통해 각 클래스별 예측 확률값을 산출한다. 소프트 맥스 함수가 출력하는 클래스별 예측 확률은 정의에 따라 모든 클래스 확률합이 1이 되어야 한다(식 (3)). 즉, 학습 클래스에 속하지 않는 백그라운드 데이터가 어떠한 클래스로도 분류되지 않게 하려면 모델이 출력하는 클래스별 예측 확률값이 모든 클래스에 대해 동일해야 한다. 하지만 모든 클래스에 대해 동일한 예측 확률을 출력하게끔 모델을 학습시키는 것은 특정 클래스에서 높은 확률을 출력하게 하는 것보다 상대적으로 쉬운 학습에 속한다. 따라서 손실함수를 각각 정의하여 결합한 모델의 경우 학습과정에서 상대적으로 쉬운 작업인 백그라운드 데이터에 대한 손실함수 부분이 빠르게 수렴하여 분류 모델의 본래 목적인 학습 클래스를 분류하는 작업이 잘 이루어지지 않는다는 한계가 있다.

제안 방법론은 다중 레이블 예측을 위해 각 클래스별 이진 분류를 수행하기 때문에 손실함수를 새롭게 정의하지 않고도 백그라운드 데이터를 모델 학습에 쉽게 반영할 수 있다. 제안 방법론의 손실함수를 최소화하는 목적식은 시그모이드 출력 확률이 학습 데이터의 레이블에 수렴하도록 한다. 즉, 모델은 학습 데이터의 레이블에 따라 출력하는 각 클래스별 예측 확률값이 결정된다. 따라서 손실함수를 재정의할 필요없이 백그라운드 데이터의 모든 정답 레이블을 0으로 입력하여 모델을 학습시키면 백그라운드 데이터에 대한 모든 클래스 예측 확률값이 0에 가까워지고 학습 클래스 중 어디에도 속하지 않는 모르는 클래스의 예로 학습될 수 있다. 또한 학습이 완료된 모델은 해당 클래스에 속하지 않는 데이터에 대해 0에 가까운 낮은 확률을 출력하기 때문에 모르는 클래스의 데이터를 단일 레이블 문제보다 용이하게 분류할 수 있다.

각 클래스별 시그모이드 출력 확률에 대한 임계값 조정을 통해 오픈셋 분류 성능을 한 단계 더 향상시킬 수 있다. 일반적으로 각 클래스별 시그모이드 출력 확률에 대한 임계값은 0.5를 사용한다. 즉, 시그모이드 출력 확률이 0.5보다 크면 해당 클래스로, 그렇지 않으면 해당 클래스가 아닌 것으로 판정한다. 그러나 제안 방법론의 손실함수를 최소화하는 방향으로 학습된 모델은 학습데이터에 대해 해당하는 클래스는 시그모이드 출력 확률이 1에 수렴하는 값을 출력하고, 해당하지 않는 클래스는 0에 수렴하는 값을 출력하게 되므로 모델은 학습 데이터에 대해 0 또는 1에 가까운 양극단의 확률만을 출력하게 된다. 즉, 양극단이 아닌 중간 영역은 모델이 학습하지 않은 클래스의 데이터가 출력하는 확률이 잠재적으로 존재할 수 있는 공간이 된다. 따라서 임계값 0.5를 사용한 분류 결정 경계는 단순히 분류 공간을 양분하기 때문에 중간 영역에 존재하는 모델이 학습하지 않은 클래스의 데이터를 학습 클래스로 오분류할 가능성이 높아진다(Scheirer et al., 2012). 이는 학습 데이터의 클래스별 출력 확률의 분포를 반영하여 임계값을 증가시킴으로써 개선할 수 있다(Shu et al., 2017). 각 클래스별 정답 레이블 y_i=1인 학습 데이터의 시그모이드 출력 확률 f(s_i)가 평균이 1인 가우시안 분포의 절반을 따른다고 가정하고, 해당 가우시안 분포의 표준 편차(σ_i)를 사용하여 각 클래스별 임계값을 max(0.5, 1-3σ_i)로 대체하면 학습된 클래스의 데이터에 기반하여 더욱 엄격한 분류 결정 경계를 가질 수 있다. 학습한 클래스의 정보를 반영한 엄격한 분류 결정 경계는 각 클래스의 학습 데이터 분포로부터 가까운 데이터에 대해서만 해당 클래스로 분류할 수 있게 된다.

본 연구에서 사용한 데이터는 2020년 4월 1일부터 2020년 5월 31일까지 자동차 제조 업체 A사의 엔진 공장 헤드 가공공정 총 12개의 설비에서 수집된 42채널의 알람 데이터이다. 알람 데이터에는 발생한 알람 클래스의 정보와 수집 시점이 기록되어 있는데 이를 토대로 수집 시점 3일 전까지의 기간을 해당 알람 구간으로 정의했다. 정상 구간은 최대한 알람의 전조 증상을 배제하기 위해 알람 발생 간격이 3주 이상인 구간에서 추출하였다.

실험에서는 정상 클래스와 총 6종의 알람 클래스를 학습 클래스로 사용했다. 학습 클래스에 활용한 6종의 알람 클래스는 헤드 가공공정에서 발생할 수 있는 총 89종의 알람 클래스 중 설비 가동율을 저하시키는 중요한 알람 유형이다. 다음으로 백그라운드 데이터는 학습 클래스와 유사하지만 다른 클래스로는 구분될 수 있는 클래스의 데이터를 활용하는 것이 바람직하기 때문에(Lee et al., 2017) 본 연구에서는 헤드 가공공정의 설비와는 다른 작업을 수행하는 블락 가공공정의 설비 데이터 중 3종의 알람 클래스 데이터를 활용했다. 마지막으로 테스트 과정에서 오픈셋 분류 성능의 평가를 위해 사용될 모델이 모르는 클래스의 데이터는 헤드 가공공정에서 발생할 수 있는 3종의 중요하지 않은 알람 클래스를 활용했다.

먼저 데이터 수집 간격이 고르지 못한 다채널 시계열 데이터를 1초 단위의 평균으로 요약하여 수집 간격을 통일해 주었다. 다음으로 한 관측치 단위를 60초 간격의 윈도우로 설정하여 전체 데이터가 각각 (윈도우 크기×채널 수)의 크기를 가지도록 전처리를 진행했다. 데이터는 단일 클래스 7종과 다중 클래스 2종으로 구성되어 있다. 단일 클래스에는 정상 클래스와 단독으로 발생한 6종의 알람 클래스가 포함되어 있으며 다중 클래스에는 알람 클래스 1과 알람 클래스 2가 동시에 발생한 케이스와 알람 클래스 1과 알람 클래스 5가 동시에 발생한 케이스가 포함되어 있다. 모델의 학습과 평가를 위해 전체 데이터를 학습 데이터(training data) 8,797개, 테스트 데이터(testing data) 1,830개로 분리하였고 이를 <Table 1>에 요약하였다. 제안 방법론에 사용될 백그라운드 데이터는 총 2,549개로 레이블 값을 모든 학습 클래스에 대해 0으로 입력하여 학습에 포함시켰고, 모델이 모르는 클래스의 데이터(unknown data)를 2,995개로 구성하여 오픈셋 분류 성능 평가에 사용하였다(<Table 2> 참조).

먼저 제안 방법론과 오픈셋 알고리즘을 반영하지 않은 multi-label classification(MLC) 모델을 비교하여 오픈셋 알고리즘의 효과를 검증하였다. 다음으로 다중 레이블 분류에 적용할 수 있는 최신 오픈셋 분류 알고리즘을 적용한 모델과 비교하여 제안 방법론의 우수성을 살펴보았다. 비교한 오픈셋 분류 모델은 시그모이드 출력 확률값의 분포를 임계값에 반영한 deep open classification(DOC) 기반의 다중 레이블 오픈셋 분류 모델(Shu et al., 2017)과 극단치 이론(extreme value theorem; evt)에 근거하여 임계값을 설정하는 다중 레이블 오픈셋 분류 모델(Jang and Kim, 2020), 백그라운드 데이터에 대한 손실함수를 재정의하여 학습에 포함시킨 다중 레이블 분류 모델(Dhamija et al., 2018)로 구성된다.

본 실험에서는 공정한 비교를 위해 모든 비교 방법론에서 제안 방법론과 동일한 모델 구조를 적용하였다. 실험에 사용된 CNN 특징추출기는 반복 실험 과정에서 실험 데이터에 대하여 성능이 높게 나온 3-dense block으로 이루어진 densely connected convolutional network(DenseNet)을 사용하였다. Optimizer는 Adam optimizer을 사용하였으며, 학습율은 초기값 0.01에서 10번째 epoch 이후의 학습부터 이전 epoch에서의 학습율의 90%로 점차적으로 줄어들도록 설정하였다. 학습 데이터는 훈련:검증=8:2로 분할하였고, 분할된 데이터셋의 batch size는 훈련 데이터, 검증 데이터 모두 128로 설정하였다. 모델은 훈련 데이터만을 사용하여 학습을 진행했으며 100번의 epoch 중 검증 데이터에 대한 손실함수 값이 가장 작은 epoch에서의 모델을 최적 모델로 선정하였다. 실험에 대한 최종 결과는 훈련, 검증 데이터의 분할 시드를 변경해가며 총 20회 반복실험을 통해 산출하였다.

모델의 분류 성능을 평가하기 위해 다중 레이블 분류 상황에서 널리 쓰이고 있는 Jaccard similarity score를 사용했다. 식 (4)에서와 같이 Jaccard similarity score는 예측된 레이블(Z_i)과 실제 레이블(Y_i)을 모두 포함하는 레이블 대비 예측된 레이블과 실제 레이블이 일치하는 레이블의 비율을 나타낸다.

또한 실험한 모든 모델은 각 클래스별 독립적인 이진 분류를 수행하므로 클래스별 정오행렬을 구축할 수 있다. 클래스별 정오행렬에서 참 양성, 거짓 양성, 거짓 음성, 참 음성을 산출할 수 있다. 참 양성은 해당 클래스의 데이터를 해당 클래스로 정분류한 것으로, 거짓 양성은 해당 클래스가 아닌 데이터를 해당 클래스로 오분류한 것으로 정의된다. 또한 거짓 음성은 해당 학습 클래스의 데이터를 해당 클래스가 아닌 데이터로 오분류한 것으로, 참 음성은 실제 해당 클래스가 아닌 데이터를 모델이 정분류한 것으로 정의된다. 참 양성, 거짓 양성, 거짓 음성, 참 음성으로 나타나는 전체 분류 결과 중 올바르게 분류된 참 양성, 참 음성의 비율을 계산하면 모델의 분류 성능을 평가하는 지표인 정확도(accuracy)를 계산할 수 있다. 하지만 각 클래스별 독립적인 이진 분류를 수행할 경우 정확도는 다소 과대 평가될 수 있기 때문에 본 연구에서는 정밀도(precision)와 재현율(recall)의 조화평균인 F₁ score를 이용하여 성능평가를 수행하였다. 정밀도는 참 양성과 거짓 양성을 합한 값 중에 참 양성의 비율로 모델이 해당 클래스로 분류한 데이터 중에서 실제 해당 클래스의 데이터 비율을 나타내며, 재현율은 참 양성과 거짓 음성을 합한 값 중에 참 양성의 비율로 계산된다.

<Table 3>은 본 연구에서 제안하는 방법론과 비교 방법론의 전체 테스트 데이터에 대한 Jaccard similarity score와 F₁ score를 나타낸다. 성능 평가 측도는 20번 반복 실험 결과의 평균값을 사용하였으며 평균값과 함께 표준편차를 괄호 안에 함께 표기하였다. 실험 결과 학습 클래스(known classes)의 분류 성능은 오픈셋 분류 알고리즘을 적용하지 않은 MLC 모델에서 가장 높게 나왔지만 다른 모델과 유의미한 차이는 보이지 않았다. 모델이 모르는 클래스(unknown classes)의 분류 성능은 오픈셋 분류 알고리즘을 적용하지 않은 MLC 모델에서 Jaccard similarity score 기준 0.1209로 가장 낮게 나왔으며 이는 대부분의 모르는 클래스의 데이터를 모델이 학습한 클래스 중 하나로 오분류한 것으로 볼 수 있다. 반면 제안 방법론은 Jaccard similarity score 기준 0.8397로 다른 비교 방법론에 비해 독보적으로 높은 성능으로 모델이 학습하지 않은 클래스의 데이터를 모르는 데이터로 올바르게 분류했다. 특히 DOC 모델과 제안 방법론은 동일한 모델 구조와 손실 함수를 가지지만 백그라운드 데이터의 활용 여부에 기인해 성능의 차이가 발생했다. 또한, 백그라운드 데이터에 대한 손실 함수를 재정의하여 학습한 비교 모델(background)에 비해 제안 방법론이 학습 클래스 데이터와 모르는 클래스 데이터 모두에서 우수한 성능을 보였다. 이는 본 연구에서 제안하고 있는 백그라운드 데이터 사용이 분류 성능을 높이는 데 큰 기여를 했다고 볼 수 있다.

<Table 4>는 각 모델별 2종의 다중 레이블 클래스에 대한 20번 반복 실험 결과의 평균 Jaccard similarity score와 표준편차를 나타낸다. 알람 클래스 1과 알람 클래스 2가 동시에 발생한 279개의 테스트 데이터에 대해서는 오픈셋 분류 알고리즘을 적용하지 않은 MLC 모델에서 Jaccard similarity score가 0.9838로 가장 높게 나타났고, 알람 클래스 1과 알람 클래스 5가 동시에 발생한 197개의 테스트 데이터에 대해서는 제안 방법론에서 0.9949로 가장 높게 나왔다. 하지만 제안 방법론과 비교 방법론들 모두 유의미한 차이 없이 높은 정확도로 다중 레이블 분류를 수행함을 확인할 수 있었다.

다음으로 백그라운드 데이터와 모르는 클래스 데이터의 유사도에 따른 성능의 변화를 확인하기 위해 모르는 클래스 데이터의 최대값과 최소값을 범위로 가지는 균등 분포로부터 임의 추출한 데이터를 입력하여 제안 방법론의 성능을 확인하였다. 균등분포로부터 임의 추출한 데이터에 대해서도 총 20번의 반복 실험을 하였고, 그 결과 Jaccard similarity score의 평균이 0.7950, 표준편차는 0.0325로 나타났다. 이는 임의로 생성된 모르는 패턴의 데이터가 입력되어도 제안 방법론은 모르는 클래스의 데이터로 잘 분류할 수 있음을 뜻한다. 즉, 백그라운드 데이터와 모르는 클래스 데이터가 유사하지 않은 경우에도 제안 방법론은 이를 학습한 클래스 중 하나로 오분류하지 않음을 알 수 있었다.