비지도 학습 기반의 딥러닝 모델을 이용한 픽셀 단위 주조 공정 이상 탐지 시스템 개발

2.1 이상 탐지

시각적 이상 탐지 알고리즘은 의학(Fernando et al., 2021), 자율 주행(Bogdoll et al., 2022) 등 다양한 분야에서 활용되며 산업 분야에 대해서도 다양하게 연구되고 있다(Liu et al., 2024). 특히 실제 공정 시나리오에서 발생할 수 있는 상황들을 고려하기 위해 MVTec AD 데이터셋이 소개되며(Bergmann et al. 2019) 산업 분야에서의 이상 탐지 알고리즘 연구에 박차를 가했다. MVTec AD는 15개의 클래스로 구성되어 있으며, 학습 단계에서는 정상 데이터만 학습하다가 추론 단계에 진입하였을 때 정상과 이상 징후가 존재하는 데이터를 함께 추론하도록 설계하여 실제 산업에서 발생하는 시나리오를 구현하였다. 이후에도 이미지 전체의 정상적인 형태나 배치 등 객체의 논리적 구조까지 고려한 벤치마크 데이터셋이 소개되며(Bergmann et al., 2022) 산업 분야에 대해 더 높은 수준의 이상 탐지 알고리즘 개발이 진행되었다. 그 중 대표적인 방식으로 특징 추출 방식과 재구성 방식이 존재한다. 재구성 방식은 오토인코더(Hinton and Salakhutdinov, 2006)나 적대적 생성 신경망(Goodfellow et al., 2014)과 같은 전통적인 재구성 기반 딥러닝 알고리즘을 활용한 방법들이 존재한다. 오토인코더는 입력 데이터를 학습하고 이를 재구성하기 위해 설계된 대표적인 딥러닝 모델로, 입력 데이터를 유용한 정보로 압축하는 인코더(encoder)와 해당 정보를 입력 데이터와 유사한 형태로 복원하는 디코더(decoder)로 구성되어 있다. 오토인코더는 노이즈 제거(denoising), 이미지 생성(image generation) 등 다양한 분야에서도 활용되며, denoising autoencoder(Vincent et al., 2008)와 variational autoencoder(Kingma and Welling, 2013)같은 다양한 형태의 오토인코더가 소개되었다. 특징 추출 방식의 경우 기존 기계학습 기반 이상 탐지 알고리즘인 support vector data description(SVDD)를 활용한 Patch SVDD(Yi and Yoon, 2020) 등이 존재한다. 특히 ImageNet(Deng et al., 2009)과 같은 대규모 데이터셋으로 사전 학습된 모델이 입력 데이터에 대한 일반적인 시각적 특징을 효과적으로 추출할 수 있음을 보여주었으며, 이는 다양한 시각적 인식을 위한 강력한 기반으로 작용하였다(Zeiler and Fergus, 2014). 이와 같은 일반적인 특징 추출 능력은 이상 탐지 분야에서도 활용되었다. PaDiM(Defard et al., 2021)은 사전 학습된 모델을 특징 추출 모델로 활용하여 패치 수준의 마할라노비스 거리 계산을 통한 이상 탐지 알고리즘을 제안했으며, SPADE(Cohen and Hoshen, 2020) 또한 사전 학습된 모델을 활용하여 특징을 추출하고 해당 특징들을 메모리뱅크에 저장하는 k-최근접 이웃 기반의 이상 탐지 알고리즘을 제안했다. PatchCore(Roth et al., 2022)는 PaDiM과 SPADE의 방법론을 활용하여 기존 패치 단위 이상 탐지 알고리즘의 한계를 개선하고, 추출된 특징들을 효율적으로 메모리뱅크에 저장하는 방법을 통해 빠르고 정확한 이상 탐지 예측 알고리즘을 개발하였다. 이상 탐지 알고리즘이 발전함에 따라, 특히 MVTec AD와 같은 데이터셋에서 높은 성능을 보이는 모델들이 등장하고 있다. 최근에는 이상 징후를 정확히 탐지할 뿐 아니라 빠른 추론 속도를 갖춘 효율적인 알고리즘들이 소개된다. FastFlow(Yu et al., 2021)는 사전 학습된 모델을 통해 특징을 추출한 후, 패치 단위의 특징 분포는 2차원 정규화 흐름(2D normalizing flow)을 활용하여, 공간적 정보를 보존하면서도 빠르고 정확한 이상 탐지를 가능하게 설계되었다. 정규화 흐름은 복잡한 분포를 정규 분포와 같은 단순한 형태로 변환하는 학습 가능한 변환 모델로, FastFlow는 이를 2D 방식으로 확장하여 공간적 관계를 유지한다. 한편, AST(Rudolph et al., 2023)는 정규화 흐름을 기반으로 교사 모델을 설계하고, 간단한 합성곱 신경망(convolution neural network, CNN) 구조의 학생 모델과 결합하여 비대칭 학생-교사 구조를 제안하였다. 이를 통해 기존 학생-교사 모델의 한계를 극복하고, 경량화된 구조로 빠르고 효율적인 이상 탐지를 가능하게 했다.

2.2 임펠러 결함 탐지

임펠러를 제조하는 주조 공정 또한 인도 Pilot TechnoCast에서 제조된 수중 펌프 임펠러를 이미지 데이터로 활용하여, 품질 검사 자동화를 목표로 많은 연구가 이루어지고 있다(Gupta et al., 2023). Sambandam et al.(2023)은 경량화된 구조를 가진 MobileNet V2를 사용하여 지도학습과 GUI 개발을 통한 실시간 품질 검사가 가능하도록 구현하였다. Li and Li(2023)는 Xception 구조를 기반으로 한 MXNet 모델을 제안하여 경량화된 구조를 가지면서도 높은 수준의 이상 탐지 모델이 산업 환경에서 실시간으로 활용하는 데 적합함을 제안하였다. Andriosopoulou et al.(2023)은 임펠러 데이터에 대해 다양한 유형의 결함을 정의하고 Fast R-CNN과 YOLOv5를 통한 이상 징후 탐지와 결함의 위치를 특정하고 결함 유형을 판단하는 모델을 제안하였다. 이처럼 임펠러 결함 분류 자동화 시스템을 목표로 한 다양한 연구가 진행 중이지만, 대부분 학습 단계에서 이상 데이터가 필요한 지도학습 기반의 이상 탐지 알고리즘에 집중되어 있다. 지도학습 방식을 활용하기 위해서는 충분한 이상 데이터가 필요하지만 실제로 이상 데이터를 확보하기 어렵고, 작업자가 결함 유형에 대해 라벨링 하는 비용과 시간 또한 많이 소요되며, 새로운 결함 유형에 대해 재학습이 필요하다는 한계점이 있다.

3.1 EfficientAD

본 연구에서는 이러한 한계를 해결하기 위해 비지도 학습 기반의 이상 탐지 딥러닝 모델인 EfficientAD(Batzner et al., 2024) 모델을 기반하여 개선한다. EfficientAD는 지식 증류(knowledge distillation)를 기반으로, 효율적인 신경망 구조(patch description network, PDN)를 통해 이미지의 작은 영역에서 발생하는 국소적 이상(local anomalies)을 탐지한다. 또한, 오토인코더를 활용하여 전체 이미지의 정상적인 형태나 배치를 위반하는 논리적 이상(logical anomalies)을 탐지한다. 최종적으로 해당 두 탐지 결과를 결합하여, 빠른 추론 속도와 높은 수준의 이상 탐지 성능을 동시에 달성하였다. 사전 학습된 WideResNet-101(WRN-101)을 특징 추출기로 사용하여, ImageNet 데이터셋에 대해 특징 추출기와 PDN이 생성한 출력 간의 평균 제곱 차이를 최소화하는 방식으로 학습한다. 이를 통해 PDN에 지식을 증류하여 교사 모델로 사용한다. 학생 모델은 사전 학습되지 않은, 동일한 구조의 PDN을 사용하여 교사 모델의 출력을 학습한다. 이때, 너무 많은 이미지를 학습시키면 학생 모델이 교사를 모방하는 능력이 향상되고, 너무 적은 이미지를 학습시키면 정상 이미지에 대한 중요한 정보를 놓칠 수 있다. 따라서 교사를 가장 모방하기 어려워하는 이미지에 대해서만 학습하도록 한다. 이미지 x를 교사와 학생 $$ T,S\in {\mathbb{R}}^{C\times W\times H}$$에 입력하여 $$ D_{c,w,h}={\left(T(x{)}_{c,w,h}-S(x{)}_{c,w,h}\right)}^2$$를 얻고, 이 중 가장 차이가 큰 상위 0.1% 위치인 d_hard의 해당하는 값들만 선택하여, 평균 제곱 오차를 계산하는 하드 피처(hard feature) 손실 함수를 통해 학습한다. 이때, C, W, H는 출력 채널, 너비, 높이를 의미한다. 해당 손실 함수를 통해 PDN은 데이터의 특정 영역에 집중하여 학습하며 국소적 이상을 예측한다. 해당 손실 함수는 식 (1)과 같으며, <Figure 2>를 통해 PDN에 대한 구조를 확인할 수 있다.

Figure 2.

The Process of Outputting Input Data Through a PDN Consisting of Four Convolutional Layers and Two Pooling Layers

또한, 오토인코더 $$ A\in {\mathbb{R}}^{C\times W\times H}$$는 교사 모델의 출력에 대해 손실 함수 (2)를 통해 학습한다. 이를 통해 오토인코더는 이미지 전체의 정상적인 형태나 배치 등 객체의 논리적 구조를 재구성 방식으로 학습한다. $$ \Vert \cdot {\Vert }_F^2$$은 너비(W)와 높이(H)에 대한 프로베니우스 노름(Frobenius norm)을 의미한다.

하지만 오토인코더는 일반적으로 세밀한 패턴을 재구성하는데 한계가 있기에 오탐지(false positive)가 발생할 수 있다. 이를 해결하기 위해 학생 모델의 출력 채널 수를 두 배로 늘리고, 확장된 학생 출력 $$ S^{\text{'}}\in {\mathbb{R}}^{C\times W\times H}$$이 손실 함수 (3)을 통해 오토인코더의 출력을 학습하도록 설계하였다. 즉, 학생 모델은 최종적으로 교사 모델의 출력과 오토인코더의 출력을 각각 모사함으로써 국소적 이상과 논리적 이상을 탐지할 수 있도록 학습된다. 따라서 학생 모델 S는 기존 손실 함수를 통한 C×W×H크기의 출력과 S^'을 결합하여 2C×W×H의 출력 크기를 갖는다.

최종 손실 함수는 식 (4)를 통해 모델이 학습하며, 식 (5)를 통해 국소적 이상에 대한 이상치 점수(anomaly score) M_local(h,w)과 논리적 이상에 대한 이상치 점수 M_global(h,w)을 얻는다. 이상치 점수는 해당 픽셀이 정상 패턴에서 벗어난 정도를 나타내는 값이다. 식 (6)을 통해 M_tatal(h,w)를 구하는데, 이때 하나의 이상치 점수에 의존하지 않도록 식 (7)을 통해 각 이상치 점수를 비슷한 범위로 정규화한다. 이때, q_a와 q_b는 각 픽셀의 이상치 점수 중 가장 큰 점수를 얻은 상위 10%와 0.5%일 때의 값을 의미한다. 최종적으로 M_tatal(h,w)의 최댓값을 입력 이미지에 대한 이상치 점수로 사용하여 이상 탐지를 수행한다.

3.2 디코더의 복원 방식

오토인코더에서 입력 데이터를 복원하는 방식으로 bilinear 업샘플링(bilinear upsampling) 방식과 전치 합성곱(transposed convolution) 등이 있다. Bilinear 업샘플링 방식은 인접한 4개의 픽셀값을 선형 보간하여 새로운 픽셀값을 생성하는 방식으로, 식 (8)을 통해 계산된다. 이때, f₀₀, f₀₁, f₁₀, f₁₁은 인접한 4개의 픽셀값 중 왼쪽 위, 왼쪽 아래, 오른쪽 위, 오른쪽 아래를 뜻하며, d_x와 d_y는 보간 위치와 픽셀 좌표 간의 상대적 거리(비율)를 뜻한다.

전치 합성곱은 일반적인 합성곱의 역연산처럼 작동하며, 학습 가능한 가중치를 통해 복원한다. 전치 합성곱의 계산을 통해 데이터의 높이가 변화되는 과정 또한 식 (9)를 통해 정의된다. 이때, H₀은 출력되는 데이터의 높이, H_in은 입력되는 데이터의 높이, kernel size는 합성곱 연산을 위해 사용되는 커널의 크기, stride는 커널을 이동시키는 간격, 그리고 padding은 입력의 가장자리에 추가된 값을 의미한다. kernel size, stride, padding을 통해 출력되는 이미지 데이터의 크기를 조절할 수 있다. 너비(W) 또한 같은 방식으로 계산된다.

EfficientAD는 bilinear 업샘플링 방식과 합성곱 층을 활용한 복원 방식을 사용하고 있다. 해당 방식은 bilinear 업샘플링 방식을 통해 안정적으로 복원이 가능하다는 장점이 있지만, 고정된 연산을 통해 복원이 이루어지므로, 인코더를 통해 압축된 정보들에 대한 세밀한 복원을 이루는 데 한계가 있다. 결과적으로, 학습을 통해 갱신되는 가중치가 존재하지 않는 bilinear 업샘플링 방식은 복잡한 데이터의 세밀한 복원을 위해 필요한 능력을 제공받지 못한다.

4.1 픽셀 단위의 정답 라벨 생성

픽셀 단위 이상 탐지 성능을 평가하기 위해서는 픽셀 단위의 정밀한 정답 라벨(ground truth labels)이 필요하다. 해당 성능평가를 위해 필요한 ground truth는 이상 데이터에 존재하는 모든 결함 영역에 대해 픽셀 단위로 라벨링(labeling)하여, 정상 영역과 이상 영역을 구분한다. 산업 환경을 기반으로 설계된 벤치마크 데이터셋인 MVTec AD, MVTec LOCO 또한 픽셀 단위의 정밀한 ground truth를 제공함으로써 픽셀 수준 성능평가를 가능하게 한다. 하지만 기존 임펠러 데이터는 해당 이미지가 정상인지 아니지만을 구분하였으며, 이상 이미지 내 존재하는 결함들에 대한 픽셀 단위의 ground truth labels가 존재하지 않는다. 따라서 본 논문에서는 임펠러 데이터에 대한 픽셀 단위의 정밀한 라벨(pixel-precise ground truth labels)을 새롭게 구축하여, 비지도 학습 기반 이상 탐지 모델의 픽셀 단위 이상 탐지 성능을 평가할 수 있도록 한다.

우선, Andriosopoulou et al.(2023)에서 정의한 임펠러 결함 유형에 따라 구멍(holes), 거칠기(roughness), 얼룩(spots) 등으로 분류한다. 그 후, 실제 임펠러 데이터에 존재하는 결함을 식별하고, 기존 벤치마크 데이터셋에서 제공하는 픽셀 단위의 ground truth를 참고하여 동일한 방식으로 제작한다. 임펠러 데이터에 대한 픽셀 단위의 ground truth는 결함 종류에 따라 결함 영역과 정상 영역을 픽셀 단위로 정밀하게 라벨링하여 생성한다. 이때 결함 영역은 흰색, 정상 영역은 검은색으로 표시한다. 마지막으로, 라벨링한 결함 부분들에 대해 재검토 및 수정하여 최종적인 ground truth labels를 구축한다. 이를 통해 임펠러 데이터에 대한 비지도 학습 기반 모델의 픽셀 단위 이상 탐지 성능을 확인할 수 있으며, 추후 임펠러 데이터에 대한 이상 탐지 알고리즘 개발에도 많은 도움을 줄 수 있을 것이라 기대한다. <Figure 3>을 통해, 임펠러 내 존재하는 다양한 결함 종류와 이를 픽셀 단위로 라벨링하여 새롭게 구축한 픽셀 단위의 ground truth를 보여준다.

Figure 3.

Example Images of the Impeller Dataset. For each defect category, anomalous example(top), close-up view(middle) and pixel-precise ground truth(bottom).

4.2 픽셀 단위의 이상 탐지 개선

본 연구에서는 3.2장에서 언급한 기존 방법론의 한계를 해결하기 위해 전치 합성곱(transposed convolution) 방식을 활용하여 복원과 학습을 동시에 수행하는 구조를 제안하며, <Figure 4>를 통해 이를 나타내었다. 이 방식은 인코더를 통해 변환한 특징 벡터를 원래의 데이터 형태로 복원하면서 복원에 필요한 필터(filter)의 가중치들을 학습하여, 복원을 통한 데이터의 전체에 대한 의미적 정보와 데이터 내 세밀한 정보를 효과적으로 학습하여 복원할 수 있다. 이를 통해 논리적 이상 탐지 성능을 개선하고 미세한 결함들에 대해 더 정밀하게 탐지할 수 있도록 개선하였다. <Figure 3>에서 알 수 있듯이, 미세한 결함들부터 그림자의 방향과 흐름을 통해 탐지가 필요한 얼룩(spots)과 같은 논리적 결함(logical anomalies)까지 다양한 결함이 존재하는 임펠러 데이터에 대해서 해당 방법론이 효과적임을 실험을 통해 검증하였다.

Figure 4.

Overview of Our Methodology. We implemented the reconstruction method for the autoencoder using transposed convolution instead of the previous method comprising strided convolutions and bilinear upsampling.

또한 전치 합성곱은 커널 크기(kernel size), 스트라이드(stride), 패딩(padding)을 통해 출력을 유연하게 조절할 수 있다. 이를 활용하여 인코더와 디코더를 대칭적으로 설계하였으며, 체커보드 아티팩트(checkerboard artifacts)를 완화하였다. 체커보드 아티팩트란 격자무늬처럼 생긴 인공적인 패턴으로, 전치 합성곱을 사용할 때 업샘플링 과정에서 일정하지 않은 중첩(overlap)이나 커널 간격의 불균형으로 인해 발생한다. 이는 복원된 이미지가 시각적으로 부자연스러운 결과를 만들어내며, 학습에 부정적인 영향을 줄 수 있다. 따라서 전치 합성곱에 사용되는 커널의 크기와 스트라이드를 알맞게 설계하여 체커보드 아티팩트를 예방함과 동시에 인코더와 디코더의 대칭적일 수 있도록 설계하여 학습 과정에서 위치 정보 손실을 줄이고, 이미지 내 공간적 관계를 정확하게 학습할 수 있도록 한다. 이후, 기존 디코더에 존재하는 드롭아웃(dropout)을 제거하는 것이 모델 성능 향상에 기여함을 실험적으로 검증하였다.

5.1 데이터 구성

본 연구에서는 임펠러 데이터에 대한 이상 탐지 모델의 학습과 성능평가를 목적으로 데이터를 재구성하였다. 벤치마크 데이터셋인 MVTec AD가 카테고리당 평균적으로 학습 단계에서 정상 이미지 242장, 추론 단계에서 결함 이미지 84장으로 구성된 점을 참고하여, 본 논문에서는 제공된 데이터 중 정상 이미지 400장을 학습 단계에, 정상 이미지 100장과 결함 이미지 100장을 추론 단계에 활용하여 제공한다. 학습 및 추론 단계에 사용되는 정상 클래스는 다양한 조명 조건과 촬영 각도를 반영하도록 이미지를 선별하였으며, 추론 단계에 사용되는 이상 클래스는 다양한 결함 유형을 갖는 이미지들이 포함하도록 구성하였다. 또한, 픽셀 수준의 이상 탐지 성능평가를 위해 추론 단계에서 사용하는 결함 이미지 100장에 대해 픽셀 단위의 ground truth를 생성하여 데이터셋에 추가하였다. 해당 데이터셋은 https://github.com/orail-inha/Casting-impeller-dataset을 통해 제공받을 수 있다.

5.2 평가지표

제안한 방법론에 대해 이미지 수준의 이상 탐지와 픽셀 수준의 이상 탐지에 대한 평가를 진행한다. 이미지 수준에 대한 평가지표로는 AUROC(area under ROC curve), AUPRC(area under precision-recall curve), 정밀도(precision), 재현율(recall), f1-score로 측정한다. 픽셀 수준에 대한 평가지표로는 AUROC, PRO-score(per-region overlap), f1-score를 사용하였다. 본 연구에서 사용하는 모델들은 각 이미지 또는 픽셀마다 임계값을 기준으로 이상 점수를 예측한다. 따라서 임계값에 대한 독립적인 평가지표로 AUROC, AUPRC, PRO-score를 사용하고, 종속적인 평가지표로는 precision, recall, f1-score를 사용한다. AUROC는 위양성률(FPR)과 진양성률(TPR)을 x축과 y축으로 설정하여 임계점에 따라 그려지는 ROC(receiver operating characteristic) 곡선 아래의 넓이를 의미한다. AUPRC는 recall과 precision을 x축과 y축으로 설정하여 임계점에 따라 그려지는 곡선 아래의 넓이를 의미한다. PRO-score는 실제 이상 영역과 예측된 이상 영역 사이의 겹치는 정도이다. 해당 평가지표는 결함 영역(connected component)을 단위로 평가하며, 이를 통해 모든 이상 영역을 공정하게 평가할 수 있다. 해당 평가지표는 Bergmann et al.(2019)과 Batzner et al.(2024)을 기반하여, FPR이 30% 이하인 구간까지의 PRO 곡선 면적을 사용한다. Precision은 모델이 이상이라고 예측한 결과 중 실제로 이상인 비율을 의미하며 식 (10)으로 계산된다. Recall은 실제 이상 중에서 모델이 올바르게 예측한 비율로, TPR과 같은 의미이며 식 (11)로 계산된다. 두 지표는 서로 상충관계(trade-off)에 있기 때문에, 이를 균형 있게 평가하기 위해 f1-score를 사용한다. F1-score(또는 Dice coefficient)는 모델이 예측한 결함 영역과 실제 결함 영역의 겹치는 정도를 평가한다(Haft-Javaherian et al., 2020). 본 연구에서는 최적의 임계값에 대한 f1-score를 평가지표로 사용하며, 이를 F1-max로 지칭하였다(Jeong et al., 2023). 또한 이때의 precision과 recall을 평가지표로 사용하였다. TPR, FPR, precision, recall, f1-score는 혼동행렬(confusion matrix)을 통해 이해할 수 있으며, f1-score는 식 (12)를 통해 확인할 수 있다. 혼동행렬, AUROC 및 AUPRC에 대한 그래프는 <Figure 5>와 같다.

Figure 5.

Confusion Matrix(left) and AUROC(middle), AUPRC(right).

5.3 이상 탐지 성능 수준 비교

이미지 수준의 이상 탐지 성능평가를 통해, 모델이 입력 이미지의 이상 여부를 얼마나 정확히 판별하는지 정량적으로 평가한다. 반면, 픽셀 수준의 이상 탐지 평가는 모델이 이상 영역의 위치를 얼마나 정확히 탐지하는지를 정량적으로 평가한다. <Table 1>은 임펠러 데이터셋에 대한 이미지 수준의 실험 결과를 보여준다. AUROC에 대해 기존 EfficientAD보다 0.22%의 약간 개선하여 높은 성능을 달성했으며, AST를 제외한 비교 방법론들을 능가한다. AST는 이미지 수준의 이상 탐지를 집중한 방법론이기에 해당 평가지표에 대해 가장 높은 성능을 보인다. 하지만 본 연구에서 제안하는 방법론과 비교했을 때, AUROC에 대해 0.19%의 차이를 보이고, AUPRC에 대해 0.14%의 차이를 보이며 precision, recall, F1-max에 대해 두 방법론 모두 가장 높은 성능을 달성했다. 이를 통해 본 연구의 방법론이 AST와 비교했을 때 이미지 수준 이상 탐지 성능에서 거의 차이가 없음을 확인할 수 있다. <Table 2>는 임펠러 데이터셋에 대한 픽셀 수준의 실험 결과를 보여준다. 두 평가지표 모두 가장 높은 성능을 달성했으며, AUROC에 대해 기존 방법론보다 4.98%의 개선을 이루었다. 임펠러 데이터는 사소한 결함부터 결정적인 결함까지 객체 내 다양한 결함이 복합적으로 존재하기 때문에, 데이터의 정상과 이상만을 탐지하는 이미지 수준 이상 탐지에 대한 성능평가보다, 픽셀 단위로 결함 영역을 탐지하는 픽셀 수준 이상 탐지에 대한 성능평가가 상대적으로 낮은 수치를 보인다. 특히 AST는 이미지 수준의 이상 탐지에 대해 높은 성능을 보였으나, PRO-score에서 본 연구의 방법론보다 18.16% 낮은 성능을 보였다. 해당 실험을 통해 본 연구에서 제안한 방법론이 이미지 수준과 픽셀 수준 모두에서 높은 이상 탐지 성능을 갖는다. 특히, 본 연구의 방법론이 기존 방법론보다 임펠러 내 이상 영역을 픽셀 단위로 정확히 탐지할 수 있음을 입증한다. 이를 통해 임펠러에 대한 주조 공정 내 픽셀 단위 이상 탐지 자동화 시스템에 최적화됨을 확인할 수 있다.

Table 1.

Image-level Anomaly Detection for the Pump Impeller Dataset. Best Results are Highlighted in Bold.

Table 2.

Pixel-level Anomaly Detection for the Pump Impeller Dataset. Best Results are Highlighted in Bold.

5.4 다양한 도메인에 대한 성능평가

해당 실험은 본 논문에서 제안한 알고리즘이 다양한 데이터에 대해서도 여전히 높은 이상 탐지 성능을 보이는지 확인하기 위해, 임펠러 데이터 외의 다른 데이터에 대해 실험을 진행하였다. 본 실험은 MVTec AD에 존재하는 다양한 클래스를 대상으로 진행하였으며, 각 클래스에 따른 이미지 수준의 AUROC와 픽셀 수준의 AUROC를 통해 본 방법론에 대한 이미지 수준의 이상 탐지 수준과 픽셀 수준의 이상 탐지 수준 모두 평가하였다. <Table 3>은 해당 실험 결과를 보여주며 비교 평가를 위해 PatchCore와 EfficientAD 또한 같은 조건으로 실험을 진행하였다. 실험 결과, MVTec AD에 대해 전체적으로 높은 이상 탐지 성능을 달성했으며 평균적으로 이미지 수준의 이상 탐지 성능은 EfficientAD가 가장 높은 성능을 보였으며, 픽셀 수준의 이상 탐지 성능은 본 방법론이 가장 높은 성능을 보였다. 특히 본 방법론은 15개의 클래스 중 9개에 대해 가장 높은 픽셀 단위의 AUROC를 달성했다. 이는 본 방법론이 픽셀 단위의 이상 탐지에 대해 가장 경쟁력 있는 모델임을 입증한다. 본 연구에서 제안한 방법론이 추후 다양한 산업 시나리오 내에서도 이상 탐지 자동화 시스템으로 적용할 수 있을 것이라 기대한다.

Table 3.

Comparison on Each Category of MVTec AD. (·,·) denotes the image-level AUROC(%) and pixel-level AUROC(%). Best results are highlighted in bold.

5.5 지연 시간 측정

본 연구에서는 다양한 이상 탐지 알고리즘의 지연 시간(latency)을 정량적으로 비교하여 제안 방법의 효율성을 검증하였다. 지연 시간이란 단일 입력 이미지가 CPU에서 GPU로 전송된 시점부터, 모델이 결과를 계산해 다시 CPU로 반환하기까지의 경과 시간을 의미한다. 동일한 실험 환경을 보장하기 위해 모든 방법에 대해 배치 크기를 1, 256×256 이미지 크기와 NVIDIA RTX A5000 GPU로 통일하여 실험을 진행하였다. 측정된 지연 시간은 각 모델의 실시간 처리 능력을 평가하는 핵심 지표로 활용되었다. 해당 결과는 <Figure 6>과 같으며 자세한 결과는 <Table 4>를 통해 확인할 수 있다. 실험 결과, EfficientAD와 본 방법론 모두 다른 방법론들에 비해 압도적으로 지연 시간이 적음을 확인할 수 있었으며, 본 연구에서 제안한 방법이 EfficientAD보다도 더 낮은 지연 시간을 보이는 것을 확인하였다. 이 결과는 실시간으로 빠른 이상 탐지 수행이 필요한 공정에 대해 제안한 방법론이 품질 검사 자동화 시스템으로 최적화됨을 나타낸다.

Figure 6.

Latency for Each Anomaly Detection Model on an NVIDIA RTX A5000

Table 4.

Latency in Milliseconds, as Shown in <Figure 6> of the Main Paper