시뮬레이션 데이터 생성을 통한 기계학습 기반 원자로 노심 이상 탐지 방법론

3.1 RAST-K를 이용한 학습용 노심 운전 데이터 생산

높은 예측 성능을 가진 이상 탐지 모델을 개발하고 이를 학습시키기 위해서는 정상 상태와 이상 상태의 원자로 운전에서 발생하는 충분한 숫자의 학습 데이터가 필요하다. 하지만, 실제 원자로 노심 이상 상황을 재현하여 노심 운전 데이터를 수집하는 것은, 원자력발전소 안전성 문제, 비용 문제, 보안성 문제 등으로 인해 현실적으로 불가능하다. 따라서 본 과제에서는 한수원의 지원을 받아 울산과학기술원에서 개발한 노심 설계 코드인 RAST-K를 활용하여 노심 정상 상황 및 이상 상황에 대한 운전 데이터를 생산하고, 이를 인공지능 학습 및 검증에 활용하였다. RAST-K는 함수화 된 핵단면적, 단순 열수력 모듈, 연소계산 솔버 등 여러 공학적 기능을 포함하고 있어 다양한 노심 모델에 대한 해석이 가능하고, 다양한 운전 상황에 대한 데이터를 생산할 수 있다(Choe et al., 2019).

RAST-K를 이용하여 학습용 노심 운전 데이터를 생산할 때, OPR1000형 노심 모델을 기반으로 하였다. 생성된 노심 운전 데이터와 실제 데이터가 얼마나 정합성을 가지는 지 임계붕소농도(Critical Boron Concentration; CBC), 운전 중 실측 축방향 출력 편차와 설계 축방향 출력 편차(Axial Shape Index; ASI), 구성 요소들의 연소 분포 및 출력 분포 등을 기준으로 RAST-K의 개발 단계에서 평가되었다. OPR1000형 노심 모델의 경우, 실제 측정된 값과 비교하여 CBC 분포는 75ppm 이하, ASI 값은 0.1 이하의 수준의 차이를 보이는 것을 확인하였다. 또한 실제 연소 분포 및 출력 분포의 경우 RMSE 기준으로 1.35% 수준의 높은 정확도를 보였다(Choe et al., 2019). 본 연구는 RAST-K에서 생성되는 시뮬레이션 데이터가 실제 원전에서 생성되는 데이터와 높은 정합성을 가진다고 평가 결과 근거 하에, 실제 노심의 운행 정지를 발생시킨 제어봉 위치 이상 상황에 대한 시뮬레이션 데이터를 활용하였다.

실제로 OPR1000형 노심의 운전 데이터는 총 225개의 노내 계측기를 통해 측정된다. 노내 계측기들은 <Figure 2(a)>에서 노란색으로 표시된 같이 45개 채널에 설치되어 있는데, 채널 당 5개의 노내 계측기가 축방향으로 각 노심 하부로부터 10%, 30%, 50%, 70%, 90% 지점에 위치하여 핵계측기 집합체가 설치된 곳의 핵연료집합체 축방향 출력 분포 뿐 아니라 노심 평균 축방향 출력 분포도 계산할 수 있게 된다(Khoshahval et al., 2018).

Figure 2.

OPR1000 Type Reactor Core Model

노심은 연소가 진행될수록 축 방향 출력 분포가 매우 다른 양상을 보이는 것으로 알려져 있다(Lee et al., 1999). 보통 주기 말이 될수록 노심 중간 부분의 출력이 낮고 노심 상, 하부 출력이 높은 말안장 형태를 지니게 되어 주기 초의 완만한 삼각함수 형태의 출력 분포를 잘 예측하도록 설정된 경계조건을 주기 말까지 사용하면 주기 말 출력 분포 오차는 증가하게 된다. 이 때문에 기존 노심 감시 계통은 연소도 별로 최적의 경계조건을 구하는데, 현재의 노심 감시 계통은 주기 초(BOC, Beginning of Cycle), 주기 중간(MOC, Middle of Cycle), 그리고 주기 말(EOC, End of Cycle)에 적용하는 경계조건을 따로 계산하여 사용하고 있는데, 이는 어느 하나의 경계조건만으로는 주기 전체에 대한 계산 오차를 감당할 수 없기 때문이다. 본 연구에서도 연소도 별로 노심 운전 데이터를 생산한다.

한편, 원자로에는 원자로 노심에 삽입돼 핵연료 반응을 제어하기 위한 목적으로 제어봉이 설치되어 있는데, OPR1000형 노심 모델에서의 제어봉은 크게 세 가지 종류로 구분된다. 운전 중 이상 발생 시 삽입되어 충분한 정지 여유도를 제공하는 정지제어군(SA, SB), 출력 운전 중 노심 내 중성자속 준위를 제어하는 조절제어군(R1, R2, R3, R4, R5), 축 방향 중성자속 분포를 조정하는 부분 강 제어군(P_S)이 각 28개, 37개, 8개씩 총 73개의 제어봉 집합체를 가진다.

집합체 응용프로그램에 의해 계산되는 출력 관련 제어봉 삽입 제한치(Power Dependent Insertion Limit, PDIL)는 원자로 출력에 따라 제어봉집합체의 허용 삽입 한계를 결정하는 운전 제한치이다. 출력 관련 제어봉 삽입 제한치는 원자로가 임계상태에 있을 때 정지 여유도와 이탈 제어봉집합체 반응도 제한치가 일치되도록 원자로 운전을 유지하기 위해 사용된다. 출력 관련 제어봉 삽입 제한치는 원자로 출력 신호와 제어봉집합체 위치 신호를 사용하여 결정된다.

제어봉은 원자로 상부에 설치된 제어봉 구동장치(CEDMCS; Control Element Drive Mechanism)에 의해 구동되며, 제어봉의 구동 단위는 1.905cm이다. 원자로 노심 출력(P_core)에 따른 제어봉 집합체의 삽입을 허용하는 값이 설정되어 있는데, 이를 출력 관련 제어봉 삽입 제한치(PDIL; Power Dependent Insertion Limit)라고 한다. PDIL은 원자로가 임계 상태에 있을 때 정지 여유도와 이탈 제어봉집합체 반응도 제한치가 일치되도록 원자로 운전을 유지하기 위해 사용된다. PDIL은 원자로 출력 신호와 제어봉 집합체 위치 신호를 사용하여 결정된다(Lee et al., 2003).

예를 들어, OPR1000형 노심에서 제어봉 그룹 중 R3(=Bank 3), R4(=Bank 4), R5(=Bank 5)는 PDIL 값이 출력에 따라 변하는 반면, 그 외 R1, R2, SA, SB, P_S의 PDIL은 100%로 일정하다. <Figure 3>을 보면 조절제어군 R3, R4, R5는 출력에 따라 그 삽입 한계가 달라지는 것을 알 수 있다. 즉, 정상 운전 중 출력이 감소하면 R3, R4, R5는 일정 수준의 삽입이 허용되지만, 그 외 제어봉 그룹은 삽입이 허용되지 않는다. 원자로 노심 출력 P에 대한 PDIL 값을 각각 PDIL_R3(P), PDIL_R4(P), PDIL_R5(P)과 같이 P의 함수 형태 표기한다.

Figure 3.

PDIL of OPR1000 Type Reactor

본 연구에서는 출력 분포를 100%, 80%, 60%로 구분하여 시뮬레이션을 진행하였고, 출력 분포에 따라 PDIL 값이 변화하는 R3, R4, R5 세 가지 제어봉 집합체의 경우, 이를 위배하지 않는 조건에서 제어봉 위치를 조절하였다. 이와 같은 과정을 통해 초기 제어봉의 위치는 PDIL에 위배되지 않는 위치에서 설정하였으며, 이를 바탕으로 노심의 운전 데이터를 생산하였다.

<Figure 2(b)>가 나타내듯이, 원자로 노심 모델을 사분면으로 나누었을 때, 각 사분면에 대칭인 위치에 같은 종류의 제어봉들이 설치되어 있으며, 서로 대칭인 4개의 제어봉을 제어봉 부그룹이라고 부른다. 제어봉 부그룹 내 제어봉의 위치 편차는 정상적인 원자로 운전을 결정짓는 중요한 감시 지표 중 하나이다. 모든 제어봉의 위치는 집합체 연산기(CEAC; Control Element Assembly Calculator)가 감시하며, 제어봉 부그룹 내 25.15cm 이상의 위치 편차가 발생하면, 계산되는 핵비등이탈율에 따라 운전 정지의 원인이 되기도 한다. 하지만, 이러한 제어봉 위치 신호는 높은 불확실도와 오류 가능성이 있는 것으로 알려져 있다(Oluwasegun and Jung, 2020). 실제로 원자로 운전 중 제어봉 구동장치 이상, CEAC 오작동 등이 빈번히 발생해 다수의 원자력 발전소에서 운전 정지 또는 출력 감발 운전을 경험한 바 있다. 이에 본 연구는 제어봉 위치 신호에만 의존하지 않고, 노심 노내 계측기 신호를 함께 이용하여 제어봉 위치 이상 발생 여부를 조기에 탐지하고자 한다.

3.2 제어봉 위치 이상 데이터 생성 모델

본 연구에서는 한 개의 제어봉집합체 위치가 부그룹 내 제어봉집합체와 5개 스텝(1.905 cm/step) 이상 편차가 발생할 경우, 제어봉 위치 이상이 발생한 것으로 간주하였다. 이는 CEAC에서 제어봉 이상 탐지를 위해 설정된 기준치(25.15cm)보다 작은 값으로, 더 어려운 상황을 가정하였다.

실제로 제어봉 위치 이상이 노심 출력에 끼치는 영향을 파악하기 위하여, <Figure 2(b)>의 E-03에 위치한 제어봉집합체를 5 스텝(9.525cm) 삽입하였다고 설정하고, 제어봉 삽입에 따른 RAST-K 출력 분포의 변화를 비교하였다. <Figure 4(a)>와 <Figure 4(b)>는 각각 정상 상황에서의 집합체 출력 분포와 이상 상황에서의 집합체 출력 분포를 보여준다. <Figure 4(c)>는 정상 상황에서의 집합체 출력값과 이상 상황에서의 집합체 출력값의 차이값의 분포를 보여준다. 제어봉 위치 이상은 노심 전체 출력에 영향을 미치며, 집합체 출력값의 차이는 삽입된 위치로부터 멀어짐에 따라 커지는 것을 알 수 있다.

Figure 4.

Change of Assembly Power Distribution by Insertion of Rod Bank

다양한 제어봉 위치 이상 상황에서의 운전 데이터를 생산하기 위하여, 위치 편차를 발생시키는 제어봉 집합체의 위치와 선택된 제어봉 집합체의 부그룹 내 제어봉 위치 편차 정도를 반복적으로 무작위 샘플링하였다. 세 가지의 노심 모델의 운전 출력값(P_core=0.60,0.80,1.00)을 고려하였다. 각 P_core와 연소도 주기(BOC, MOC, EOC) 따른 제어봉 위치 이상 노심 모델 및 학습용 운전 데이터를 아래의 과정을 통해 생산하였다.

• 1. 73개의 제어용 집합체의 위치 중 하나를 동일한 확률로 무작위로 선택한다.
• 2. p₀는 P_core값과 1 사이의 연속 균등 분포에서 무작위 표본 추출하여 생성된다고 가정한다.

선택된 임의의 출력(p₀)에 해당하는 제어용 제어봉 위치를 기본 제어봉 위치로 한다. 즉, R3은 PDIL_R3(p₀) 인출, R4는 PDIL_R4(p₀) 인출, R5는 PDIL_R5(p₀) 인출된 상태가 기본 제어봉 위치가 된다.

• 3. 선택한 제어봉 집합체에 발생시킬 위치 편차(제어봉 스텝 수) 아래의 정규분포를 따른다고 가정한다. 이때 m값이 양수이면 제어봉 인출, 음수이면 제어봉 삽입 상황을 나타낸다.

• 4. 3.에서 결정한 제어봉 편차가 5스텝 이상일 경우 해당 모델을 제어봉 위치 이상 발생모델(y=1)로 간주한다.

• 5. 1~4를 통해 결정된 제어봉 위치의 원자로 노심 모델에 대해 원자로 운전 데이터(X)를 생산한다. 원자로 운전 데이터는 RAST-K로 계산한 모의 노내 계측기 신호이다. 이 때 우연요인에 의한 품질변동을 설명하기 위하여 다음과 같이 X 요소값(x)들에 각각 가우시안 노이즈(Gaussian noise)를 아래와 같이 추가하였다.

가우시안 노이즈가 추가된 x^*로 구성된 X와 같은 크기의 행렬을 X^*로 표기한다.

• 6. 1~5를 총 N번 반복하여 제어봉 위치 이상 발생 노심 모델과 두 가지 종류의 노심운전 데이터셋인 ($$ \left\{{\left(y_i,{\text{X}}_i\right)}_{i=1, \cdots N}\right\}$$과 $$ \left\{{\left(y_i,{\text{X}}_i^{\text{*}}\right)}_{i=1, \cdots N}\right\}$$)을 생산한다.

위에서 설명하였듯이, 제어봉 편차가 5스텝 이상일 경우 해당 모델을 제어봉 위치 이상 발생모델(y=1)로 간주하는데, 본 연구에서는 정상 상태와 이상 상태의 데이터가 같은 비율로 생성되도록 m이 따르는 정규 분포의 표준 편차 값을 설정하였다. 즉, m∼N(0, 7.45²)에서 7.45²는 m의 확률 밀도 함수 f가 $$ {\int }_{-5}^{5}f\left(m\right)\approx 0.5$$을 만족하도록 설정하였다. 위 과정을 통해 제어봉 위치 이상 노심 모델에 대한 모의 계측기 신호 데이터를 세 가지의 노심 모델의 운전 출력(100%, 80%, 60%)과 세 개의 연소도 주기(BOC, MOC, EOC)에서 충분한 수의 데이터를 생산하였다. 각 운영 설정마다 정상상태와 이상상태의 데이터를 5,000개씩, 총 10,000개의 데이터를 생성하였다.

4번 단계에서는 우연요인에 의해 발생하는 품질변동을 요소값(x)에 반영하였다. 식 (2)는 x^*∼N(x, (0.01×x)²)과 동일하며, x^*는 x를 기대값으로, x의 1% 값을 그 표준편차로 가지는 정규 분포를 따르는 확률 변수로부터 추출한 값이라고 해석할 수 있다.

제어봉 위치 이상 노심 모델을 이용해 생산한 데이터는 OPR1000형 노심의 한 연소도 주기에서의 스냅(snap) 데이터이며, X는 10,000번 반복 생성된 225개 노내 계측기 신호 데이터와 73개의 제어봉 위치 정보로써 그 사이즈는 10,000×298이며, y은 노심 모델의 제어봉 위치 이상 발생 여부를 1과 0으로 표현한 사이즈가 10,000인 벡터(vector)이다. <Table 1>은 실제 생성된 데이터의 예시이다.}

Table 1.

Example of Simulation Data

<Table 1>에서 CR1, …, CR73 값은 CEAC에 의해 계산된 <Figure 2(b)>에 표시된 73개 제어봉의 위치 신호값이다. H1P1, …, H5P45은 총 225개의 노내계측기 신호값이다. H1, …, H5는 축방향 5개의 위치를 의미하고, P1, …, P45은 <Figure 2(a)>에 표시된 45개의 노내 계측기를 각각 의미한다. 이렇게 제어봉 위치 신호값과 노내계측기 신호값, 총 298개의 값을 시뮬레이션을 통해 생성하였고, 이를 바탕으로 노심의 운전 상태를 예측하는 모델을 개발하였다.

3.3 시뮬레이션 데이터 생성을 통한 분류 기반 이상 탐지 기법

일반적으로, 통계적 이상 탐지는 그 목적에 따라 제1 국면(Phase I)과 제2 국면(Phase II)으로 구분한다(Park and Kim, 2020). 보통 제1 국면에서는 공정이 관리 상태(In-control)인지 확인하는 용도로 사용되며, 공정이 이상 상태(Out-of-control)로 판단될 경우, 공정 모수의 변화를 유발하는 이상 요인을 파악하여 제거함으로써 공정을 관리 상태로 만들고, 관리 상태에서 생성된 데이터를 통하여 정상 상태와 이상 상태의 경계를 결정한다. 우리의 경우는 데이터 생산체계를 통하여 통제된 가운데 시뮬레이션 데이터를 생성하고 있기 때문에, 관리 상태를 별도로 확인할 필요는 없고, 제1 국면에서는 학습 데이터를 이용하여 모델을 학습시킴으로써 정상 상태와 이상 상태의 경계를 결정짓게 된다. 이 과정에서 일부 발생할 수 있는 극단치(outlier)나 데이터 오류는 제거하는 전처리 과정을 거칠 수 있다. 제2국면에서는 학습된 분류 모델을 이용하여 실제 데이터를 모니터링하면서 실시간으로 정상 상태인지 이상 상태인지 분류를 하게 된다. 시뮬레이션 데이터 생성을 통한 분류 기반 이상 탐지 방법론에 대한 개요는 <Figure 5>에 요약하였다.

Figure 5.

Overview of Anomaly Detection Approach Using Simulation Data

기계학습 기반 이상 탐지 기법은 크게 분류(classification) 기반 이상 탐지 기법, NN(Nearest neighbor) 기반 이상 탐지 기법, 군집화(clustering) 기반 이상 탐지 기법, 이상 탐지의 통계적 기법, 정보 이론 이상 탐지 기법, 스펙트럴 이상 탐지 기법, 맥락적 이상 탐지 등으로 나눌 수 있다(Chandola et al., 2009; Hodge and Austin, 2004). 이러한 기법들은 데이터에 대한 레이블(Label)이 주어졌는지 여부에 따라 지도 학습과 비지도 학습으로 분류가 가능하다. 본 연구에서는 핵 코어 분석 코드인 RAST-K를 사용하여 데이터에 대한 레이블 데이터도 함께 생성 가능하기 때문에, 대표적인 지도 학습 기반의 이상 탐지 기법인 분류 기반 이상 탐지 기법을 고려하였다.

분류 기반 이상 탐지 기법은 각 개체가 어느 클래스에 속하는지에 대한 레이블이 있는 데이터로 분류기(classifier)를 학습(training)한 뒤, 학습된 모형으로 새로운 개체에 대해 각 클래스에 속할 확률을 예측하는 방법이다. 이 기법을 적용할 때는 ‘분류기를 주어진 특성 공간(feature space)에서 학습시킬 수 있다’고 가정한다. 데이터 클래스 개수에 따라 다중 분류(multiclass classification), 이진 분류(binary classification), 일집단 분류(one-class classification)로 나눌 수 있다(Tan et al., 2016). 이상 탐지를 위해서 다중 분류와 이진 분류의 경우는 분류기가 각 정상 클래스와 이상 클래스를 구분하도록 학습시키고, 이상 클래스에 포함 되는 개체를 이상값으로 처리한다. 반면, 일집단 분류는 학습 자료가 모두 정상이라고 가정하고 정상에서 벗어난 개체를 이상값으로 처리한다.

제어봉 위치 이상 노심 모델의 경우 제어봉 편차가 5스텝 미만인 경우가 정상이고 5스텝 이상인 경우는 이상으로 분류되는 이진 분류 문제라고 볼 수 있다. 따라서, 우리는 이진분류 문제에 사용되는 대표적인 지도 학습 기반의 이상 탐지 기법들을 고려하였다. 본 연구에서는 로지스틱 회귀(LR; Logistic Regression), 서포트 벡터 머신(SVM; Support Vector Machine), 나이브 베이즈(NB; Naive Bayse), KNN 분류기(KNN; K-Nearest Neighbor classifier), MLP(Multi-Layer Perceptron), 의사결정나무(DT; Decision Tree), 랜덤포레스트(Random Forest), XGboost(XGBoost; Extreme Gradient Boosting), LightGBM(LGBM; Light Gradient Boosting Machine)이 사용되었다.

또한, 실험 결과에서 우수한 성능을 보인 Random Forest, XGboost, LGBM 모델을 앙상블한 모델을 추가적으로 사용하여 결과를 비교하였다. 세 가지 모델은 모두 의사결정나무(Decision Tree) 방법론에 기반하지만, 각각 다른 방식으로 앙상블을 수행한다. Random Forest 모델의 경우, Bagging에 기반하는 앙상블 방법을 통해 예측 결정을 하게 된다(Breiman, 2001). XGboost와 LGBM 모델은 Boosting을 사용한다는 공통점이 있지만, XGBoost가 균형트리분할(level-wise) 방법론을 사용하는 반면, LightGBM은 리프 중심 트리 분할(leaf-wise) 방법론을 사용한다는 차이점이 있다(Chen and Guestrin, 2016; Ke et al., 2017). 이렇게 다른 방식의 앙상블을 통해 학습된 모델들을 soft voting ensemble 방식을 통해 결합하였으며, 이러한 방식은 bottom-up ensemble 방식으로 알려져 있다(Rokach, 2009). 본 연구에서는 학습된 개별 모델에서 예측하는 클래스의 확률을 계산하고 클래스 별 평균치를 구하여 최종 클래스를 예측하였다. 실제 데이터에서는 이상 데이터가 매우 적은 비율로 존재하고, 우연요인에 의한 노이즈를 고려해야 한다. 따라서, 본 연구에서는 앙상블 모델과 같이 단일 모델에 비교해 견고한(Robust) 모델이 고려되었다.

4.1 이상감지 모델 선택

RAST-K를 이용하여 제어봉 위치 정상/이상에 따른 노심 운전 데이터를 생산하였다. 다양한 노심 운전 상황에서의 분류 기반 이상 탐지 기법들의 성능평가를 위해 주기 초, 주기 중, 주기 말의 세 연소도 스텝과 전출력(100%), 80%출력, 60%출력의 세 출력 운전 상황을 고려하였다. 핵연료 평균 연소도는 주기 초(BOC; Beginning Of Cycle)는 0.0 GWd/MTU, 주기 중(MOC; Middle Of Cycle)은 6.0 GWD/MTU, 주기 말(EOC; End Of Cycle)은 17.0 GWd/MTU로 선정하였다.

앞서 설명한 방법으로 생성된 $$ \left\{{\left(y_i,{\text{X}}_i\right)}_{i=1, \cdots ,N}\right\}$$과 $$ \left\{{\left(y_i,{\text{X}}_i^{\text{*}}\right)}_{i=1, \cdots ,N}\right\}$$을 선정한 분류 기반 이상 탐지 기법들에 적용하여 그 성능을 검증하였다. 각 연소도 주기, 출력에 따라 생성된 10,000개의 데이터를 활용하였으며, 시뮬레이션 데이터는 학습 데이터 : 검증 데이터 : 실험 데이터 = 6 : 2 : 2의 비율로 무작위로 나누어 모델의 학습과 검증, 테스트에 사용하였다. 노심의 운전 환경이 주기와 출력에 따라 다양하게 나타나고, 그에 따른 각 센서 값들의 특성을 효율적으로 학습하기 위해 특성들의 값을 표준화(Standardization)하는 전처리를 수행하였다. 또한, 5-겹 교차 검증(5 Fold Cross Validation)을 통해 가장 우수한 모델을 선택하였다.

모델의 성능평가지표로 균형정확도, F1 score, 정밀도, 재현률 등을 고려하였다. 이진 분류(Binary classification) 문제에서 정확도는 아래와 같이 정의한다.

여기서 TP는 참 양성(true positive), TN는 참 음성(true negative), FP는 허위 양성(false positive), FN는 허위음성(false negative)이다. 이를 바탕으로 모델의 성능을 계산하는 지표들은 다음과 같다.

실제 이상 데이터의 경우 불균형한 분포를 나타내기 때문에, 불균형 데이터에서 성능을 검증하기 위해 균형정확도(Balanced Accuracy)와 F1 score를 모델의 평가지표로 사용하였다.

Balanced Accuracy는 각 클래스별 정확도의 평균을 나타나며, 민감도(Sensitivity)와 특이도(Specificity)의 기하평균으로 다음과 같이 계산 할 수 있다.

F1 score는 정밀도(Precision)와 재현률(Recall)의 조화 평균으로 아래와 같이 나타낼 수 있다.

모델 선택 단계에서는 시뮬레이션 데이터를 동일한 개수로 샘플링하여 모델의 학습과 성능비교를 수행하였다. <Table 2>와 <Table 3>은 노이즈를 포함하지 않은 시뮬레이션 데이터($$ \left\{{\left(y_i,{\text{X}}_i\right)}_{i=1, \cdots ,N}\right\}$$)에 대한 분류 기반 이상탐지 모델 별 성능 비교 결과이고, <Table 4>와 <Table 5>는 노이즈가 포함된 시뮬레이션 데이터($$ \left\{{\left(y_i,{\text{X}}_i^{\text{*}}\right)}_{i=1, \cdots ,N}\right\}$$)에 대한 성능 비교 결과이다.

Table 2.

Model Performance Comparison : Balanced Accuracy Score(%) (noise free)

Table 3.

Model Performance Comparison : F1 Score (noise free)

Table 4.

Model Performance Comparison : Balanced Accuracy Score(%) (noise added)

Table 5.

Model Performance Comparison : F1 Score (noise added)

결과를 비교해보면, 예상대로 노이즈가 없을 때, 이상 탐지 성능이 더 우수하다. 이는 노이즈의 정도가 커지면, 더 심해질 것으로 예상된다. 다양한 설정값에 대해서도 일정한 패턴이 나타났는데, 예외적인 경우도 있지만, 전반적으로 노심 모델의 운전 출력값이 높을 수록 더 분류기의 성능이 더 정확해졌다. 또한, 예상한 바와 같이 앙상블 모델이 다수의 노심 운행 환경에서 이상 상황을 잘 감지하는 것을 확인 할 수 있었다. 이상 탐지 기법 간에도 성능에서 차이를 보였는데, Random Forest, XGBoost, LGBM과 같은 의사결정나무 기반의 비선형 모형들이 상대적으로 더 좋은 성능을 보였다. 이는 225개의 달하는 계측기 값들과 73개의 제어봉 위치 데이터가 형성하는 결정 경계가 복잡하고 비선형성을 갖기 때문이라고 판단된다. 마찬가지로 MLP 모델도 우수한 성능을 보였으며, 딥러닝 기반의 모델이 잘 작동할 가능성이 있음을 확인하였다. 일반적으로 딥러닝 모델들이 비선형 관계를 가지는 데이터들에서 잘 작동하기 때문에, 향후 연구에서는 딥러닝 기반의 개선된 모델을 제안하고자 한다.

전체 10개 모델 중 상대적으로 우수한 성능을 보인 의사결정나무 기반의 모델 5개를 비교하였는데, 노심 운전 세팅 중 전반적으로 정확도가 좋지 않았던 주기 초(BOC)의 저출력(60%) 상황에서 각 모델의 성능을 비교하였다. <Figure 6>에서는 학습된 모델의 성능을 비교하기 위해 Precision-Recall Curve를 그리고, Average Precision score를 계산하여 결과를 비교하였다. 또한, <Figure 7>에서는 ROC Curve를 기반으로 AUC 값으로 모델의 성능을 비교하였으며, 제안한 Ensemble 모델이 가장 우수하게 작동하는 것을 확인할 수 있었다. 전체적으로 Precision이 Recall보다 높은 경향을 보이는데, 이는 모델이 검출해 낸 이상 상태들을 정확히 분류하여 오검출(False Alarms)이 낮다고 판단할 수 있다.

Figure 6.

ROC Curve Comparison : Classification Models

Figure 7.

Precision-Recall Curve Comparison : Classification Models

가장 우수한 성능을 보인 Ensemble 모델을 사용하여 두 가지 경우에 대해 추가적인 분석을 진행하였다. 첫번째는 연소도 주기에 따른 모델 성능의 차이이다. <Figure 8>에서 보여주듯이, 연소도 주기에 따라서는 모델의 성능이 크게 차이를 보이지 않는 것을 확인하였다. 두번째는 운전 출력값에 따라 변화하는 모델의 성능 차이이다. <Figure 9>에서 보여주듯이, 운전 출력값이 높을수록 AUC가 증가하는 경향이 나타나고 있으며, 이는 노이즈가 없는 경우와 노이즈가 추가된 경우에서 동일하게 확인할 수 있다. 따라서, 본 연구에서 제안한 기계학습 모델들은 노심 운전의 낮은 출력 구간에서 상대적으로 잘 작동하지 않는 것을 확인할 수 있다. 향후 연구에서는 이러한 단점을 개선한 모델을 개발하고자 한다.

Figure 8.

ROC Curve Comparison : Burn Up

Figure 9.

Roc Curve Comparison : Power Rate

4.2 이상 상황 비율에 따른 결과 비교

이상 상황 비율에 따른 모델의 성능을 비교하기 위해, 앞서 실험의 경우와 동일한 모델과 데이터를 사용하였다. 모델은 균형데이터에서 학습 및 평가 시에 가장 좋은 성능을 보인 Ensemble 모델을 사용하였다. 즉, 모델은 시뮬레이션 학습 데이터 6,000개에서 정상/이상을 같은 비율로 학습하였다. 검증 데이터와 학습 데이터의 경우는, 실제로 이상 상황이 발생하는 경우는 매우 드물기 때문에, 이상 상황 발생 비율이 적은 불균형 상황을 가정하고 실험을 진행하였다. 실험 진행 시 검증데이터와 실험데이터는 정상 데이터를 고정한 후 이상 데이터를 적은 수로 샘플링하는 방식을 취했다. 예를 들어, 10:1의 불균형 비율에서는 정상 데이터 1,000개와 이상 데이터 100개로 각각 검증데이터와 실험데이터를 설정하였다. 데이터 불균형 비율을 50:50, 50:10, 50:5로 변화시켜가며 모델의 성능을 평가하였다. 모델의 성능 지표는 앞서 설명한 Precision Score와 Recall Score를 사용하였다. 정상상태(클래스 0)와 이상상태(클래스 1)의 비율과 이를 각각 분류하는 성능의 변화를 중점적으로 분석하였다.

<Table 6>과 <Table 7>은 노이즈를 포함하지 않은 시뮬레이션 데이터에 대한 분류 기반 이상탐지 모델 별 성능 비교 결과이고, <Table 8>과 <Table 9>는 노이즈가 포함된 시뮬레이션 데이터에 대한 성능 비교 결과이다. 대체로 불균형 비율이 커질수록 모델의 성능이 편향되어 나타나는 것을 볼 수 있으며, 이는 학습 데이터의 정상/이상 데이터 분포와 실험 데이터의 정상/이상 데이터 분포가 다르기 때문에 나타나는 현상이라고 볼 수 있다. 불균형 데이터가 증가하면 Precision은 감소하는 반면 Recall 값은 증가하는 경향을 보여주고 있다. 이상 상황의 검출에 해당하는 재현율이 높은 반면 오검출이 증가하는 상황이라고 볼 수 있다.

Table 6.

Model Performance Comparison with Imbalanced Data : Precision Score (Noise free)

Table 7.

Model Performance Comparison with Imbalanced Data : Recall Score (Noise free)

Table 8.

Model Performance Comparison with Imbalanced Data : Precision Score (Noise added)

Table 9.

Model Performance Comparison with Imbalanced Data : Recall Score (Noise added)

노이즈가 추가된 경우에도 앞선 상황과 비슷한 양상을 보이고 있으며, 불균형 비율이 증가할 때 전반적인 모델의 성능이 감소하는 것을 볼 수 있다. 출력이 높은 경우 불균형 비율이 커질수록 Recall 값이 크게 증가하는 것을 볼 수 있다. 이는 앞서 설명한 바와 같이 실제 이상 상황을 이상 상황이라고 잘 판단할 수 있는 반면 오검출이 높다는 단점이 있다. 하지만 실제 원전의 경우 이상 상황이 발생할 경우 작동 중지 등 심각한 문제를 야기할 수 있으며, 이를 예방하기 위해서는 재현율이 높은 모델이 적합하다고 여겨진다.