기계 학습을 이용한 셀 문턱 전압 분포 기반의 Soft Decision 센싱 레벨 예측

2.1 다양한 셀 문턱 전압 분포

낸드 플래시 메모리 셀의 플로팅 게이트(Floating Gate, FG) 에 전하(charge)를 트래핑(trapping)하여 데이터를 저장하는 동작을 쓰기(program)라고 한다. 반대로 FG에 주입된 전하를 빼내는 동작을 지우기(erase)라고 한다. 쓰기와 지우기의 반복적인 동작을 P/E(program/erase) 사이클링(cycling)이라고 하며, 해당 P/E 사이클링으로 인해 FG의 건강 상태는 점점 악화되어 간다(Cai et al., 2013). 데이터 방치(retention)는 셀이 쓰여진(programed) 상태로 방치 시간이 증가함에 따라 데이터의 에러가 증가하는 열화를 의미한다. P/E 사이클링과 데이터 방치는 플래시 메모리의 대표적인 열화들이다.

<Figure 1>은 P/E 사이클링과 방치 시간이 길어질수록 비트 오류율(Bit Error Rate, BER) 증가를 나타낸다. 그리고 FG에 트래핑 된 전하량이 많을수록 전하의 누출(leakage)은 더욱 빨라진다. 즉, 더 많은 전하량으로 쓰여진 셀은 방치 열화에 의해 더 많은 스트레스(stress)를 받는다는 의미이다(Kim, 2005).

Figure 1.

Rates of Various Types of Errors as P/E Cycles Increase (Cai et al., 2012)

<Figure 2>는 낸드 플래시 메모리의 물리적 위치인 워드 라인(Word Line, WL)과 BER의 관계를 나타낸다. x축은 블록(block)의 WL 번호를 나타내고 y축은 해당 WL에서 페이지(page)의 BER을 나타낸다. 각 WL은 LSB-even, LSB-odd, MSB-even, MSB-odd를 포함하여 4 페이지로 구성된다. 4가지 페이지의 BER은 낸드 플래시 메모리의 물리적 위치인 WL 번호에 대해 동일한 경향을 보인다. WL 번호에 대해 BER의 경향이 동일한 이유는 공정 변동 효과 때문이다. 따라서 페이지의 BER은 WL 번호와 관계가 있다.

Figure 2.

BER vs. Physical Location(Cai et al., 2012)

2.2 Flash Memory에서 LDPC의 기초

낸드 플래시 메모리는 페이지(page) 단위로 읽기(read)와 쓰기(program)를 동작한다. 최초 낸드 플래시 메모리 셀을 읽기 동작만 수행하면 셀 당 저장 가능한 최대 비트 수 증가로 인해 비트 오류율(BER)이 높아지기 때문에 데이터는 무결성은 보장되지 않는다. 데이터 무결성을 보장하기 위해서 오류 정정 코드(ECC)를 사용한다. 쓰기 과정에서의 ECC는 부가적인 페리티(parity) 데이터를 생성하여 페이지의 스페어(spare) 영역에 저장하는 방식으로 동작한다. 또한 낸드 플래시 메모리 컨트롤러(controller)에는 ECC 생성 모듈을 포함하고 있다.

LDPC ECC의 데이터 디코딩은 HD 방식과 SD 방식이 있다. HD 방식의 데이터 디코딩 과정은 인접한 셀 상태 간에 단일 센싱 레벨을 통해 비트 값을 결정한다. SD 방식의 데이터를 디코딩 과정은 HD 방식보다 훨씬 많은 센싱 레벨을 사용하여 비트 값의 확률 정보를 추가하여 비트 값을 결정한다. 많은 센싱 레벨을 사용하는 SD 방식은 항상 HD 보다 데이터 디코딩 속도가 느리지만 훨씬 높은 오류 정정 능력을 가지고 있다.

데이터 디코딩 과정에서는 오류 정정 능력은 낮지만 속도가 빠른 HD를 먼저 수행한다. 해당 데이터 디코딩 결과가 실패(fail)시, 속도는 느리지만 HD 보다 강력한 오류 정정 능력을 발휘할 수 있는 SD 방식을 추가로 수행하게 된다.

2.3 Sensing Level과 SER의 관계

<Figure 3>은 센싱 레벨과 SER의 관계를 나타낸다. 가운데 빨간 선은 HD 방식의 센싱 레벨이다. 해당 센싱 레벨을 기준보다 낮은 문턱 전압을 가지는 셀들은 ‘1’로 판단하고, 높은 문턱 전압을 가지는 셀들은 ‘0’으로 판단한다. 녹색 분포를 기준으로 빨간 선보다 오른쪽에 위치하고 있는 면적이 존재한다. 면적 W₂, S₂의 해당하는 문턱 전압을 가지는 셀들은 에러 비트라고 판단된다. 하지만 W₂와 S₂는 HD 센싱 레벨인 빨간 전압을 기준으로 SD SL인 x만큼 더해지는 센싱 레벨을 통하여 에러의 종류는 Weak와 Strong으로 구분된다. Weak 에러는 HD 센싱 레벨과 SL 사이의 주황색 영역에 존재하는 에러를 의미하고, Strong 에러는 SL 영역을 벗어난 초록색 영역에 존재하는 에러를 의미한다. 분포에서 S₁, W₁, W₂, S₂ 각 영역에 존재하는 에러 셀의 개수를 의미한다. SL이 좌/우로 이동하더라도 에러 셀의 전체 개수는 변하지 않으며, 단지 에러 종류의 변동만 발생한다. 즉, Weak 에러와 Strong 에러의 종류는 SL에 의해가 결정되고, SL의 변화에 따라 Weak 에러와 Strong 에러의 비율은 서로 반비례 관계이다.

Figure 3.

Relationship between Sensing Level and SER

높은 정정 능력을 갖는 LDPC ECC도 탑재되는 제품의 요구 스펙(spec)에 따라 정정 특성은 다르게 설계된다. Weak 에러에는 취약하지만 일정 수준 이하의 Strong 에러에 대해 강한 정정 능력 발휘하게 설계된 LDPC ECC의 경우, 설계 시 기대한 정정 능력 수준을 발휘하기 위해서는 Weak 에러의 개수는 감소시키고, Strong 에러의 개수는 증가시키는 방향으로 SL을 선택해야 한다. Strong 에러에 대해 높은 정정 능력을 보이도록 설계된 LDPC ECC라고 할지라도 일정 수준을 넘어선 Strong 에러 개수에 대해서는 디코딩 실패로 이어진다. 반대로 Strong 에러에는 취약하지만 일정 수준 이하의 Weak 에러에 대해 강한 정정 능력을 발휘하게 설계된 LDPC ECC의 경우, Strong 에러의 개수는 감소시키고, Weak 에러의 개수는 증가시키는 방향으로 SL을 선택해야 한다. 이 경우에도 일정 수준을 넘어선 Weak 에러 개수에 대한 디코딩은 실패하게 된다. 이러한 LDPC ECC 특성으로 인해 SL을 한쪽 방향으로만 증가 또는 감소시킬 수 없고, 일정 수준의 에러 종류의 개수를 넘어서지 않는 SL을 선택해야만 한다. 에러 종류에 대한 일정 수준의 에러 개수는 설계시에 다양하게 결정될 수 있으므로, 본 논문에서는 대표적으로 SER 30%, 40%, 50%에 대해 실험을 진행한다.

식 (1)은 전체 에러 비트들 중에 Strong 에러의 비율을 의미하고 이는 SER이라고 한다. S₁과 S₂의 차이는 원본 데이터 ‘1’이 읽기 동작에 의해 ‘0’으로 잘못 판단되고, 원본 데이터 ‘0’이 읽기 동작에 의해 ‘1’로 잘못 판단된 데이터의 상태를 나타낸다.

<Figure 3>에서 x값은 SL을 의미한다. SL의 증가는 식 (1)의 분자 부분인 S₁+S₂을 감소시키고, 이는 SER의 감소하게 된다. 반대로 SL의 감소는 S₁+S₂를 증가시키고, 이는 SER 값의 증가로 이어진다. 따라서 분포에서 셀 개수를 반영한 SL을 선택한다면, LDPC ECC 설계할 때 기대한 정정 능력 수준을 유지할 수 있게 된다.

2.4 균등 분할 모델과 확률 기반 모델

낸드 플래시 메모리의 쓰여진 셀의 문턱 전압은 방치 열화 정도에 따라 다양한 분포를 보이게 된다. 다양한 분포에 대해 SD 디코딩을 수행하기 위해서는 SL의 선택이 필요하다. 간단히 SL 예측 모델을 구축하는 방법은 SL의 가능 영역에 대해, n개의 영역으로 균등하게 나누어 n개의 SL 후보군으로 사용하는 것이다. 본 논문에서는 이러한 방식으로 구축한 모델을 균등 분할 모델이라 명명한다. 균등 분할 모델은 SL의 가능 영역의 개수 n을 크게 할수록 높은 정확도 보인다. 하지만 n개의 SL 후보군을 순차적 시도하다가 최악의 경우, n번째 시도만에 가장 적합한 SL로 디코딩을 수행하게 된다면 이는 메모리 읽기 동작의 엄청난 지연을 초래할 수 있다.

해당 한계를 극복하기 위한 방법으로 확률 분포와 통계의 개념을 도입하여 빈도가 높은 SL들을 분할하는 방식으로 균등 분할 방법보다 메모리 읽기 동작이 지연되는 위험을 줄일 수 있다. 뿐만 아니라, SL의 예측 정확도 향상도 기대할 수 있다. 하지만 여전히 확률 기반의 모델은 SL 예측 가능 횟수가 제한적이고, 셀 문턱 전압의 분포가 더욱 다양해지는 상황에서 높은 정확도를 보이기에는 한계가 존재한다.

3.1 방치 열화 실험 데이터 수집

본 논문에 사용된 데이터는 실제 3D TLC 낸드 플래시 메모리의 데이터로 총 331,190개이다. 강건한 예측 모델 구축을 위해서는 다양한 분포와 분산이 큰 데이터셋(data set) 구성이 필요하다. 따라서 데이터 방치 열화에 대해 다양한 셀 문턱 전압 분포와 큰 분산을 갖는 7번째와 8번째 상태(state) 사이의 RP7의 데이터로 실험을 진행하였다(Mizoguchi et al. 2017). 다양한 분포 변화에 대한 데이터 수집을 위해, 다양한 PE Cycle별로 0 ~ 1,000시간의 고온 데이터 방치 열화에 대해 24시간 주기로 물리적 특성 값과 셀 문턱 전압 분포 데이터를 수집하였다. 셀 문턱 전압 분포 데이터는 3.2절 SER별 셀 분포 기반의 SL 확보에 사용한다.

3.2 SER별 셀 문턱 전압 분포 기반의 SL 확보

<Figure 4>의 Step 2와 같이 셀 개수 산정 기반으로 목표 SER에 대한 SL을 도출한다. 셀 문턱 전압 분포에서 S₁, W₁, W₂, S₂의 셀 개수를 모두 합치면 전체 에러의 개수이다. S는 Strong 에러를 의미하고, W는 Weak 에러를 의미한다. S₁, W₁와 W₂, S₂의 구분은 HD 레벨을 기준으로 좌측을 S₁, W₁으로 우측을 W₂, S₂으로 구분한다. S₁와 W₁의 구분은 SL에 의해 결정한다. SER은 전체 에러 중에 Strong 에러의 비율을 의미한다. 셀 문턱 전압 분포 데이터를 수집하였기에 개수 산정 기반으로 목표 SER 수식이 만족하기 위한 S₁, S₂의 개수를 결정하는 SL의 도출이 가능하다. 모든 SER에 대해 모델 설계 가능함을 실험을 통해서 확인하기 위해 SER을 30%, 40%, 50%으로 나누어 결과 변수를 도출한다.

3.3 ML 기반의 모델 학습 및 예측

3.1절에서 확보한 독립 변수는 연속형 데이터이고 각 독립 변수의 크기(scale)의 차이가 심한 경우 ML 기반 모델의 예측 정확도 저하를 유발할 수 있다. 따라서 min-max 정규화를 통해 독립 변수를 0 ~ 1 사이로 정규화 하는 데이터 전처리를 수행한다. RF 모델에서 변수 중요도와 도메인 지식을 통해 중요 변수를 선택하여 동일하게 ML 기반 모델들의 훈련셋과 테스트셋으로 사용하였다. 다양한 방법을 통한 변수 선택 최적화는 추후 연구 과제로 남긴다. 3.1절에서 확보한 셀 문턱 전압 분포 데이터를 기반으로 3.2절의 목표 SER에 대해 확보한 결과 변수 SL은 연속형 데이터이다. 결과 변수 SL은 예측 오차에 대한 직관적인 설명력을 확보하기 위해 정규화를 수행하지 않았다.

<Table 1>은 중요 변수로 선택된 입력 변수 4종(Hard Decision Sensing Level, Word Line 값, Program/Erase 수행 횟수, Window 이내 셀 개수)과 출력 변수 1종(SL)으로 구성 되어있다. 셀 당 3bits을 저장하는 TLC에서는 셀 분포 8개와 각 분포의 교차 지점은 총 7개가 존재한다. Hard Decision Sensing Level은 인접한 두 셀 분포가 교차하는 지점의 Level 값이다. Word Line 값은 낸드 플래시 블록 내의 셀의 병렬 동작을 제어하기 위한 배선이다. 또한 위치에 따라 물리적 특성 차이가 존재하는 적층 구조인 낸드 플래시 메모리에서 적층 위치 정보를 의미한다. Program/Erase 동작 횟수는 현재까지 낸드 플래시 메모리 셀의 누적된 쓰기와 지우기 동작의 수를 의미한다. 셀 개수는 Hard Decision Sensing Level을 중심에서 좌/우로 특정 폭을 가진 창(window) 이내에 존재하는 셀의 개수를 의미한다. 이는 셀 열화가 진행됨에 따라 셀 분포의 변동이 발생하고, 이는 창 이내의 셀 개수와 관계가 있다. 출력 변수 SL은 3.2절에 기술된 방법으로 목표 SER에 대해 도출한 Sensing Level 값이다.

Table 1.

Description of Features

일반적으로 원시 데이터로부터 데이터 패턴을 학습하기 위해 학습셋(training set), 모델이 실제 시나리오에 따른 동작을 통한 모델 성능 확인을 테스트셋(test set)으로 구성하고, 튜닝 및 평가를 위한 단계로 검증셋(validation set)으로 구성한다. 하지만, 본 예측 모델은 ML 기반 알고리즘 학습에 적합성이 높다고 판단되었고, 낸드 플래시 메모리에서 ML 기반의 모델을 통해 셀 분포가 반영된 SL 예측이라는 새로운 응용 분야에 대한 시도이기에 학습셋(70%)과 테스트셋(30%)만으로 구성하여 예측 모델을 도출했다.

지도 학습은 입력 데이터와 그에 대한 출력 데이터를 포함하는 레이블(label)이 있는 데이터를 사용하여 학습을 진행하는 방법으로, 학습 데이터의 입력 데이터와 출력 데이터로 해당 시스템의 함수를 추론하여 새로운 입력이 들어왔을 때 해당 함수를 이용하여 대응하는 출력을 예측한다. 본 논문의 SL 예측은 연속적인 입력 데이터에 대해 연속적인 출력 데이터를 추론하는 회귀모델에 적합하다 할 수 있다. 딥러닝(Deep Learning)을 포함한 다양한 ML 기반의 회귀모델이 존재한다. SL 예측을 위한 모델에 대한 학습은 오프라인(off line)상에서 진행할 수 있다. 하지만 훈련셋을 이용하여 개발된 학습모델을 임베디드 메모리상에 탑재한 온라인(on line) 상에서 메모리 읽기 성능 저하를 최소화하여 SL 예측 수행이 가능하기 위해서는 계산량의 최소가 필요가 있다. 따라서 SL 예측 수행에 필요한 계산량을 최소화함과 동시에 우수한 예측 성능을 확보하기 위해서 RF, MLP, LR을 선정하였다. 데이터의 엔트로피(entropy) 기반의 의사 결정 나무(Decision Tree, DT) 의 앙상블(ensemble) 모델인 RF는 최대의 예측 성능 확인하기 위해 사용하였다. 또한 계산량 최소화를 위해 RF를 구성하는 DT의 수는 10으로, 트리의 최대 깊이는 5로, 최대 리프 노드(leaf node)의 개수는 10으로 제한하고 모델 학습을 진행한다. MLP는 활성화 함수로 tanh를 사용하고, 최적화 방법으로 adam을 사용하였다. 또한 계산량 최소화를 위해 은닉층의 개수는 2개, 은닉 노드 수는 5개로 제한하여 구성하였다. 이는 대표적인 퍼셉트론 모델의 예측 성능 확인을 위함이다. 최소 제곱 방식을 사용하는 LR 모델은 최소 연산으로 확보 가능한 예측 성능 수준을 파악하기 위해 사용하였다.

본 논문은 ML 기반 SL 예측 모델의 1회 예측의 정확도가 전통적인 예측 모델을 대체하여 사용 가능 여부를 확인하기 위해 진행하였다. 모델 별 계산량과 정확도의 관계 및 최적화된 모델의 학습/예측 소요 시간에 대한 확인은 추후 연구 과제로 남긴다.

3.4 평가 지표

일반적으로 수치를 예측하는 회귀 모델의 대표 평가 지표는 Mean of Absolute Error(MAE)와 Mean of Squared Error(MSE)이다. 추가로 정확도(accuracy) 확인을 위해 예측 값과 실제 값의 차이인 오차를 허용 구간으로 나누어 정확도 지표도 사용한다.

∙ MAE & MSE

식 (2)는 MAE의 수식이다. y는 실제 값이고 $$ \widehat{y}$$은 예측 값을 그리고 n은 전체 개수를 의미한다. 따라서 이 수식은 실제 값과 예측 값의 차이의 절댓값을 취하여 다 더한 값에 대해 전체 개수로 나눈 값으로 이는 오차 크기의 평균을 의미한다. 오차에 대해서 절대값을 취하기 때문에 가장 직관적으로 알 수 있는 평가 지표이다. 하지만 오차에 절대값을 취하기 때문에 예측 모델이 미달 추정이나 초과 추정 여부의 확인이 어렵다는 한계점이 있다.

식 (3)은 MSE의 수식이다. y는 실제 값이고 $$ \widehat{y}$$은 예측 값을 그리고 n은 전체 개수를 의미한다. 따라서 이 수식은 실제 값과 예측 값의 차이의 제곱을 취하여 다 더한 값에 대해 전체 개수로 나눈 값으로 이는 오차 제곱의 평균을 의미한다. 오차에 제곱을 취하기 때문에 크기를 산정할 수 있는 평가 지표이다. 하지만 오차의 크기 변화를 가져오므로 직관적인 오차 파악이 어렵다는 한계점이 있다.

∙ 허용 구간에 대한 정확도

<Figure 5>는 직관적인 성능 파악을 위해 정확도를 산출하는 방법을 설명하는 그림이다. 예측 값에서 실제 값을 뺀 오차를 구간별로 나누어서, 0을 중심으로 전체 개수 중에 허용 구간 안에 비율을 계산하여 정확도로 산출하였다. 예를 들어 본 논문 실험에서 허용 구간 ±10은 예측 값과 실제 값의 차이가 -10 ~ +10 사이라는 것을 의미한다. 정확도는 허용 구간 안의 예측 오차의 개수를 전체 테스트 데이터 개수로 나눈 것이다.

Figure 5.

Method of acceptable Error Range for Accuracy Calculation

4.1 예측 모델 간 성능 비교

<Figure 6>은 SL 예측 모델 간 성능 비교 결과를 나타낸다. (a)는 모델 간의 성능 비교를 위해 SER 조건은 50%로 고정한 성능 결과이다. 또한 한번의 예측 기회에서의 ML 기반 모델의 성능의 수준을 동등 조건에서 비교하기 위하여 확률 기반 모델과 균등 분할 모델을 SL 예측 가능 횟수를 1회로 제한하고 실험을 진행하였다.

Figure 6.

Comparison of Performance Test Result

<Figure 6>의 (a) 왼쪽 그래프는 모델 성능 비교의 대표적인 평가 지표인 MSE와 MAE에 대한 결과이다. 평가 지표 MSE와 MAE가 작은 값을 갖는다는 것은 예측된 SL과 실제 SL의 차이가 작다는 것을 의미하며 RF 모델의 예측 성능이 가장 우수한 것으로 확인된다. 또한 모든 ML 기반 모델의 평가 지표는 확률 기반 모델이나 균등 분할 모델보다 낮은 것으로 확인된다. 이는 SL의 분포를 단순히 2등분하여 대표 SL 한 개를 사용하는 확률에 기반보다 ML 기반 모델의 예측 성능이 우수함을 보여준다.

<Figure 6>의 (a) 오른쪽 그래프는 실제 SL과 예측 SL 차이에 대해 ± 구간을 허용하고 확인한 정확도 결과이다. 오차에 대한 허용 구간의 크기가 커질수록 모든 모델의 예측 정확도의 향상된다. 하지만 균등 분할 모델은 ±35까지 오차를 허용하여도 정확도는 60% 수준이다. 이는 균등 분할 모델로 예측한 SL 오차 분포의 폭이 70 이상일 가능성이 높다고 추정할 수 있다. 반대로 RF 모델은 ±10 오차를 허용할 경우의 정확도 99%는 RF 모델의 예측 오차 분포의 폭이 20 이내에 들어올 가능성이 99%라는 의미를 갖는다.

<Figure 7>의 RF 모델에 대한 예측 오차 분포를 보면 다른 모델에 비해 분산이 작고 평균이 0에 근사한 것을 시각적으로도 확인 가능하다. 하지만 균등 분할 모델은 하나의 고정된 SL을 사용하기에 오차의 분산이 크고 중심치가 0이 아닌 값에 집중되어 큰 오차가 다수 존재한다는 것을 알 수 있다.

Figure 7.

Distribution of Prediction Error

임베디드 제품 특성으로 인해 SL의 개수에 제한되는 상황에서의 확률 기반 모델과 균등 분할 모델의 한계점이 실험을 통해 확인되었다. 그에 비해 ML 기반의 RF, MLP, LR 모델들의 1회 예측 성능은 우수하였고, 그 중 RF 모델의 예측 성능은 모든 평가 지표에서 가장 우수하였다. 특히 앙상블(Ensemble) 모델인 RF는 배깅(Bagging) 방식의 대표적인 알고리즘(Algorithm)이기 때문에 높은 예측 성능 달성이 가능하였다고 추정할 수 있다. 이는 셀 개수 산정 방법을 이용하여 목표 SER에 대한 ML 기반의 SL 예측 모델 구축이 가능하다는 것을 실험을 통해 확인할 수 있었다.

4.2 목표 SER별 ML 기반의 모델 간 성능 비교

<Figure 6>의 (b)는 4.1절에서 가장 우수한 예측 성능을 보인 RF 모델에 대해서 SER별 평가 지표 MAE, MSE와 정확도 비교 그래프이다. 동등 조건에서의 성능을 비교를 위해 확률 기반 모델의 SL 예측 가능 횟수를 1회로 제한하고 실험을 진행하였다.

<Figure 6>의 (b) 왼쪽 그래프에서 SER별로 평가 지표 MSE와 MAE는 유사한 수준이지만 미세하게 SER 30%보다 SER 50%에서 높게 확인된다. <Figure 3>에서 셀 분포가 정규분포의 형태를 띄는 것을 확인할 수 있고, 이로 인해 목표 SER이 감소함에 따라 SL은 Hard Decision Sensing Level을 기준으로 멀어지게 된다. 이는 정규 분포의 양쪽 끝 부분의 셀 개수는 중심부에 비해 적다. 적은 셀 개수로 인해 SL의 작은 변동에도 식 (1)의 분자 부분인 S₁+S₂의 변화폭은 커지게 되어 생기는 차이라고 추정된다. 미세한 성능 차이가 존재함에도 SER 30%에 대한 RF 모델의 성능은 확률 기반의 SL 예측 가능 횟수 1회인 모델 보다 압도적으로 우수한 수준으로 확인된다. 목표 SER의 감소에도 동등 수준의 예측 성능을 확보하는 방법은 추후 연구 과제로 남긴다.

<Figure 6>의 (b) 그래프에서는 오차 허용 구간 ±10에서 SER별 RF 모델은 SER 30%에서 93.46%가 가장 낮은 정확도로 확인된다. 이는 확률 기반의 모델 정확도인 63.33% 보다 월등히 높은 정확도이다.

모든 SER에 대해 RF 모델이 RF는 경우에 여전히 가장 낮은 MAE, MSE 평가 지표 수치와 93.46 ~ 99.68%의 높은 정확도 수준을 보이고 있다. 이는 ML 기반의 RF 모델은 목표 SER별 모델 구축이 가능하다는 것을 실험적으로 확인하였다.

4.3 다구간 확률 기반 모델 성능 확인

<Figure 6>의 (c)는 ML 기반의 모델들 중 성능이 가장 우수한 RF 모델의 성능 수준을 확인하기 위해 균등 분할과 확률 기반에 대해 SL 예측 가능 횟수를 최대 3개까지 확장시킨 성능을 비교하였다.

<Figure 6>의 (c) 왼쪽 그래프에서는 MSE, MAE 평가 지표 결과에서 균등 분할 모델이나 확률 기반의 모델도 SL 예측 기회가 3회까지 확장되면 성능이 향상됨을 확인할 수 있다. 이는 SL 분포에 대해 예측 가능 횟수가 늘어남으로써, 한 번의 예측으로 부담해야할 SL의 범위가 줄어들어 오차를 의미하는 평가 지표가 감소한 것으로 추정된다. 그럼에도 RF 모델은 확률 기반의 SL 예측 가능 횟수 3회인 모델 보다 우수한 성능으로 확인된다.

<Figure 6>의 (c) 오른쪽 그래프에서 균등 분할 모델은 SL 예측 가능 횟수를 3회로 확장한 정확도는 73.9%로 다소 저조한 성능 수준을 보인다. 하지만 확률 기반 모델의 SL 예측 가능 횟수가 3회까지 확장됨에 따라 정확도는 90.1% 수준까지 향상되는 것으로 확인된다. 균등 분할 모델에 비해 확률 기반 모델은 빈도에 근거하여 SL을 3회 시도함에 따라 SL 예측 성능이 우수한 것으로 추정된다. ML 기반의 RF 모델은 예측 가능 횟수가 1회임에도 불구하고 정확도 99.7%로 월등한 성능을 보인다.

ML 기반의 RF 모델의 정확도 수준은 균등 분할 모델과 확률 기반 모델의 예측 가능 횟수 3회를 능가하는 성능을 가지고 있음을 실험을 통해 확인하였다.

<Table 2>는 SER별(30, 40, 50%) 각 모델(ML, 확률, 균등분할)에 대해 테스트셋을 이용하여 평가지표(MAE, MSE, 정확도)로 성능을 정리한 표이다. 균등 분할 모델은 분할하는 구간이 확장됨에 성능이 향상되는 것으로 확인된다. 이는 분할 구간이 증가함에 따라 구간을 대표하는 SL의 담당 영역이 줄어들기 때문에 성능 개선 효과가 나타난다고 추정된다. 확률 기반 모델도 예측 가능 횟수의 증가에 따라, 성능이 향상되는 것으로 확인된다. 이는 균등 분할 모델의 성능 향상과 동일한 이유로써, 확률 기반으로 선정된 각 SL의 담당 영역이 줄어들었기 때문에 생기는 성능 개선 효과라고 추정된다. ML 기반 모델 중에서는 RF 모델의 성능이 가장 우수한 것으로 확인된다. 이는 의사 결정 나무의 앙상블로 구성된 RF 모델은 SL 예측에 대해 높은 정확도가 확보 가능할 수 있었다고 추정된다.

Table 2.

Comparison of Test Performance

전체 모델 중, ML 기반의 RF 모델이 가장 우수한 성능을 보였다. 확률 기반 모델과 균등 분할 모델에 대해 RF 모델과 동일하게 예측 가능 횟수를 1회로 본다면 압도적으로 우수한 성능이 확인되고, 성능 향상 수준은 전통적인 모델들의 예측 가능 횟수를 3회로 확장시킨 성능보다 우세한 것으로 확인된다. 또한 허용 구간 ±15에서의 정확도는 99%로 확인되며, ML 기반 RF 모델의 우수한 예측 성능을 확인할 수 있다.