해집단 기반의 메타휴리스틱 알고리즘은 모사된 근원에 따라 진화적 알고리즘, 군집 지능 알고리즘, 물리 기반 알고리즘, 자연 발견적 알고리즘으로 분류되며 각 분류 내의 메타휴리스틱 알고리즘은 유사한 동작 방식과 특징을 갖는다(Dhiman, 2018).

Mousavirad et al.(2020)에서는 15개의 메타휴리스틱 알고리즘을 인공신경망에 적용하여 8가지의 UCI 분류 데이터 셋에서의 분류 정확도를 평가하였다. 실험결과에 따르면 군집 지능 알고리즘의 평균 성능은 5.8위, 자연 발견적 알고리즘은 8.8위, 진화적 알고리즘과 물리 기반 알고리즘은 각 9.5위와 11위로 집계되었으며, 군집 지능 알고리즘이 평균적으로 가장 좋은 성능을 보였다. 이는 집단적 행동을 하는 개체들을 통해 지능적인 전체 행동을 도출해내는 군집 지능 알고리즘의 특징에 기인한다. 이러한 특징 때문에, 군집 지능 알고리즘은 국소 최적해 탈출의 가능성을 높일 수 있으며, 우수하고 다양한 해를 도출할 수 있게 된다(Yang et al., 2016).

한편, 군집 지능 알고리즘은 연속적인 해의 형태로 표현되는 문제에 적용하기 수월하므로 인공신경망 가중치 최적화에 적용하기 적합하다. 따라서 본 연구에서는 다양한 메타휴리스틱 알고리즘 중 군집 지능 알고리즘을 연구 대상으로 선정하였다.

Kayarvizhy et al.(2014)은 인공신경망에 군집 지능 알고리즘을 적용하여 객체 지향 시스템에서의 결함을 예측하였다. 실험에 사용된 군집 지능 알고리즘은 PSO와 ABC, FA(firefly algorithm; Yang, 2009) 그리고 ACO(ant colony optimization; Dorigo, 2006)이였으며, 모두 수렴속도와 정확도 측면에서 경사 하강법을 이용한 오차 역전파 학습법을 상회하는 성능을 보였다. Gundu and Simon(2021)은 인공신경망의 한 종류이자, 딥러닝 기반 시계열 예측 기법인 LSTM에 PSO를 적용하여 기존의 기법보다 더 낮은 예측 오차로 전기 에너지 가격을 예측하였다. 상기 연구는 군집 지능 알고리즘을 인공신경망의 가중치 최적화에 도입함으로써 군집 지능 알고리즘의 가능성을 확인하였다는 것에서 의의가 있으나, 인공신경망 학습에 일반적으로 사용되는 고성능의 경사하강법인 Adam과는 비교하지 못했다는 한계가 존재한다.

PSO-GSA는 PSO와 물리 기반 알고리즘인 GSA(gravitational search algorithm)를 결합한 하이브리드 메타휴리스틱 알고리즘으로써(Mirjalili and Hashim, 2010), 이를 인공신경망에 적용하면 PSO와 GSA보다 더 빠른 수렴속도와 높은 분류 정확도를 얻을 수 있었다(Mirjalili et al., 2012). 그러나 Mosavi et al.(2016)의 실험에서는 인공신경망의 분류 정확도 측면에서 PSO-GSA의 최적화 성능이 GWO를 밑도는 결과를 보였다는 점에서 한계가 존재했다.

또한, 메타휴리스틱의 가장 큰 특장점인 국소 최적해 탈출능력은 오히려 검증 데이터에서의 수렴 불안정성을 초래할 수 있는 문제가 존재한다(Halim et al., 2021). 이는 국소 최적해를 탈출하는 과정에서 가중치가 크게 뒤바뀌며 검증 데이터에서의 해의 수렴이 방해되기 때문이다.

따라서 본 연구에서는 검증 데이터에서의 수렴 불안정성을 해결하는 장치를 고안하고, 기존연구에서 가능성을 보인 PSO에 PSOGSA보다 더 높은 최적화 성능을 보였던 GWO를 결합함으로써 인공신경망의 가중치를 더욱 효과적으로 최적화하는 하이브리드 메타휴리스틱 알고리즘을 제안한다. 또한, 이를 Adam과 같은 고성능의 경사 하강법과 비교하여 효용성을 검증함으로써 기존의 연구가 가진 한계점을 보완하고자 하였다.

PSO는 새나 벌레 등이 무리를 지어 행동하는 패턴에서 착안된 메타휴리스틱 알고리즘으로써 많은 최적화 연구에서 그 효용성을 입증하였다(Kameyama, 2009). 입자(particle)는 개별 해로, 군집(swarm)은 해집단에 대응되며, 각 입자는 그들 자신과 이웃 입자의 경험을 이용하여 최적의 위치를 찾기 위해 다차원 공간을 이동한다. 각 입자는 위치와 속도를 가지며, 다차원 공간상의 위치에 따라 적합도(fitness)라는 평가 값을 부여받는다. 각 입자는 적합도가 더 높은 곳으로 이동하기 위해 <Figure 1>과 같이 세 가지를 참고하여 다음 위치로 이동한다. 입자가 가지고 있던 관성(inertia), 각 입자가 반복을 통해 발견한 입자 최적해, 그리고 군집 내에서 발견된 전체 최적해가 이에 해당한다(Jain et al., 2008). 이러한 일련의 과정을 반복하다가 종료 조건에 도달하면 군집 내의 전체 최적해를 반환하게 된다.

Figure 1. 
Search Process of PSO

GWO는 회색 늑대 무리의 사회적 계층 및 사냥 방식을 모사하여 전역 최적해를 탐색한다. GWO 또한 선행 연구의 다양한 최적화 과업에서 우수한 성과를 보였다(Panda and Das, 2019). PSO와 마찬가지로 각 늑대는 개별 해에 대응되며, 적합도에 따라 계층 내의 계급을 부여받는다. 가장 적합도가 높은 늑대부터 순서대로 알파, 베타, 델타 늑대가 된다. 모든 늑대는 전역 최적해에 해당하는 먹잇감을 쫓기 위해 적합도가 더 높은 곳으로 이동한다. 이때 <Figure 2>와 같이 알파, 베타 그리고 델타 늑대를 참고하여 위치를 갱신한다(Mosavi et al., 2016). 매 반복마다 해의 계급이 새롭게 부여되며, 종료 조건에 도달하면 알파 늑대의 해가 최종해가 된다.

Figure 2. 
Search Process of GWO

PSO와 GWO를 결합한 하이브리드 메타휴리스틱 알고리즘을 설계하기 위해 PSO와 GWO의 수렴양상을 비교하여 각 알고리즘의 특징을 도출하였다. <Figure 3>은 PSO와 GWO의 수렴양상을 비교한 그래프로서, PSO는 초기 수렴성이 매우 뛰어나고, GWO는 탐색력 및 국소 최적해 탈출 성능이 더 좋다는 특징을 발견하였다.

Figure 3. 
Comparison of Convergence Aspects of PSO and GWO

이를 통해 고안된 제안 알고리즘은 초기 수렴성이 뛰어난 PSO를 통해서 초반부 탐색을 진행하고, 전환점에 도달하면 탐색력이 우수한 GWO로 전환하여 진행함으로써 각 알고리즘의 특징이 극대화되도록 설계하였다. 즉, 제안 알고리즘은 2단계로 구성되어 있고 단계의 전환을 결정하는 전환점은 초매개변수(hyper-parameter)로 조정된다. 초매개변수는 [0, 1]의 값을 가지며 전체 반복수와의 곱으로 전환점이 결정된다. 본 연구에서는 해당 값을 0.1로 하여 전환점을 설정하였다. 만약, 초기 수렴성이 중요한 문제라면 초매개변수를 더 큰 값으로 설정함으로써 제안 알고리즘의 초기 수렴성을 강화할 수 있다.

본 절에서는 제안 알고리즘이 인공신경망의 가중치를 탐색하는 과정을 기술하며 <Figure 4>는 이를 그림으로 나타낸 것이다. 제안 알고리즘은 먼저 인공신경망의 가중치를 하나의 해로 규정하고, 이를 해집단의 크기만큼 무작위로 초기화하여 해집단을 구성한다. 이후, 적합도 함수를 통해 해의 적합도를 산출하여 PSO 탐색에 필요한 pbest_i와 gbest를 설정한다. pbest_i는 각 해집단의 i번째 입자가 경험했던 최고 적합도 해의 위치이며, gbest는 군집 전체의 경험에서 가장 적합도가 높았던 해의 위치를 나타낸다. 이는 <Figure 4>의 [Generate Weights] 단계에 해당하며 인공신경망의 가중치를 단일의 해로 표현하는 방법과 적합도 평가함수는 3.3에서 기술한다.

Figure 4. 
Proposed Framework for the Weight Optimization of Artificial Neural Networks

이후 단계인, [Search Weights] 단계에서는 전환점 도달 여부에 따라 PSO 혹은 GWO를 이용하여 탐색한다. PSO phase에서는 (1)의 수식을 통해 다음 시점 i번째 입자의 이동 속도 V_i(t+1)를 구하고, (2)의 수식을 따라 i번째 입자의 다음 시점 위치인 X_i(t+1)를 계산한다. w와 c₁,c₂는 초매개변수이며, r₁,r₂는 [0, 1]의 무작위 값을 갖는다.

GWO Phase에서는 (3), (4) 그리고 (5)의 수식에 따라 X_i(t+1)가 갱신된다. X_a와 X_b, X_δ는 각각 알파, 베타 그리고 델타 늑대의 해를 나타내며 이들은 매 탐색마다 적합도 기준 상위 3개의 해로 결정된다. A와 C는 각각 계수 백터이며, (6)의 수식에서 설명된다. r₁,r₂는 [0, 1]의 무작위 값이며, a는 매 반복마다 2부터 0까지 선형적으로 감소하는 값이다.

해의 갱신이 모두 끝났다면 [Evaluate Weights] 단계로 진행하여 업데이트된 해를 평가한다. 이 때 적합도 함수를 통해 적합도를 다시 산정하는 것 외에도 본 연구에서 제안하는 군집 기억 함수(swarm memory function)를 이용하여 군집 기억 값(swarm memory value)을 계산한다. 이렇게 계산한 군집 기억 값은 다음 단계인 [Update Swarm Memory] 단계에서 군집 기억(swarm memory)을 갱신하는데 사용된다. 군집 기억과 군집 기억 함수 및 군집 기억 값에 대한 설명은 3.4에서 자세히 기술한다. 위 과정을 반복하다가 정해진 종료 조건에 도달하면 최종적으로 군집 기억에 저장되어 있던 해가 결과로 출력됨으로써 제안 알고리즘이 종료된다.

인공신경망의 가중치를 단일의 해로 표현하기 위해 각 가중치와 편향(bias)을 순서대로 나열하여 1차원의 배열로 표현하였다. 이는 <Figure 5>에 표현되어 있다.

Figure 5. 
Solution Representation

이렇게 표현된 해를 평가하기 위한 적합도 함수는 인공신경망의 가중치를 해로 동기화하고 훈련 데이터 셋을 입력시켜서 산출한 훈련 오차(training loss)를 사용하였다. 오차 함수는 인공신경망이 해결하고자 하는 과업에 따라 달라지며, 본 연구에서는 분류 과업을 수행하기 때문에 교차 엔트로피(cross-entropy)를 사용한다.

군집 기억은 검증 데이터 셋에서의 수렴 불안정성 문제를 해결하기 위해 군집이 생존하기 적합했던 환경이나 장소를 기억하는 현상에서 착안한 장치이며, 하나의 해를 기억하는 버퍼 장치이다. 군집 기억의 갱신 여부를 결정하기 위해 검증 데이터 셋에서의 해의 성능인 군집 기억 값과 이를 측정하는 군집 기억 함수를 도입하였다.

군집 기억 함수는 적합도 함수에서 훈련데이터 셋이 아닌 검증 데이터 셋을 이용한다는 차이점만 존재하며, 군집 기억 함수를 통해서 측정된 검증 데이터 셋에서의 오차는 군집 기억 값이 된다. 매 탐색마다 군집 기억 함수를 통해 군집 기억 값을 측정하고, 군집 기억의 군집 기억 값과 비교함으로써 더 좋은 품질의 해를 찾았다면 군집 기억에 해당 해를 갱신한다. 종료 조건에 도달하여 탐색이 끝나면 최종적으로 군집 기억에 저장된 해를 출력한다. 군집 기억을 사용하면 검증 데이터 셋에서의 수렴 불안정성이 발생하더라도 가장 최고 성능의 해가 저장되어 출력되기 때문에 결과의 분산이 감소하고 성능이 향상된다는 장점이 있다.

제안 알고리즘의 인공신경망 가중치 최적화 성능을 평가하기 위해 UCI machine learning repository(Dua and Graff, 2019)에서 공개된 다섯 가지의 분류 데이터 셋에 대해 분류 성능을 측정하였다. 각 데이터 셋의 정보는 <Table 1>에 기술되어 있다.

각 데이터 셋 별 인공신경망의 구조는 다수의 층에서도 효과적인지 검증하기 위해 은닉층이 2개 존재하는 완전 연결 신경망(fully-connected neural network)으로 구성하였으며, 은닉층 노드의 수는 각 데이터 셋의 크기와 입출력 노드의 수를 고려하여 편성하였다. 인공신경망의 활성화 함수로는 비선형 함수인 ReLU와 다중 분류를 위한 softmax를 사용하였다. 인공신경망에 입력되는 데이터들은 평균 0, 표준 편차 1로 스케일링 되었으며, 인공신경망 가중치는 균등분포 [-1, 1]의 확률변수로 초기화하였다.

제안 알고리즘을 기존의 메타휴리스틱 알고리즘 및 경사 하강법과 비교하기 위해, 각 방법으로 인공신경망의 가중치를 최적화하는 실험을 20회 진행하여 산출된 분류 정확도의 평균값을 비교하였다. 학습을 위한 반복 수는 모두 500회로 설정하였으며, 비교를 위한 경사 하강법은 SGD와 Adam을 채택하였다. 또한, 분류 정확도 곡선(accuracy curve) 비교를 통해서 제안 알고리즘의 장점인 빠른 수렴 능력과 국소 최적해 탈출 성능 및 군집 기억의 수렴 불안정성 해결 능력을 검증하였다. <Figure 6>는 분류 정확도 비교 실험 결과를 나타내며, 분류 정확도 곡선은 <Figure 7>와 <Figure 8>에 표현되어 있다. <Figure 7>는 제안 알고리즘을 기존의 군집 지능 알고리즘과 비교한 것이며, <Figure 8>는 제안 알고리즘을 경사 하강법과 비교한 것이다. <Table 2>는 각 알고리즘이 실험에서 소요된 계산 시간의 평균값을 비교한 것이다.

Figure 6. 
Classification Accuracy Results for All Algorithms

Figure 7. 
Comparisons of Accuracy Curve for Proposed Algorithm, GWO and PSO

Figure 8. 
Comparisons of Accuracy Curve for Proposed Algorithm, SGD and Adam

<Figure 6>를 통해 실험에 사용된 모든 군집 지능 알고리즘은 SGD보다 더 높은 최적화 성능을 지닌 것으로 나타났으며, 제안 알고리즘으로 최적화한 인공신경망은 기존의 군집 지능 알고리즘인 GWO와 PSO로 최적화한 인공신경망보다 더 높은 분류 정확도를 보이는 것이 검증되었다. 특히, 제안 알고리즘은 전체 5개의 데이터 셋 중 4개의 데이터 셋에서 Adam보다 높은 정확도를 기록하였으며, 실험에 사용된 모든 최적화 알고리즘 중에서 가장 높은 성능을 나타내는 것으로 검증되었다.

또한, <Figure 7>에서는 PSO의 초기 수렴성과 GWO의 국소 최적해 탈출 능력이 제안 알고리즘에서 동시에 나타나는 것으로 확인되었으며, 각 특징이 상호 보완적인 양상을 띠며 긍정적인 효과를 끌어내는 것으로 확인되었다. <Figure 8>에서 볼 수 있듯이 제안 알고리즘은 경사 하강법보다 가파르게 분류 정확도가 상승한 것에서 초기 수렴성이 매우 강하다는 것을 확인할 수 있으며, 전환점 이후 국소 최적해 탈출을 통해 정확도가 크게 향상되는 것으로 확인되었다. 추가적으로, 최대 반복횟수 이전에 나타나는 최고 성능의 해가 군집 지능에 저장됨으로써, 수렴 불안정성 문제가 해결되며 성능 향상에도 영향을 미치는 것을 확인할 수 있었다.

그러나 <Table 2>에 의하면 제안 알고리즘은 경사 하강법에 비해 매우 긴 계산 시간이 소요되는 것으로 관찰되었다. 이는 메타휴리스틱 알고리즘의 높은 계산 복잡성에도 기인하지만, 경사 하강법이 컴퓨터 공학적으로 최적화된 라이브러리로 구현되었기 때문에 더 큰 격차를 발생시킨 것으로 보인다.