반도체 클러스터 혼류 공정 최적화를 위한멀티에이전트 심층 강화학습 기반 로봇 협업 스케줄링

2.1 전통적 접근 방식

반도체 클러스터 장비 스케줄링 문제를 해결하기 위해, 다양한 이론적 모델과 실용적 알고리즘이 오랜 기간 동안 연구되었다. 초기에는 주로 Petri net을 활용한 연구가 주를 이루었다. Wu et al.(2010)은 원자층 증착 공정(atomic layer deposition, ALD) 공정과 같이 재방문이 필요한 공정에서 단일 로봇 클러스터 장비의 deadlock 문제를 해결하기 위해 Petri net을 기반으로 한 효율적인 모델과 분석적 스케줄링 기법을 제안하였으나, 불확실성 요소를 고려하지 않았다는 점과 단일 로봇 클러스터 장비에 국한된다는 점에서 한계를 가진다. Qiao et al.(2015)은 다회 재방문 공정을 갖는 듀얼 암 클러스터 장비의 사이클 타임을 분석하기 위한 Petri net 기반의 동적 모델과 수식에 기반한 계산 방법을 제시하였다. 하지만 해당 연구는 환경 변화에 따른 정책 적응성을 고려하지 않아 현실적인 혼류 공정 시나리오에는 적용에 한계가 있다.

혼합 정수 계획법(mixed integer programming, MIP)을 기반으로 한 접근은 다양한 공정 흐름과 제약 조건을 통합적으로 고려하여, 복잡한 클러스터 장비 스케줄링 문제를 수리적으로 최적화하려는 시도이다. Jung and Lee(2011)는 timed Petri net(TPN)을 활용해 다양한 조건을 동시에 반영한 클러스터 장비 스케줄링 문제를 모델링하고, 자동으로 MIP 모델을 생성하여 주기적 스케줄을 도출하는 방법을 제안하였다. 하지만 이 방식은 환경의 시간 요소가 고정적이라는 전제 하에 구성되었고, 스케줄링 조건이 변하면 MIP 모델을 재정의하거나 solver 기반으로 다시 계산해야 한다. 따라서 해당 방법론은 실시간 적용성이 낮고, 환경 변화에 유연한 대응이 어렵다는 한계를 가진다. Li and Yang(2025)은 residency time 제약이 존재하는 단일 로봇 클러스터 장비에서 최대 4종의 웨이퍼를 주기적으로 처리하는 순환 스케줄링 문제를 다루었으며, 이를 해결하기 위한 MIP 기반 모델을 제안하였다. 해당 연구는 이전 연구들과 달리 공유 챔버 수에 대한 제한 없이 비대칭 구조를 허용하여 보다 다양하고 일반화된 시나리오에 대한 해 도출 가능성을 보였다. 그러나 해당 연구는 여전히 사전 정의된 공정 흐름과 최소 생산 집합(minimal production set)에 의존하고 있어, 클러스터 장비 구조 등 환경 조건이 바뀔 경우 모델을 재정의해야 한다는 한계를 가진다. 또한, MIP는 NP-hard 문제로, 문제 크기가 커질수록 해를 찾는 데 필요한 계산 시간이 급격히 증가한다(Zhang et al., 2023).

순환(cyclic) 스케줄링 기반 접근은 반복적인 장비 운영 환경에서 로봇 작업 순서를 주기적으로 반복하여 클러스터 장비의 처리량을 최적화하려는 시도로 발전해왔다. Lee et al.(2015)은 두 종류의 웨이퍼가 하나의 공정 챔버를 공유하는 혼류 공정 환경에서 alternating backward / swap 시퀀스를 제안하고, 특정 조건 하에서 해당 시퀀스가 사이클 타임을 최소화함을 이론적으로 증명하였다. 또한, 실험을 통해 제안된 시퀀스가 대부분의 실제 공정 조건에서 최적, 또는 근사 최적의 성능을 보임을 증명하였다. 다만 해당 연구에서는 여러 웨이퍼가 복수의 공정 챔버를 공유하거나, 복수 웨이퍼 유형이 동시에 처리되는 등의 조건을 고려하지 않았으며, 제안된 시퀀스 역시 고정된 작업 순서 기반이므로 환경 변화에 대한 적응성은 제한적이라는 한계를 가진다.

최근 소량 생산 체제로의 전환이 가속화되며, 일정 주기를 전제로 하는 순환 스케줄링이 적합하지 않은 사례가 증가하고 있다. 이에 따라 최근 연구에서는 보다 유연한 비순환(noncyclic) 스케줄링에 대한 관심이 확대되고 있다. Yan et al. (2020)은 다중 로봇 및 복수 클러스터 장비로 구성된 환경에서 비순환 스케줄링 문제를 다루며, Pareto 최적 기반 동적 계획법을 통한 효율적인 정책 공간 축소로 계산 효율성을 개선하였다. 해당 연구는 실험 결과를 통해 다양한 상황에서 성능 우수성을 입증하였으나, 여전히 규칙 기반의 고정된 정책에 의존하므로 동적 환경에 대한 실시간 적응성과 자율성에는 한계가 있다.

2.2 DRL 기반 연구 동향

최근에는 DRL을 이용하여 반도체 클러스터 장비 스케줄링 문제를 해결하려는 연구가 등장하고 있다. DRL 에이전트는 환경과 상호작용을 통해 보상을 최대화하는 방향으로 정책을 스스로 학습하며, 전문가 규칙 없이도 복잡한 조건에 유연하게 적응하여 보다 나은 의사결정을 할 수 있다(Mnih et al., 2015; Mnih et al., 2016).

Hong and Lee(2018)는 기존 k-periodic cleaning의 한계를 극복하기 위해, 챔버 오염 상태를 반영한 condition-based cleaning 개념을 제안하고, condition-based cleaning이 적용된 환경에서 장비들을 스케줄링하기 위한 멀티에이전트 강화학습(multi-agent reinforcement learning, MARL) 모델을 제안하였다. 실험 결과, 제안한 MARL 방식은 기존 규칙 기반 방식보다 더 높은 처리량과 cleaning 효율성을 달성하였다. 다만 해당 연구는 한 종류의 웨이퍼로만 구성된 단일 공정으로 실제 생산 환경에서 발생할 수 있는 복잡한 혼류 공정을 반영하지 못한다는 한계가 있다. Lee and Lee(2021)는 장비 내부의 웨이퍼 이송 로봇 동작을 최적화하기 위해 deep Q-network(DQN) 기반 스케줄러를 제안하였다. 해당 연구에서는 특히 챔버 간 처리 시간의 불균일성과 deadlock 상황을 고려하여 학습을 진행하였으며, action masking과 reward 설계 개선을 통해 학습의 안정성을 확보하였다. 또한 소규모 환경에서 사전 학습된 모델을 대규모 환경으로 전이학습 시켜 생산 환경 변화에 유연하게 적응할 수 있음을 실험적으로 입증하였다. 다만, 해당 연구는 단일 에이전트 구조로, 복수 로봇 또는 복잡한 공정 경로를 고려하지 못한다는 한계를 가진다. Kim and Lee(2024)는 비순환 스케줄링 환경에서 두 종류의 웨이퍼를 동시에 처리하는 싱글 암 클러스터 장비를 대상으로 로봇 작업 순서와 웨이퍼 투입 순서를 함께 최적화하는 새로운 DRL 기반 스케줄링 기법을 제안하였다. 제안된 방식은 기존 방식 대비 높은 처리량을 일관되게 달성하였으며, 다양한 처리 시간 조합에서도 뛰어난 일반화 성능을 보였다. 다만 해당 연구는 하나의 로봇 팔만을 사용하는 단일 클러스터 장비에 한정되어 있으며, 다중 로봇 및 확장된 환경으로의 적용 가능성은 향후 연구 과제로 남아 있는 한계가 있다.

본 연구는 기존 연구들의 한계를 보완하고자, 두 대의 로봇(VTM 로봇 및 ATM 로봇)을 대상으로 한 환경을 구성하여 복수 로봇의 스케줄링 문제를 해결하고자 했다. 이를 위해 두 종류의 로봇을 동시에 제어할 수 있도록 MADQN 방식을 채택하였다. 각 로봇은 두 개의 팔을 가진 듀얼 암 구조로, 독립적인 DQN 에이전트를 통해 행동을 개별적으로 결정하되, 전체 시스템 상태를 공유함으로써 협업 가능한 정책을 효과적으로 학습한다. 또한, 서로 다른 종류의 웨이퍼가 한 작업 순서 내에서 처리되는 혼류 공정 환경을 구성하였으며, 다양한 조건을 조합하여 실험을 수행하였다. 그 결과, 학습된 정책은 기존의 규칙 기반 정책보다 우수한 성능을 보였으며, 환경 변화에도 일관된 성능을 유지하는 일반화 능력을 갖추고 있음을 확인하였다.

3.1 클러스터 장비 시뮬레이터 개요

본 연구에서는 실제 반도체 클러스터 장비의 동작 특성을 반영한 시뮬레이터를 개발하여 실험 환경으로 사용하였다. 개발 언어로는 Python을 사용하였다. 시뮬레이터 개발은 강화학습 환경 개발 프레임워크인 OpenAI Gym(Gymnasium)을 기반으로 하였으며, Gym의 사용자 정의 환경(custom environment)으로 등록하여 다양한 알고리즘 실험이 가능하도록 하였다. 시뮬레이터의 구현 코드는 GitHub 공개 저장소(https://github.com/djpanda1217/clustertool_simulator)에서 확인할 수 있다.

장비 구성 측면에서, 시뮬레이터에 구현된 반도체 클러스터 장비는 진공 영역(vacuum area)과 대기압 영역(atmospheric area)으로 구성되어 있다. 반도체 클러스터 장비는 VTM 로봇, ATM 로봇, 정렬기(aligner), 공정 챔버(chamber), 입력 로드락(load lock entry, LL entry), 출력 로드락(LL exit), 입력 로드 포트(load port IN, LP IN), 출력 로드 포트(LP OUT) 등 다양한 구성 요소로 이루어진다. LP IN과 LP OUT은 반도체 클러스터 장비 외부에서 내부, 혹은 내부에서 외부로 웨이퍼가 이동할 때 웨이퍼가 통과하는 모듈이다. LL Entry, LL Exit은 웨이퍼가 반도체 클러스터 장비 내에서 대기압 영역에서 진공 영역, 또는 진공 영역에서 대기압 영역으로 이동할 때 통과해야 하는 모듈로, 장비 내에서 진공과 대기압 상태를 구분하여 관리할 수 있도록 하는 역할을 한다. Aligner는 웨이퍼의 방향 정렬을 수행하며, Chamber는 실질적인 공정이 이루어지는 모듈로 총 6개가 구성된다. VTM 및 ATM 로봇은 각각 진공과 대기압 환경에서 독립적으로 동작하며, 각 로봇은 두 개의 arm(left, right)을 가진다. <Figure 1>은 시뮬레이터에 구현된 클러스터 장비의 전체 구조를 도식화한 것이다. LP IN에서 시작된 웨이퍼는 대기압 영역의 ATM 로봇에 의해 Aligner로 이동되며, 이후 LL Entry을 통해 진공 영역의 VTM 로봇에 의해 Chamber로 운반된다. 공정 완료 후 Aligner 방문을 제외한 반대 경로를 통해 장비 외부로 반출되며, 각 모듈을 거치는 웨이퍼의 흐름은 <Figure 1>의 알파벳 경로를 기준으로 정의된다.

Figure 1.

Semiconductor Cluster Tool Environment and Wafer Flow

시뮬레이터는 multi-agent Markov decision process(MMDP)로 정의되며, 상태 공간(state space, S), 행동 공간(action space, A), 상태 전이 함수(state transition function, P), 보상 함수(reward function, R), 시간 할인 요소(discount factor, Υ)로 구성된다. 본 문제의 MMDP는 다음과 같이 형식적으로 표현할 수 있다.

$$ MMDP=⟨S,A=A_{VTR}\times A_{ATR},P,R,\gamma ⟩$$

여기서 상태 공간 S는 총 45차원의 이산(discrete) 상태 벡터이며, 네 가지 하위 구성 요소로 나뉜다. 첫째, 웨이퍼 존재 여부는 {0, 1}¹⁵이진 벡터로 표현되며, 각 모듈의 웨이퍼 보유 여부를 나타낸다. 이는 총 15개의 모듈에 대해 정의되며, 해당 모듈들은 LL Entry, LL Exit, VTR 로봇의 양쪽 arm, 6개의 챔버, ATR 로봇의 양쪽 arm, Aligner, LP IN, LP OUT이다. 둘째, 웨이퍼의 공정 상태는 {0, 1, 2}¹⁵ 정수 벡터로 나타내며, 웨이퍼 존재 여부 상태와 같은 모듈을 대상으로 정의된다. 0은 웨이퍼가 존재하지 않거나, 존재하더라도 아직 공정을 시작하지 않았거나, 공정이 진행 중인 상태를 모두 포함한다. 1은 aligner에서 정렬이 완료된 상태를, 2는 챔버에서 공정이 완료된 상태를 의미한다. 셋째, 각 모듈의 사용 가능 여부는 {0, 1}¹³ 이진 벡터로, VTM 로봇의 양쪽 arm, chamber 6개, ATM 로봇의 양쪽 arm, aligner, LP IN, LP OUT 모듈을 대상으로 정의된다. 해당 모듈의 잔여 처리 시간이 0이면 1, 아니면 0으로 설정된다. 넷째, LL Entry 및 LL Exit 모듈의 진공/대기압 상태는 {0, 1}² 이진 벡터로, 0은 진공 상태, 1은 대기압 상태를 의미한다. 이를 종합하면, 상태 공간은 다음과 같이 표현된다.

$$ S\subseteq \{\mathrm{0,1}{\}}^{15}\times \{\mathrm{0,1},2{\}}^{15}\times \{\mathrm{0,1}{\}}^{13}\times \{\mathrm{0,1}{\}}^2$$

행동 공간 A는 두 에이전트의 이산 행동의 곱집합으로 정의된다.

$$ A_{VTR}=\{\mathrm{0,1},\dots ,28\},A_{ATR}=\{\mathrm{0,1},\dots ,12\}$$

VTR 로봇은 총 29개의 행동을 가지며, 웨이퍼를 LL Entry에서 arm으로 이동, arm에서 chamber로 이동, chamber에서 arm으로 이동, arm에서 LL Exit으로 이동시키는 동작들과, 아무 행동도 취하지 않는 NO_ACTION이 포함된다. ATR 로봇은 13개의 행동을 가지며, 웨이퍼를 LP IN에서 arm으로 이동, arm과 aligner 사이에서 이동, arm과 LL Entry/Exit, LP IN/OUT 사이에서 이동시키는 동작과, 마찬가지로 NO_ACTION을 포함한다. 각 에이전트는 매 스텝에서 하나의 행동을 선택하며, 유효하지 않은 행동은 마스킹을 통해 제한된다.

상태 전이 함수 $$ P:S\times A\to S$$는 현재 상태와 두 에이전트의 행동에 따라 결정되며, 본 시뮬레이터에서는 이를 완전한 결정론적(deterministic) 방식으로 구현하였다. 즉, 동일한 상태와 동일한 행동이 주어질 경우 항상 동일한 다음 상태가 반환된다. 로봇의 이동, 모듈의 처리 시간 업데이트, 웨이퍼 이송 및 공정 완료 여부는 일관된 규칙에 따라 계산된다.

보상함수 $$ R:S\times A\to \mathbb{R}$$은 매 스텝마다 에이전트의 행동 및 시스템 처리 성과에 기반하여 보상 값을 반환한다. 두 에이전트가 모두 유효한 행동을 수행한 경우에는 +0.2, 한 에이전트만 유효한 행동을 수행한 경우에는 +0.1의 보상이 주어진다. 반대로, 두 에이전트 모두 NO_ACTION을 선택할 경우에는 -10의 페널티가 부여된다. 웨이퍼가 성공적으로 처리 완료될 경우 +1의 보상이 주어지며, 최대 처리 개수에 도달하면 +100의 보상이 추가로 주어지고 시뮬레이션이 종료된다. 이러한 보상 설계는 에이전트가 협력적이면서도 생산성을 극대화하는 방향으로 학습하도록 유도한다.

시간 할인 요소 Υ는 0.99로 설정했으며, 미래 보상의 가치를 현재와 거의 동등하게 반영함으로써 에이전트가 단기적인 보상보다는 장기적인 생산성 향상에 초점을 맞출 수 있도록 설계되었다. 이는 웨이퍼가 여러 단계에 걸쳐 처리되는 본 시뮬레이션 환경의 특성과도 잘 부합한다.

본 연구에서는 다양한 웨이퍼 종류가 동시에 처리되는 혼류 공정 문제를 다룬다. 이 때, 각 챔버가 웨이퍼의 종류와 관계없이 모든 웨이퍼를 처리할 수 있도록 구성되어 있으며, 이로 인해, 한 챔버에서 서로 다른 종류의 웨이퍼가 연속적으로 처리될 경우, 서로 다른 공정 조건으로 인해 교차 오염이 발생할 수 있다. 이를 방지하기 위해, 챔버에서 웨이퍼 한 장을 처리하고 내보내면, 해당 챔버를 강제 청소하는 과정(force purge)이 반드시 수행되도록 하였다. 이 과정은 공정 지연의 원인이 되므로, VTM 로봇 에이전트와 ATM 로봇 에이전트는 force purge로 인한 시간 손실까지 반영하여 스케줄링 전략을 학습해야 한다.

3.2 실험 환경 구성

본 연구에서는 MADQN 기반 스케줄링 기법의 성능과 일반화 능력을 평가하기 위해 두 가지 유형의 혼류 공정 환경을 구성하였다. 또한, 한 처리 시퀀스에 등장하는 웨이퍼 종류의 수를 변화시켜 총 여섯 개의 시나리오를 설계하였다. 각 환경과 시나리오는 장비 사양 및 웨이퍼 특성의 차이를 반영하고 있으며, 장비 사양이 달라지거나 등장 웨이퍼의 종류 수가 많아짐에 따라 공정의 복잡성과 난이도가 상승하도록 구성되었다.

• ∙ 환경 A
  환경 A는 기본 설정으로, 클러스터 장비 내 모든 챔버가 동일한 처리 사양을 갖는다. 웨이퍼는 최대 네 종류까지 혼합 투입될 수 있으며, 각 웨이퍼가 챔버에서 처리되는 시간은 웨이퍼 A가 30 step, B가 90 step, C가 100 step, D가 50 step이다. 시나리오에 따라 투입되는 웨이퍼 종류 수는 2종, 3종, 4종으로 조정되며, 각 환경에서 웨이퍼 종류에 따른 등장 확률은 <Table 1>에 A_k제시되어 있다. <Table 1>에서 는 환경 A에서 k 종의 웨이퍼가 혼합 투입되는 시나리오를 의미한다. 이러한 구성은 실제 혼류 공정 상황에서 다양한 종류의 웨이퍼가 하나의 생산 배치에 함께 투입되는 현실적인 특성을 반영한 것이다. 실제로 Li and Yang (2025)은 다양한 수요에 대응하고 리드타임을 단축하기 위해 유사한 공정을 갖는 복수의 웨이퍼 종류를 동일 클러스터 장비 내에서 동시에 처리하는 방식이 점차 보편화되고 있다고 언급하였으며, 최대 4종의 웨이퍼가 등장하는 혼류 공정 환경을 대상으로 클러스터 장비의 최적화 문제를 다룬 사례를 제시하였다.

Table 1.

Configuration of wafer type appearance probabilities in each scenario. As the number of wafer type(k) increases, the scheduling becomes more complex. Ak refers to the scenario in which k wafer types appear in environment A.

• ∙ 환경 B
  환경 B는 클러스터 장비 내 챔버들이 서로 다른 처리 사양을 갖는 환경이다. 이는 하나의 장비 내에서도 챔버가 모델, 내부 구성 부품, 사용 이력 등에 따라 서로 다른 처리 성능을 보일 수 있다는 실무적 경험에 기반한 설정이다. 이러한 차이는 챔버 별로 서로 다른 생산 특성을 유도하며, 효과적인 스케줄링 전략 수립 시 중요한 고려 요소가 된다. 환경 B는 환경 A와 동일한 기본 구조를 유지하면서도, 각 웨이퍼가 특정 챔버에서 처리될 때 처리 시간에 일정 계수를 곱해주어 처리 성능 차이를 반영하였다. 챔버별 처리 시간 계수는 <Table 2>에 제시되어 있으며, B_k는 환경 B에서 k 종의 웨이퍼가 혼합 투입되는 시나리오를 의미한다.

Table 2.

Configuration of processing time coefficients applied to each chamber for each wafer type in environment B. Wafer A shows no variation across chambers, while wafer B, C, and D show slower processing in early-numbered chambers. This setting reproduces heterogeneous chamber behavior that may occur in real-world equipment.

이와 같이 총 두 가지 환경(A, B)에 대해 각각 2, 3, 4종의 웨이퍼가 혼합 투입되는 총 6개의 실험 시나리오를 정의하였다. 각 실험 환경은 MADQN 에이전트가 다양한 종류의 공정 복잡성에 얼마나 효과적으로 적응하여 학습하는지, 나아가 학습한 정책이 공정 조건이 변화하는 새로운 시나리오에서도 얼마나 강건하게 작동하는지를 검증하기 위한 기반이 된다.

3.3 VTM 로봇과 ATM 로봇 간 협업을 위한 MADQN 기반 에이전트 설계

본 연구는 반도체 클러스터 장비 내 VTM 로봇과 ATM 로봇 간의 협업 스케줄링 문제를 해결하기 위해 MADQN 구조를 설계하였다. 본 구조는 Tan(1993)에서 제안된 independent Q-learning(IQL) 방식에 기반하며, 두 로봇을 각각 독립적인 DQN 에이전트로 정의하였다. 다만, 본 연구에서는 두 에이전트가 동일한 상태(state) 및 보상(reward) 정보를 공유하되, 각기 다른 Q-Network을 통해 개별 행동을 학습하도록 구성하였다.

실제 반도체 장비에서는 VTM과 ATM 로봇이 서로 다른 영역에서 동작하며, 이동 경로와 모듈 구성 또한 물리적으로 완전히 분리되어 있다. 각 로봇은 자신이 담당하는 모듈 내에서 독립적으로 작동하고, 동시에 병렬적인 작업 수행이 가능하다. 이러한 물리적 구조를 반영하여 로봇을 개별 에이전트로 모델링한 것은, 시스템 운용 방식과의 정합성 측면에서 실용적인 접근으로 평가할 수 있다.

모든 로봇의 행동을 하나의 중앙집중형 에이전트를 통해 통합적으로 제어하는 방식도 고려할 수 있으나, 이러한 구조는 복잡성과 학습 효율성 측면에서 여러 한계를 내포한다. 중앙집중형 구조에서는 두 로봇의 행동 조합으로 인해 전체 행동 공간의 크기가 지수적으로 증가하며, DQN 기반의 정책 구조에서는 출력 노드 수 증가로 학습 및 탐색의 계산 비용이 급격히 상승한다(Rashid et al., 2020; Lin et al., 2022). 반면, 각 로봇이 공통 상태 정보를 기반으로 독립적인 정책을 학습하도록 구성한 분산형 구조에서는 이러한 문제를 완화할 수 있을 뿐만 아니라, 이후 로봇 구성의 변경이나 기능 확장 시 기존 정책을 모듈화하여 재활용할 수 있다는 실용적인 이점이 있다. 이에 따라, 본 연구에서는 하나의 중앙집중형 에이전트를 활용한 구조 대신 각 로봇이 공통의 상태 정보를 바탕으로 독립적으로 행동을 선택하고, 이를 통해 시스템 차원의 협업을 유도하는 MADQN 구조를 채택하였다. <Figure 2>는 제안된 MADQN 프레임워크의 전체 구조를 보여준다.

Figure 2.

Overview of the proposed multi-agent learning architecture. The VTM and ATM robots are each controlled by a separate Duling DQN agent with distinct action spaces. The environment offers the same state vector and reward to both agents. Each agent independently computes Q-values, updates its parameters via backpropagation using a shared replay buffer. Actions for the VTM and ATM robots are selected independently using Q-value computed. Target networks are synchronized periodically every N step for stable learning.

3.4 핵심 학습 구조 및 전략

본 연구에서 적용된 MADQN 프레임워크의 학습 구조 및 주요 구현 전략이 반영된 Python 코드는 GitHub 공개저장소 (https://github.com/djpanda1217/clustertool_simulator)를 통해 확인할 수 있다. 구체적으로는 dueling DQN 구조를 기반으로 한 독립적인 에이전트를 구성하고, 다양한 학습 전략을 결합하여 강화학습의 안정성과 수렴 효율을 향상시켰다.

Dueling DQN은 가치 함수(value function)과 행동의 이점 함수(advantage function)를 별도로 추정하는 이중 스트림 구조를 통해 기존 DQN의 비효율적인 Q값 추정을 개선하고자 제안된 방식이다(Wang et al., 2016). Dueling DQN은 각 상태 s의 가치 함수 V(s)를 독립적으로 학습하고, 각 상태에서의 취할 수 있는 행동의 상대적 중요도를 나타내는 행동 이점 함수 A(s, a)를 별도로 추정한다. 기존 DQN과 dueling DQN의 구조적 차이는 <Figure 3>에 도식화되어 있다.

Figure 3.

Comparison of standard DQN (left) and Dueling DQN (right) architectures using state vector inputs. Dueling DQN separates the estimation of state-value and advantage, which are then combined through an aggregation module to compute the final action-value function , as proposed by Wang et al. (2016).

$$ \begin{array}{c}Q\left(s,a,;\mathrm{\theta },\mathrm{a},\mathrm{\beta }\right)=V\left(s;\mathrm{\theta },\mathrm{\beta }\right)\\ +\left(A\left(s,a;\theta ,\alpha \right)-\frac{1}{\left|A\right|}\acute{\sum _a }A\left(s,a^{\text{'}};\theta ,\alpha \right)\right)\end{array}$$

Dueling DQN에서 Q값 계산 방식은 위 수식과 같다. 여기서, V(s;θ, β)는 상태 s가 갖는 가치를 나타내는 가치 함수이며, A(s, a;θ, α)는 상태 s에서 행동 α를 취하는 것이 다른 행동을 취하는 것과 비교하여 얼마나 유리한지를 나타내는 상대적 지표인 행동 이점 함수이다. θ는 feature extraction 네트워크의 파라미터를, α와 β는 각각 advantage stream과 value stream의 파라미터를 의미한다. 행동 이점 함수의 평균을 감산하는 방식은 Q값의 식별 불가능성(unidentifiability)을 해결하고, 정책 학습의 안정성을 높인다.

Prioritized experience replay(PER) (Schaul et al., 2015)를 도입하여 replay buffer로부터 temporal difference(TD) 오차가 큰 transition을 우선적으로 샘플링하는 prioritized sampling을 수행하였다. TD 오차가 크다는 것은 에이전트의 Q-value 예측이 실제 환경 결과와 크게 차이가 난다는 것을 의미하며, 이는 해당 transition이 충분히 학습되지 않았고, 따라서 추가 학습을 통해 에이전트의 정책에서 큰 개선을 기대할 수 있는 중요한 경험임을 의미한다. 샘플링 확률은 다음과 같이 정의된다.

$$ P\left(i\right)=\frac{p_i^{\alpha }}{\sum _k p_k^{\alpha }}, \mathrm{w}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{e} p_i=\left|{\delta }_i\right|+ϵ$$

여기서 $$ \delta i=r_i+ {\gamma max}_{a^{\text{'}}}Q\left(s_i^{\text{'}},a^{\text{'}}\right)-Q\left(s_i,a_i\right)$$는 TD 오차이며, α는 우선순위의 민감도를 조절하는 하이퍼파라미터, ε은 모든 transition이 0 이상의 확률로 선택되도록 보장하는 작은 상수이다. 이와 함께 PER에서는 중요도 보정(importance sampling, IS)을 위해 다음과 같은 weight를 사용한다.

$$ w_i={\left(\frac{1}{N}\cdot \frac{1}{P\left(i\right)}\right)}^{\beta }$$

여기서 N은 전체 transition 수, β는 보정 계수를 나타내며, 학습 초기에 발생할 수 있는 편향을 줄이고 학습 후반으로 갈수록 정확한 보정을 수행하는 역할을 한다. 실제 학습 시에는 이 weight w_i를 TD 오차에 곱해 bias를 최소화한다. TD 오차가 큰 transition은 여전히 loss에 더 크게 반영되므로, PER은 에이전트가 중요한 경험을 더 자주, 더 강하게 학습하도록 유도한다. 이 과정은 에이전트가 Q-value를 잘 예측하지 못한, 즉 에이전트가 학습해야 할 정보량이 많은 transition을 집중적으로 할 수 있도록 하며, 결과적으로 샘플 효율성과 수렴 속도를 향상시킨다.

이외에도, PyTorch의 StepLR 스케줄러를 사용하여 일정 step마다 learning rate를 0.5배씩 줄이는 방식으로 학습률을 조정하였고, 각 에이전트의 신경망에는 layer normalization을 적용하여 gradient 안정성을 확보하고 학습 수렴 속도를 향상시켰다.

위와 같은 구조적 및 학습 전략적 개선은 혼류 공정 기반의 복잡한 스케줄링 문제에서도 안정적인 정책 학습을 가능하게 하며, 학습 효율성과 성능 향상 모두에 긍정적인 기여를 하였다.

4.1 평가 지표 및 실험 설정

성능 평가는 단위시간 당 웨이퍼 처리량을 기준으로 수행하였다. 이를 위해 각 에피소드 길이를 10,000 step으로 고정하였으며, 한 에피소드에서 처리된 웨이퍼 수를 주요 평가 지표로 활용하였다. 모든 실험은 동일한 환경 조건에서 10회 반복 수행되었으며, 결과는 평균 및 표준편차 형태로 제시하였다.

MADQN의 성능을 평가하고자, 산업 현장에서 실제 적용되는 로직과 유사한 세 가지 규칙 기반 정책을 비교 대상으로 설정하였다. 각 정책은 클러스터 장비 개발 및 운영 과정에서의 실무적 고려사항을 반영하고 있으며, 기능적 타당성 확보부터 생산성 최적화에 이르는 일련의 개발 우선순위를 기반으로 구분된다. 첫째, Random 정책은 가능한 모든 행동 중 하나를 무작위로 선택하는 방식으로, 강화학습 기반 정책의 의미 있는 성능을 판단하기 위한 최소한의 기준선 역할을 한다. 별도의 도메인 지식이나 전략이 개입되지 않으므로, agent가 일정 수준 이상의 정책을 학습했는지를 검증하는 기초적인 비교 기준으로 활용하였다. 둘째, Rule 1은 가능한 행동이 하나 이상 있다면 ‘아무것도 하지 않음’에 해당하는 NO_ACTION을 제외하고, 실행 가능한 행동 중 하나를 임의로 선택하는 방식이다. 이 정책은 클러스터 장비 스케줄러를 개발할 때 가장 먼저 고려되는 조건인 “정상 동작 보장”을 목적으로 구성된 정책으로, deadlock이나 물리적으로 불가능한 작업 시퀀스를 방지하면서도 시스템의 유휴 상태가 최소화되도록 설계된다. 이러한 정책은 실제 장비 제어 로직의 초기 버전에 주로 반영되는 방식이다. 셋째, Rule 2는 실행 가능한 행동 중 소요 시간이 가장 짧은 행동을 선택하는 휴리스틱 기반 정책으로, 로봇의 물리적 위치에 따른 이동 시간 절감 및 로봇 작업의 우선순위를 고려하여 설비의 생산성의 향상을 목표로 한다. 이는 Rule 1을 기반으로 한 시스템 안정성 확보 이후, 실제 생산 환경에서 throughput 극대화를 위해 적용되는 개선 전략으로, 현업에서는 직관성과 일정 수준 이상의 효과를 바탕으로 개발 초기부터 고도화 단계에 이르기까지 널리 활용되고 있다.

이처럼 비교 대상이 되는 세 가지 규칙 기반 정책은 산업 현장의 로직 설계 흐름을 체계적으로 반영하고 있으며, 본 연구에서는 이러한 규칙 기반 정책을 비교군으로 활용하여 MADQN 에이전트가 얼마나 효과적으로 성능을 상회할 수 있는지를 평가하였다. MADQN을 학습하는 과정에서 사용한 주요 하이퍼파라미터는 <Table 3>에 정리하였다. 모든 에이전트는 Dueling DQN 네트워크 구조를 기반으로 하였으며, 탐색을 위해 ϵ-greedy 기법을 적용하였다.

Table 3.

Major hyperparameters used in training the proposed MADQN agent

본 연구의 실험은 Ubuntu 22.04.5 LTS 운영체제가 설치된 워크스테이션에서 수행되었다. 하드웨어 구성은 다음과 같다. 중앙처리장치(CPU)로는 Intel Core i9-9900KF(기본 동작 속도 3.60GHz, 8코어 16스레드)를 사용하였으며, 메인 메모리는 64GB DDR4를 장착하였다. 그래픽처리장치는 NVIDIA GeForce RTX 2080 Ti (11GB VRAM)를 사용하였으며, 딥러닝 연산을 위한 CUDA Toolkit은 버전 12.1을 기반으로 설정하였다. 모든 실험은 단일 GPU 환경에서 수행되었으며, 시뮬레이터 구동 및 강화학습 학습 과정 전반에 해당 사양이 사용되었다.

4.2 환경별 성능 비교

<Table 4>은 각 시나리오에서 MADQN 정책과 세 가지 규칙 기반 정책 간 처리량(throughput)을 비교한 결과이다. 총 여섯 개의 시나리오에서 실험을 수행하였으며, 각 시나리오는 장비 사양(동일 또는 비동일)과 혼합 투입되는 웨이퍼 종류 수(2종, 3종, 4종)의 조합으로 구성되었다. 모든 실험은 에이전트가 학습한 환경과 동일한 조건 하에서 수행되었으며, 결과는 각 에피소드에서 처리된 웨이퍼 수의 평균으로 표현하였다.

Table 4.

Performance evaluation of MADQN and rule-based policies across six scheduling scenarios. Each value represents the average number of wafers processed per 10,000-step episode (mean with standard deviation in parentheses). MADQN shows consistently superior throughput in all cases.

환경 A와 B를 포함한 모든 시나리오에서 MADQN은 규칙 기반 정책을 크게 상회하는 처리량을 기록하였다. 이는 MADQN 에이전트가 단순한 조건부터 복잡한 조건에 이르기까지, 상태 정보를 바탕으로 전체 장비 구조, 로봇 간 협업 관계, 그리고 고정 흐름을 종합적으로 고려한 스케줄링 전략을 효과적으로 학습할 수 있음을 보여준다. 이러한 학습 능력은 다양한 환경에서도 일관된 성능 우위를 가능하게 한 주요 요인으로 작용하였다.

환경 A는 모든 챔버의 사양이 동일하여, 동일한 종류의 웨이퍼는 어느 챔버에서든 동일한 처리 시간을 갖는 비교적 단순한 구조의 환경이다. 이러한 단순한 환경에서는 기존 규칙 기반 정책들도 일정 수준의 성능을 유지하였으며, 특히 Rule 2는 기존 규칙 기반 정책 중 가장 높은 성능을 달성하였다. 이렇게 단순한 규칙만으로도 일정 수준의 성능이 나오는 비교적 간단한 환경에서도, MADQN는 이를 넘어서는 수준의 협업 전략을 학습함으로써 명확한 성능 우위를 보였다. 반면 환경 B는 각 챔버의 사양이 서로 달라 같은 종류의 웨이퍼라도 처리 시간이 서로 다른 상대적으로 복잡한 환경이다. 이러한 환경에서는 기존의 규칙 기반 정책들이 복잡성 증가에 효과적으로 대응하지 못하는 한계를 드러냈다. 특히 Rule 2는 챔버 간 처리 시간 차이를 고려하지 않고 단순히 소요 시간이 가장 짧은 행동을 선택하는 방식이기 때문에, 환경 B와 같이 처리 시간의 불균형이 존재하는 상황에서 적절한 대응이 어렵다. 예를 들어, 웨이퍼 B의 경우 entry 로드락에서 가장 가까운 챔버 1과 챔버 2에서 처리할 경우, 다른 챔버에 비해 약 30%의 시간이 더 소요된다. 그럼에도 불구하고 Rule 2는 가장 짧은 이동 거리를 기준으로 챔버 1 또는 챔버 2를 선택하게 되며, 이로 인해 상대적으로 비효율적인 자원 배분이 발생한다. 결과적으로, 처리 시간이 긴 챔버들에 작업이 집중되고, 처리 시간이 짧은 챔버들이 유휴 상태로 남게 되는 자원 불균형 현상이 초래된다. 이러한 비효율은 실제로 환경 B의 시나리오들에서 Rule 2가 Random 정책보다도 낮은 성능을 기록하는 결과로 이어졌으며, 이는 규칙 기반 방식이 가지는 구조적 한계를 명확히 보여준다. 반면, MADQN은 클러스터 장비의 상태 정보를 바탕으로 장비 구조, 챔버 간 성능 차이, 로봇 간 협업 관계 등 다양한 요인을 통합적으로 고려하는 전략을 학습함으로써, Rule 2가 직면하는 자원 불균형 문제를 효과적으로 회피하였다. 그 결과, 환경 B와 같이 복잡성이 높은 환경에서도 MADQN은 규칙 기반 정책 대비 일관적으로 높은 성능을 달성할 수 있었다.

4.3 일반화 성능 분석

본 절에서는 제안한 MADQN 에이전트의 일반화 능력을 평가하기 위해, 웨이퍼 2종 환경(A₂, B₂)에서만 학습한 에이전트를 보다 복잡한 시나리오(A₃, A₄, B₃, B₄)에 적용하는 실험을 수행하였다. 실험 결과는 <Table 5-1>과 <Table 5-2>에 각각 정리되어 있으며, 각 표에서는 2종 웨이퍼 환경에서 학습된 모델(MADQN₂)과 학습 환경과 테스트 환경이 동일한 경우(MADQN)의 성능을 비교하였다. 또한 상대 성능 변화율도 함께 제시하여 일반화 성능을 정량적으로 평가하였다.

Table 5-1.

Generalization performance in Environment A. Each value represents the average number of wafers processed per 10,000-step episode (mean with standard deviation in parentheses). “MADQN” refers to the agent trained and tested in the same scenario. “MADQN2” refers to the agent trained only in A2 and tested in A2, A3 and A4.

Table 5-2.

Generalization performance in Environment B. Each value represents the average number of wafers processed per 10,000-step episode (mean with standard deviation in parentheses). “MADQN” refers to the agent trained and tested in the same scenario. “MADQN2” refers to the agent trained only in B2 and tested in B2, B3 and B4.

<Table 5-1>은 환경 A에서 수행한 일반화 성능 평가 결과를 보여준다. 환경 A는 모든 챔버의 웨이퍼 처리 사양이 동일한 구조적으로 단순한 환경이지만, 혼합 투입되는 웨이퍼 종류 수가 증가함에 따라 공정의 복잡도는 점진적으로 높아진다. 그럼에도 불구하고, 2종 웨이퍼 시나리오(A₂)에서만 학습된 MADQN₂는 보다 복잡한 시나리오인 A₃ 및 A₄에서도 각각 -0.63%, -1.49%의 경미한 성능 저하만을 보이며, 처리량 125 이상을 안정적으로 유지하였다. 이는 MADQN₂가 단순한 조건에 과적합되지 않고, 공정 조건 변화에도 유연하게 적응할 수 있는 일반화된 정책을 학습했음을 시사한다.

<Table 5-2>는 환경 B에서의 일반화 성능에 대한 실험 결과이다. 환경 B는 동일한 종류의 웨이퍼라도 챔버의 사양에 따라 처리 시간이 상이한 구조적 특성을 가지며, 이에 따라 선택 편향과 자원 불균형이 동시에 발생할 수 있는 복잡한 환경이다. B₂에서 학습한 MADQN₂는 보다 복잡한 B₃ 및 B₄ 시나리오에 적용되었을 때, 기준 대비 각각 -8.93%, -4.86%의 성능 저하를 보였다. 성능 감소폭만 보면 환경 A의 경우보다 크지만, 그럼에도 불구하고 MADQN₂는 여전히 기존 규칙 기반 정책들을 상회하는 처리량을 유지하였다. 이는 MADQN이 단순한 환경에서 학습되더라도, 단편적인 상황에 과적합되지 않고 기본적인 챔버 선택 전략, 큐 관리 전략 등을 구조화된 형태로 학습하고 있음을 보여준다.

결론적으로, 본 절의 실험 결과는 MADQN이 단순한 조건에서 학습되더라도 환경 상태와 그에 따른 전략을 일반화 가능한 구조로 학습함으로써, 장비 사양이나 공정 조건이 변화하더라도 강건하고 범용적인 성능을 유지할 수 있음을 입증한다. 이는 실제 제조 환경에 적용 가능성이 높다는 점에서 제안된 방법론의 실용적 가치를 뒷받침한다.