머신러닝 기반의 방산육성지원 수혜기업 예측모형 개발

2.1 방위산업 육성 정부지원사업에 대한 선행연구

2027년까지 ‘국방과학기술 5대 강국’ 도약과 ‘글로벌 4대 방산수출 국가’ 진입이라는 목표를 달성하기 위한 추진과제의 일환으로 정부는 방위산업에 종사하는 기업들의 성장과 수출경쟁력 강화를 위해 전년 대비 높은 사업예산을 배정하였다. <Table 1>은 한국 정부가 국내 방위산업을 육성하고 업체들의 글로벌 경쟁력을 강화하기 위해 추진하는 2024년 정부지원 사업의 목록과 배정 예산 현황이다.

Table 1.

Government Support Project List

2024년 2,600억 원이라는 막대한 재정투입이 이루어지고 있으나, 방위산업 분야를 육성시키기 위한 정부지원사업에 관한 기존 연구들은 대부분 지원 후의 효과나 성과를 분석하는 데 중점을 두고 있다.

방위산업 분야 정부지원사업에 대한 선행연구로서, 먼저 Rho(2021)는 방위산업 중소기업들의 경영성과 제고에 영향을 미칠 수 있는 결정요인인 내재적 핵심역량, 경쟁전략, 경영성과 간의 인과관계과 상관관계를 살펴보았다. 그리고 원청업체와의 공급사슬 파트너십과 정부지원제도의 활용도가 이들 변수 간 어떤 조절효과를 나타내는지 통계적 분석을 수행하였다. Lee et al.(2020)은 현재의 국내 방위산업 실태와 미비점을 진단하고, 방위산업에 대한 주요 선진국 분석을 통해 정책적 발전방안을 모색하였다. Kong et al.(2020)은 산업혁신 관점에서 정부지원이 방위산업 종사 기업의 성과에 미치는 영향을 살펴보기 위하여 국내 방산업체 자료를 바탕으로 이중차분법(DID)을 활용한 실증분석을 수행하였다. Choi et al.(2018)은 의사결정 방법론 중 하나인 자료포락분석기법(DEA)을 활용하여 국내 방산업체들의 경영 효율성을 측정하였다. 투입 변수로 품질부서 종업원수, R&D 현황을 설정하였고 산출 변수로는 매출액과 영업이익을 설정하여 CCR 모형 및 BCC 모형을 각각 사용하였다. Lim et al.(2019)은 국방핵심기술 연구를 통해 도출되는 연구성과와 이를 활용하여 실제 무기체계 적용으로 창출되는 실질성과의 효율성을 분석하기 위해 DEA 모형을 활용하였다. Hwang et al.(2022)은 국방핵심기술 연구개발사업의 성과평가 요인을 도출하기 위하여 탐색적 요인분석 및 신뢰도분석(PCA/FA)을 활용하였다.

방위산업이 아닌 타 산업과 관련한 정부지원사업 연구 현황으로서, Lee et al.(2024)은 스마트공장 보급·확산 정부지원사업에 참여한 16,325개 기업을 대상으로 국내 GDP 성장에 어느 정도 기여하였는지, 그리고 산업연관분석을 적용하여 스마트공장 도입기업의 생산유발효과, 부가가치 유발효과, 고용 유발효과를 확인하였다. Yoon et al.(2020)은 기업 성장지원센터사업의 집중컨설팅 지원을 받은 수혜기업을 대상으로 효율적 집단과 비효율적 집단을 구분하여 투입변수의 효과를 분석하기 위해 자료포락분석을 시행하였다. Kang et al.(2018)은 정부지원사업에 참여한 중소기업들을 대상으로 기업의 성장성, 수익성, 생산성, 혁신성, 안정성의 5대 영역에 적합한 성과지표를 선정하여 정부에서 지원하는 자동화 및 스마트화 지원사업의 수혜 여부에 따른 중소기업의 기업성과 영향 분석과 성향점수 매칭 방법을 이용한 실증분석을 실시하였다. Oh et al.(2020)은 과학기술정책연구원(STEPI)에서 매년 수행하고 있는 기업혁신조사와 KISTEP의 국가연구개발사업 조사분석데이터를 활용하여 기업에 대전 정부의 R&D 지원이 제조기업의 혁신활동과 혁신성과에 미치는 영향을 성향점수매칭법을 통해 분석하였다. 그 결과 정부 R&D 지원이 수혜기업의 혁신활동을 유인하는 것으로 분석되었고, 제품혁신성과 또한 높게 발생하는 것으로 나타났다.

지금까지 설명한 정부지원사업에 관한 기존 연구들의 분석방법과 연구내용을 요약하면 <Table 2>와 같다.

Table 2.

Previous Studies on the Government Support Projects

2.2 머신러닝 기반 예측에 대한 선행연구

머신러닝은 다양한 연구 분야에서 예측력 및 속도가 뛰어나 활용되고 있다. 특히, 머신러닝은 여러개의 변수 데이터를 대상으로 하는 예측분석에서 탁월한 성과를 내어 활발히 사용되고 있다.

먼저 국방분야 및 방산 분야에서는 Lim et al.(2021)가 폐렴, 결핵, 횡문근융해 증 등 3가지 주요 국방 의료 질병을 진단하기 위해 국방의료 데이터에 딥러닝 기술을 적용하였다. 건강검진, 신체검사 등의 검진 정보와 특정 질병간의 인공신경망(Artificial Neural Network, ANN)을 구성하여 병력감소 및 군 의료진 부족현상에 대비한 무증상 환자 조기발견 및 선제 대응을 목표로 연구하였다. Lee et al.(2020)은 저장탄약 신뢰성평가 데이터 특성을 고려하여 입력 변수를 줄이는 정규화 기법으로 제안하였으며, 이를 통해 저장탄약 신뢰성 평가를 위한 인공신경망 모델의 학습 능률을 향상시키는 연구를 수행하였다. Han et al.(2011)은 인공신경망 모형을 이용하여 국방조달에 있어서 부정당업자 발생 예측을 분석하였다. 15개의 입력변수 중 13개의 변수가 입력변수로 도출되었고, 학습용 데이터를 통한 분석결과 96.61%, 검증용 데이터를 통한 분석결과 92.5%의 높은 예측력을 나타냈다.

국방·방산분야가 아닌 일반 분야에서는 Oh et al.(2017)가 사회보장 빅데이터 분석을 실시하였으며, 구체적으로는 의료정보, 생활여건 등의 변수를 활용한 보건복지 정책에 대한 영향 분석에 머신러닝을 활용하였다. 로지스틱 회귀분석(Logistic Regression, LR), 의사결정나무(Decision Tree, DT), 랜덤포레스트(Random Forest, RF), 부스팅, SVM을 적용하여 예측력이 가장 우수한 모형을 비교분석 하였다. Choo et al.(2023)는 부산, 가덕도, 거제도 이상조위 발생여부를 예측하기 위해 로지스틱 회귀분석을 활용하여 데이터를 분석하였다. Choi et al.(2023)은 의사결정나무 기법을 활용하여 초중고 학생의 사교육과 학업성적에 대한 패턴 규칙을 추정하였다. 국가통계포털에서 제공하는 초등·중등·고등학생 사교육비 조사 데이터를 활용하여, 학업성적에 따라 3개의 클래스(상·중·하위권)로 분류하였으며 총 58개의 변수를 사용하였다. 이외에도 Kim et al.(2022), Lee(2023), Joo et al.(2023)가 해당분야의 문제를 미리 감지하고 조치를 취하는 사전 예방전략을 지원하기 위해 머신러닝 기반의 예측 모델을 제안하였다.

연구에서 활용된 머신러닝 알고리즘별 선행연구를 <Table 3>으로 정리하였다.

Table 3.

Previous Studies on the Machine Learning Prediction Model

머신러닝 기반의 예측모형을 구축할 때, 데이터의 학습 전 불균형 문제로 인한 예측편향을 완화시키기 위한 데이터 균형화 과정도 자세히 작성한 선행연구가 존재하였다.

Kim et al.(2016)은 사회경제를 확장기와 수축기로 구분하여 KOSPI, KOSDAQ에 상장된 제조업 및 비제조업 1,691개의 기업 재무 데이터에 의사결정나무, 인공신경망, 앙상블 알고리즘을 적용하여 부실기업화 예측모형을 개발하였다. 이때 오버샘플링 기법(SMOTE)을 활용하여 데이터 불균형 문제를 해결하였으며 표본 비율을 1:1로 변화시켜 최종 78개의 변수를 구성하여 부실기업화 예측 모델을 개발하는 실험을 수행하였다. Hwang(2022)과 Yoo et al.(2022) 또한 예측모형에서 데이터 불균형을 해소하는 방법으로 오버샘플링 기법을 채택하여 예측성능을 향상시킨 연구모형을 제안하였다. 한편 Batista et al. (2003)은 DNA결합 키워드와 비결합 키워드 예측에 대한 훈련데이터의 불균형을 해결하는 방법으로 언더샘플링기법과 오버샘플링기법 중 불균형 해소율이 더 높은 복합샘플링 기법에 대한 결과값을 제시하였다. 그러나 데이터 균형화 적용시 변수값의 증가에 따라 결과가 변경될 수 있고, 다른 불균형 해소 기법을 사용 시 다른 결과값이 도출될 수 있어 이후 연구를 통해 비교 연구가 필요하다는 시사점을 남겼다. Batista et al.(2004) 연구에서는 데이터 불균형을 해소하는 가장 좋은 성능을 보이는 복합샘플링기법을 도출하였다. 실험 결과 랜덤 오버샘플링기법보다 SMOTE+TOMEK 및 SMOTE+ENN 기법이 적은수의 데이터 셋에서 높은 예측률을 보이는 것을 확인하였다.

예측모형의 성능향상을 위한 데이터 불균형 완화에 중점을 둔 선행연구와 데이터 균형화 기법을 <Table 4>로 정리하였다.

Table 4.

Previous studies on the data balancing

3.1 연구 데이터

먼저 연구에 활용할 데이터 수집 대상기업 범위는 ｢방위사업법｣ 제35조(방산업체의 지정)에 따라 무기체계와 주요 구성품을 생산하는 지정된 방산업체 85개사(2023년 기준)로 한정한다. 방위산업은 국가 안보에 직결되는 산업이기 때문에 시장경제원리에 의해 조달이 곤란한 군수물자의 안정적인 조달원 확보와 엄격한 품질보증을 위해 방산물자와 그 물자를 생산하는 방산업체 지정제도를 운영하고 있다. 방산업체는 매년 산업통산자원부 장관이 방위사업청장과 협의하여 지정하며, 정기적으로 재무·매출·고용 등의 경영현황에 대해 응답하고 있다.

방산업체의 경영상태 데이터는 방위산업 실태조사(Fact-finding survey on Defense Industry)에 응답한 항목을 기준으로 수집한다. 방위산업 실태조사는 방위산업발전 기본계획 수립을 위해 방위사업청에서 매년 집계하며, 조사항목에는 기업의 일반현황, 재무제표, 매출 및 생산, 수출·입 및 연구개발 현황, 고용현황, 지식재산권 등이 포함되어 있다.

3.2 연구 설계

이후 전처리(preprocessing) 단계에서 개별 방산업체들의 2022년 말까지 부품국산화개발 지원사업과 무기체계 개조개발 지원사업 수혜 이력을 조회하여 지원사업별 새로운 데이터셋을 구성한다. 지원사업 수혜 이력은 국방기술진흥연구소의 과제관리 데이터를 참조하고, 사업별 수혜 및 비수혜기업 그룹을 표기한 데이터 셋을 각 1개씩 총 2개 생성한다.

이때 정부지원사업 수혜기업과 비수혜기업 샘플에서 발생되는 데이터의 불균형 문제를 해결하기 위해 데이터 균형화(Data Balancing) 단계로서 오버샘플링 3회씩, 언더샘플링 3회씩을 실시하였다. 그리고 오버샘플링과 언더샘플링을 결합한 하이브리드 방식의 샘플링을 3회씩 실시하여 최종적으로 18개의 데이터셋을 만든다.

각 데이터셋의 변수 데이터 값을 Min-Max 정규화(normalization)로 최소 0, 최대 1로 설정한 후 변수 중요도를 기준으로 후진제거법(Backward Elimination)을 적용하여 변수를 선택(feature selection)하고, 예측모형 개발을 위해 대표적인 머신러닝 알고리즘 5가지를 적용한다. 로지스틱 회귀분석(Logistic regression), 의사결정나무(Decision tree), 베이지안 네트워크(Bayesian network), 인공신경망(Artificial neural network), 최근접이웃(K-nearest neighbor)을 활용하여 총 90개의 수혜기업 예측모형을 만들고 적중률이 가장 높은 샘플링 방법과 알고리즘을 알아본다.

마지막으로 예측모형의 적중률을 개선시키는 방법으로서 앙상블 기법인 배깅과 부스팅을 적용하여, 적중률에 양(+)의 변화가 있는지 살펴본다. 그리고 수혜기업 예측모형 변수를 기반으로 한 방산업체의 정부지원사업 수혜확률 향상 방안을 제언한다.

본 연구에서 제안하는 분석 프로세스는 데이터 전처리(Preprocessing), 데이터 균형화(Data Balancing), 변수 선정(Feature Selection), 머신러닝 알고리즘 적용을 통한 예측모형 구축과 적중률 개선 단계로 구분할 수 있고, <Figure 1>과 같이 도식화하였다.

Figure 1.

Research Process

4.1 데이터 전처리

본 연구에서는 산업통상자원부가 매년 고시하는 ‘방위산업체 지정 목록’의 2022년 말 기준 방산업체 85개사를 연구대상 기업으로 한정하였다. 각 기업이 부품국산화개발 지원사업 및 무기체계 개조개발 지원사업이 시작된 최초시점(2010년, 2015년)부터 2022년 12월 말일까지의 사업참여를 위한 협약서 작성 여부를 기준으로 수혜기업과 비수혜기업 그룹으로 구분하였다. 그리고 ‘방위산업 실태조사’라는 방위산업 분야 종사기업의 경영통계 자료를 결합하여 이종간 데이터를 통합한 지원사업별 데이터셋을 구성했다.

산업통상부와 방위사업청은 ‘방위산업물자 및 방위산업체 지정 규정’에 따라 방산물자를 생산하는 업체를 방산업체로 지정 공개하고 있다. 이 업체들은 방위산업 발전법(방위산업 발전 및 지원에 관한 법률) 제6조에 따라 방위산업 실태조사에서 기업의 인적 자원, 설비투자·기술수준 및 연구개발에 관한 사항, 생산·매출·수출입에 관한 사항을 조사하고 있다. 본 연구에서는 방산업체의 지원사업 수혜여부 값(Yes, No)을 목표변수로 사용하고, 이를 예측하기 위해 관련성이 있는 24개의 조사항목을 후보 독립변수로 사용하였다.

후보 변수는 업체특징과 관계된 ‘회사규모’, ‘무기체계’, ‘방산전담 연구소 보유수’, ‘방산전담 공장 보유수’, R&D와 시설부문 투자와 관계된 ‘방산부문 정부지원 R&D 투자금(천원)’, ‘방산부문 자체 R&D 투자금(천원)’, ‘방산부문 정부지원 설비투자금(천원)’, ‘방산부문 자체 설비투자금(천원)’, 업체 인력과 관계된 ‘종업원수’, ‘연구원수’, ‘생산직수’, ‘해외지사 근무자수’, ‘방산부문 학사 졸업자수’, ‘방산부문 석사 졸업자수’, ‘방산부문 박사 졸업자수’, 업체 경영지표인 ‘방산부문 자산총계(천원)’, ‘방산부문 매출총이익(천원)’, ‘방산부문 당기순이익(천원)’, ‘매출액 대비 당기순이익(천원)’, ‘방산매출액(천원)’, ‘방산부문 수입액(천원)’, ‘방산부문 수출액(천원)’, 비경제적 성과와 관계된 ‘국내 특허/지재권수’, ‘해외 특허/지재권수’ 등이다. 후보 변수들의 데이터 유형은 대부분 수치형 데이터로, 기초통계는 아래 <Table 5>와 같다.

Table 5.

(Tentative) Independent Variables and Basic Statistics

4.2 데이터 균형화

방산업체 85개사 목록 중 방위사업청 산하 공공기관인 국방기술진흥연구소의 ‘부품국산화 개발지원사업’, ‘무기체계 개조개발 지원사업’에 2022년 12월까지 참여한 이력이 있는 수혜기업은 각각 21개사(24.7%), 25개사(29.4%)로 식별하였다. 머신러닝 과정에서 학습데이터를 통해 예측모형을 구축할 때는 목표변수의 클래스 분포가 5:5로 균등하여야 알고리즘 과적합을 피할 수 있다. 그렇지 않으면 학습과정에서 클래스가 많은 비수혜기업 위주로 학습이 이루어지기 때문에 특정 클래스만 우수하게 예측하는 편향된 예측모형 구축으로 이어질 수 있기 때문이다. 목표변수에서 수혜기업(Yes)의 표본 개수가 비수혜기업(No)에 비해 현저히 적기 때문에, 이러한 과적합을 피하기 위해 지원사업별로 데이터 균형화 작업을 수행하였다.

본 연구에서는 데이터 균형화 기법으로 널리 쓰이는 오버샘플링과 언더샘플링, 그리고 널리 쓰이는 방법은 아니지만 오버샘플링과 언더샘플링을 혼합한 방식을 통해 데이터의 균형을 맞추었다. 오버샘플링은 다수인 클래스 샘플의 수에 맞추어 소수인 클래스 샘플의 수를 랜덤으로 증가시키는 방법이고, 언더샘플링은 소수 클래스의 샘플 크기에 맞추어 다수 클래스의 샘플 크기를 줄이는 방법을 의미한다(Mathew et al., 2018). 본 연구에서는 데이터의 클래스가 85개라는 소수인 점을 감안하여 오버샘플링, 언더샘플링, 그리고 이를 혼합하여 클래스 수를 중간값으로 설정한 샘플링 방식을 하이브리드샘플링으로 명명하고 3가지 랜덤샘플링 방법을 연구에 적용해보았다.

랜덤샘플링 과정에서 발생할 수 있는 오류를 줄이기 위해 각 샘플링 방법을 3회 실시하여 총 19개의 데이터셋을 분석을 위해 구성하였다. 오버샘플링된 부품국산화(128개) 및 개조개발(120개), 하이브리드샘플링된 부품국산화(84개) 및 개조개발(84개), 언더샘플링된 부품국산화(42개) 및 개조개발(50개) 데이터셋 19개를 <Table 6>으로 나타내었다.

Table 6.

Data Set after Data Balancing

4.3 변수 선정

정규화 등 전처리 후 선택된 독립변수 중에서 예측모형 구축에 도움을 주지 않는 변수는 분류의 정확성을 낮출 수 있기 때문에 제거한 후에 예측모형을 구축한다.(Dash et al., 1997) 이처럼 전처리 단계에서 독립변수 중 목표변수 분류에 필요없는 변수를 제거하고 중요도가 높은 변수만 선택하는 과정을 변수선택(feature selection)이라고 한다. 본 연구에서는 예측모형 구축시 유의미한 핵심적 변수를 선택하기 위하여 이득비(Gain ratio) 개념을 사용하여 독립변수들의 중요성을 평가하였으며, 아래 식 (1)과 같이 산출방법이 정의된다.

여기서 IG는 정보 이득(information gain)을 의미하며 아래 식 (2)와 같이 계산된다.

T는 학습데이터의 집합을 의미하고, x_a는 변수 a에 대한 샘플 x가 가지는 값이며, vals(a)는 앞의 변수 a가 가질 수 있는 값들의 집합을 의미한다. 위 수식의 변수 a에 대한 정보이득(IG)는 엔트로피 H로 정의되며, H는 다시 아래의 식 (3)과 같이 정의된다. 이때 p_i는 한 집합 내에 클래스 i의 차지 비율을 의미한다.

정보이득(IG)를 분류기준으로 사용할 경우 아이디, 일련번호 변수처럼 다양한 값을 가진 변수일수록 큰 값을 갖게 되기 때문에 중요도가 높은 변수로 선택될 수 있다는 문제가 발생한다. 이득비(gain ratio)는 위의 IG 문제를 개선하기 위해 IG를 내재 가치(intrinsic value)로 나눈 값으로 계산된다. 내재 가치는 분할된 집합의 수와 집합 내에 있는 샘플 수를 반영하여 계산한 엔트로피 값이다.

본 연구에서는 래퍼 방식(wrapper)을 사용하여 변수를 선택하였다. 래퍼 방식은 크게 후진 제거기법과 정방향 탐색 방식으로 구분된다. 역방향 제거기법으로도 불리는 후진 제거기법은 매회 가장 중요도가 낮은 변수를 제거하여 예측모델을 개발하고, 독립변수들의 중요도에 따라 순위를 다시 산정하기 때문에, 이전 단계에서 탈락된 변수의 영향도가 없어진 상태에서 현재 변수들의 중요도를 산정한다. 이와는 반대로, 정방향 탐색 방식은 처음 한 번만 변수들의 중요도 순위를 산정한 후, 이 순위에 따라 중요한 변수부터 하나씩 모형에 추가하면서 모형 성능을 평가하는 방식이다. 일반적으로 정방향 탐색 방식보다 후진 제거방식의 성능이 더 우수한 것으로 알려져 있다(Witten et al., 2005).

따라서 본 연구에서는 후진 제거기법을 사용하여 예측모형을 구성할 가장 이상적인 변수 조합을 찾고자 하며, 이때의 이득비 값이 낮은 변수 순부터 독립변수를 제거하면서 예측모형을 구축한다.

4.4 머신러닝 기반의 예측모형 구축

본 연구에서는 방산육성 정부지원사업의 수혜기업을 예측하기 위해 데이터 마이닝 분석 도구인 웨카(Weka) 버전 3.8.6을 사용하였다. 예측모형을 구축하기 위해 수집한 데이터는 70%의 학습데이터와 30%의 검증데이터로 분할하여 사용하였고, 학습데이터로 예측모형을 학습시킨 후 검증데이터로 기 구축된 예측모형의 예측성능을 평가하였다.

예측모형 구축에는 로지스틱 회귀분석(LR), 의사결정나무(DT), 인공신경망(ANN), 베이지안 네트워크(BN), 최근접이웃(K-NN) 알고리즘 총 5가지를 사용하였다. 각 학습모형의 파라미터는 Weka에 설정된 기본값을 적용하였으며, ANN(Multilayer Perceptron)으로 예를 들면 설정환경은 Epoch 500, Batch Size 100, Learning Rate 0.3, momentum 0.2이다.

전처리 후 정부지원사업별로 선택된 독립변수의 중요도를 계산한 후, 중요도 값이 낮은 순서대로 변수를 하나씩 제거하면서 예측모형의 적중률(hit rate)을 살펴보았다. 적중률은 예측한 전체 클래스 중에서 정확히 예측한 클래스 수의 비율, 정확도(total accuracy)를 의미한다.

본 연구는 여기서 더 나아가 하이브리드샘플링을 적용한 데이터셋4, 데이터셋5, 데이터셋6 중에서 방산육성 정부지원사업별 적중률이 가장 높았던 예측모형 각 1개, 총 2개에 앙상블 기법을 적용하여 예측성능을 향상시키는 연구를 진행하였다. 앙상블 기법에는 배깅(bagging), 부스팅(boosting), 랜덤포레스트(Random Forest) 등이 있다. 배깅의 샘플링은 복원 추출 방식으로 복원 추출 집단을 여러 개 만들어 결합하여 알고리즘 성능을 향상시키는 기법이고, 부스팅은 데이터를 여러 군으로 나어 중복 선택이 가능하도록 하지 않고, 학습 데이터의 예측모형에 대한 중요도를 이용하여 선택 혹은 제거의 방법으로 데이터 군을 구성하고 요소 예측모형을 학습하여 조합하는 방법이다.

4.5 샘플링 방법별 예측모형 성능 결과

18개의 데이터셋을 대상으로 5가지 알고리즘을 적용하여 구축한 예측모델 90가지의 적중률은 각각 상이하였으며, 각각의 데이터셋 알고리즘마다 가장 높은 적중률을 아래 <Table 7>과 같이 정리하였다.

Table 7.

Data Set and Total Accuracy

예측모델 90가지의 최고적중률 평균은 76.18%로 도출되었다. 랜덤샘플링 방법을 기준으로 구분하여 보면, 오버샘플링 데이터셋 ①~⑥ 평균 77.63%과 언더샘플링 데이터셋 ⑬~⑱ 평균 70.24%보다 하이브리드샘플링 데이터셋 ⑦~⑫의 평균이 80.67%로 가장 높은 적중률을 나타냈다. 샘플링 전처리 방법에 따라 최대 10.43%의 개선 효과가 나타났다. 알고리즘별 적중률 평균은 로지스틱 회귀분석(LR), 의사결정나무(DT), 인공신경망(ANN), 베이지안 네트워크(BN), 최근접이웃(K-NN) 알고리즘 중에서 최근접이웃(K-NN) 알고리즘을 활용한 예측모형의 평균 적중률이 부품국산화개발 지원사업과 무기체계 개조개발 지원사업 모두 높은 것으로 나타났다. 이 결과를 통해 클래스 수가 적은 데이터셋의 예측모형 구축 시, 데이터 불균형 문제를 해결하기 위해 흔히 쓰이는 오버샘플링, 언더샘플링보다 더 나은 랜덤샘플링 방법이 있는 것으로 판단하였다.

하이브리드샘플링을 적용한 데이터셋 ⑦~⑫ 중에서 지원사업별 모든 알고리즘에서 비교적 높은 적중률을 보인 데이터셋 ⑨와 ⑩의 후진제거법 기반의 변수 수별 적중률을 아래 <Figure 2>와 <Figure 3>에 나타내었다. x축은 후진제거 기법을 통해 변수 중요도가 낮은 순부터 하나씩 제거되어 예측모형을 구성한 변수의 수가 줄어드는 것을 의미하며, y축은 해당 변수로 만든 예측모형의 적중률을 나타낸다.

Figure 2.

Data Set ⑨ Total Accuracy

Figure 3.

Data Set ⑩ Total Accuracy

부품국산화개발 지원사업 수혜기업 예측을 위한 하이브리드 샘플링 데이터셋 ⑨의 알고리즘별 적중률은 변수의 수와 관계없이 처음부터 끝까지 최근접이웃(K-NN) 알고리즘의 적중률이 70% 이상을 유지하며 가장 높았다. 반면 무기체계 개조개발 지원사업 수혜기업 예측을 위한 하이브리드 샘플링 데이터셋 ⑩의 경우에는 최고 적중률인 96%를 기록한 알고리즘이 최근접이웃(K-NN) 알고리즘이기는 하지만, 구성하는 변수의 수에 따라 최근접이웃(K-NN) 또는 의사결정나무(DT)가 번갈아가며 80% 이상의 높은 적중률을 보였다. 이로써 방위산업육성 지원사업인 부품국산화개발 지원사업과 무기체계 개조개발 지원사업의 수혜기업을 가장 잘 예측하는 머신러닝 알고리즘은 로지스틱 회귀분석(LR), 의사결정나무(DT), 인공신경망(ANN), 베이지안 네트워크(BN), 최근접이웃(K-NN) 알고리즘 중 최근접이웃(K-NN) 알고리즘인 것으로 판단된다.

위의 <Table 8>은 각 사업별 대표 데이터셋의 예측모형을 구성하는 변수와 변수별 가중치를 비교한 표이다. 부품국산화개발 지원사업의 경우 최고의 예측모형을 구성하는 변수는 ‘연구원수’, ‘학사졸업자 수’, ‘정부지원 R&D 투자금’, ‘생산직 수’, ‘석사졸업자 수’, ‘박사졸업자수’, ‘업체규모’, ‘방산전담 연구소 수’였다. 반면 무기체계 개조개발 지원사업의 경우 최고의 예측모형을 구성하는 변수는 ‘업체 자체 R&D투자금’, ‘방산부문 자산총계’, ‘국내 지식재산권/특허 수’, ‘업체 자체 시설투자금’으로 차이가 있었다.

Table 8.

Attribute Selection Output

4.6 앙상블 기법을 적용한 예측모형 성능 개선

추가적으로 배깅, 부스팅 등을 포함하는 앙상블 기법을 적용하여 예측모형의 적중률을 향상시키기 위해 하이브리드샘플링 예측모형의 성능이 90%에 미치지 못하는 데이터셋 ⑦과 ⑧을 앙상블 기법을 적용할 데이터셋으로 선정하였다. 그 이유는 인스턴스 수가 84개인 소수의 하이브리드 샘플링 데이터셋에서 이미 90% 이상의 적중률을 보이는 예측모형은, 검증데이터(30%)의 90% 이상을 예측에 성공했다는 뜻이기 때문이다. 이는 수혜기업과 비수혜기업 여부를 데이터셋에서 1~2개를 제외하곤 다 맞췄다는 의미이기 때문에 그 이상의 적중률을 기대하며 성능 개선을 시도하기에는 데이터셋의 규모가 충분하지 않다. 따라서 하이브리드샘플링 데이터셋 중 예측성능이 비교적 낮은 부품국산화개발지원사업의 데이터셋⑦, ⑧에 앙상블 기법을 적용하여 적중률이 향상되는지 살펴보았다.

배깅은 복원 추출 방식을 사용하며, 여러 개의 복원 추출 그룹을 만들고, 이들 그룹을 결합하여 알고리즘 성능을 향상시킨다. 데이터가 N개인 데이터셋에 N의 값보다 작은 랜덤 그룹을 중복 가능한 상태로 추출하여 만든 학습데이터를 사용한다. 여러 학습 데이터셋으로 구축된 여러 기본 예측모형을 결합한 후 다중 기본 예측모형들의 다수결 원칙으로 최종 모형을 결정한다. 다시 말하자면, 여러 예측모형의 조합으로 전체 예측모형의 효과를 평준화 시켜 일정 수준 이상의 예측성능 모형을 설계하는 것이다. 그러나 배깅은 기본 예측모형의 가중치를 고려하지 않고 다수결을 이용해 결정한다는 점 탓에 한계가 있다. 일례로 정확도가 높은 1개와 정확도가 낮은 2개의 기본 예측모형 조합이 다수결 전략 탓에 새로운 샘플을 예측한다면, 부정확한 예측 결과가 나올 것이다.

한편 부스팅은 데이터를 여러 그룹으로 나누지 않고, 학습 데이터에서 예측모형의 중요도를 이용하여 변수선택 혹은 제거의 방법으로 데이터 군을 구성하고 요소 예측모형을 학습 및 조합하는 방식이다. 그 중 아다부스트(Adaptive Boosting) 알고리즘은 Freund et al.(1997)이 고안하였으며, 부스팅 사용자가 원하는 성능이 나올 때까지 예측모형을 추가해도 과적합 문제가 적다는 장점이 있다.

아래 <Table 9>는 각 데이터셋에 배깅과 부스팅을 적용하기 전과 후의 적중률을 비교한 표이다. 각각의 앙상블 기법에서 최근접이웃(K-NN) 단일 알고리즘을 적용할 때와 동일하게 학습데이터와 검증데이터의 비율을 70:30으로 하였고, 예측모형을 구성하는 변수의 수도 동일하게 설정하였다. 그 결과, 데이터셋⑦의 경우에는 배깅을 적용했을 때 적중률이 4.0% 상승하였고, 데이터셋⑧의 경우에는 배깅과 부스팅을 적용했을 때 적중률의 상승이 없었다. 이로써 앙상블 기법 적용을 통해 방산육성 지원사업 수혜기업 예측모형의 성능을 일부 향상시킬 수 있다고 판단하였다.

Table 9.

Total accuracy after applying Ensemble

지금까지의 연구 결과를 종합하면 다음과 같다. 방산업체의 방위산업육성 지원사업의 수혜기업 여부를 예측하는 방법으로 방위산업 실태조사의 기업 경영정보 변수가 활용될 수 있음을 알 수 있다. 방산업체를 운영하는 기업 경영자들은 정부의 방산육성 지원정책의 수혜기업이 되기 위해서 지원사업 유형별로 수혜기업을 결정하는 요인이 서로 상이하다는 것을 인식하고, 기업별 자사의 역량 중 부족한 분야를 선제적으로 찾아 개선하는 활동을 통해 수혜기업이 될 확률을 높일 수 있다. 정부의 정책입안자 입장에서는 그간의 방산육성 지원사업 예산이 방위산업을 구성하는 업체 모두에게 고르게 분배되었는지, 특정 경영상태를 띄는 기업을 집중적으로 지원하였는지를 파악할 수 있다. 한편 데이터 분석의 관점에서는 수혜기업 예측모형의 성능 향상을 추구하기 위해 데이터셋의 클래스 균형화와 변수 선택과 같은 전처리 기법과 더불어 추가적으로 앙상블 기법을 적용해볼 수 있다.

4.7 방산육성지원 수혜확률 향상 방안

부품국산화개발 지원사업과 무기체계 개조개발 지원사업의 수혜기업 예측모형 중, 적중률이 가장 우수했던 모형을 구성하는 변수에는 사업별 약간의 차이가 있었다. 먼저 두 사업 예측모형에 공통적으로 사용된 변수는 일정 수준 이상의 ‘방산부문 자체 R&D 투자금’과 일정수준 이상의 ‘방산전담 연구소 수’, ‘연구원수’, ‘학/석/박사 직원수’이다. 이는 방위산업분야 정부지원사업에 선정되기 위해서는 기본적으로 기업의 연구전문 종사인력 규모와 연구시설 유무가 중요한 고려 요소임을 알 수 있다.

이를 바탕으로 기업이 할 수 있는 방산육성지원 수혜확률을 높이는 방안은 첫째, 업체자체 R&D 투자금이 높은 기업이 정부 지원사업 수혜기업이 될 확률이 높으므로 R&D에 투자하려는 자체적인 노력을 확대할 필요가 있다. 기업의 자발적 R&D 투자는 장기적으로 기업의 사업모델을 R&D에 집중하게 하고, 이는 기업의 연구인력을 질적·양적으로 향상시키는 노력과 같은 맥락으로 기업의 혁신역량을 높이는 방법이다. 둘째, 기업은 연구인력을 확대하고 가능하다면 R&D 인력 보유나 R&D 부서 운영을 넘어서서 방산 R&D 전담 연구소 규모로 확대 운영하는 것이 수혜기업이 될 확률을 높일 수 있다. 이는 업체자체 R&D 투자금을 확대하는 것과 마찬가지로 정부 지원사업 수혜기업의 공통적인 특징이자, 대상 기업에 개발비 지원의 필요성과 당위성을 뒷받침해줄 수 있는 필수적 수혜 요건이 될 수 있다. 종합하자면 기업의 비즈니스 모델의 일환으로 R&D 활동을 장려하는 것이 수혜기업이 될 확률을 높이고, 또 고용시장에서 R&D 사업을 왕성하게 하는 우량기업이라는 긍정적인 평가가 고기술·고숙련 연구개발인력의 채용을 수월하게 만드는 선순환 구조의 시작점이다. 기업은 지속 가능한 성장을 위해서 연구장려 전략과 R&D 및 시설투자, 고급인력 확충을 선제적으로 준비하여 정부지원사업의 수혜확률을 높일 수 있다.

한편 지원사업별 수혜 예측모형에서 차별성을 갖는 변수는 부품국산화개발 지원사업의 경우 ‘업체규모’, ‘생산직 수’ 변수이다. 부품국산화개발 지원사업은 무기체계의 안정적 운용을 보장하기 위해 국외도입 부품을 국내 기업의 기술과 인력을 이용하여 개발 및 생산해야 하기 때문에 ‘생산직 수’와 ‘업체규모’가 일정수준 이상에 도달한 업체여야 한다. 즉, 부품국산화개발 지원사업에 선정되길 희망하는 기업일 경우, R&D 인력과 R&D 자체투자를 확대할 뿐만 아니라 ‘생산직 수’와 ‘업체규모’ 또한 일정수준 이상으로 높여서 기업의 기술과 인력를 이용하여 국외도입 부품을 국산으로 개발 생산할 수 있음을 어필할 필요가 있다.

무기체계 개조개발 지원사업의 경우 차별성을 갖는 변수는 ‘방산부문 자산총계’, ‘국내 지식재산권/특허 수’, ‘업체 자체 시설투자금’이다. 무기체계 개조개발 지원사업에 선정되길 희망하는 기업일 경우, R&D 인력과 R&D 자체투자를 확대할 뿐만 아니라 업체의 ‘자산총계’가 어느 정도 규모에 있는 안정적 기업이며, ‘자체 시설투자’가 활발하고, IRP 관리가 잘 되고 있음을 어필하여야 한다. 즉, 해외 구매국이 요구하는 사양에 따라 기업의 자체 설비를 이용하여 개조개발을 할 수 있음을 증명하는 방법으로 개조개발 지원사업의 선정 확률을 높일 수 있다.