Journal Archive

Journal of the Korean Institute of Industrial Engineers - Vol. 47 , No. 6

[ Article ]
Journal of the Korean Institute of Industrial Engineers - Vol. 47, No. 6, pp. 490-503
Abbreviation: JKIIE
ISSN: 1225-0988 (Print) 2234-6457 (Online)
Print publication date 15 Dec 2021
Received 04 Sep 2021 Revised 30 Oct 2021 Accepted 11 Nov 2021
DOI: https://doi.org/10.7232/JKIIE.2021.47.6.490

정형적 개념 분석을 이용한 정부출연 연구소 기관평가 분석
구훈영1 ; 이희정2, ; 이근철3
1충남대학교 경영학부
2한양대학교 산업융합학부
3건국대학교 경영대학

R&D Performance Analysis of Government-Funded Research Institutes Using Formal Concept Analysis
Hoon-Young Koo1 ; Heejung Lee2, ; Geun-Cheol Lee3
1School of Business, Chungnam National University
2School of Interdisciplinary Industrial Studies, Hanyang University
3College of Business Administration, Konkuk University
Correspondence to : 이희정 부교수, 04763 서울특별시 성동구 왕십리로 222 한양대학교 산업융합학부, Tel : 02-2220-2364, Fax : 02-2220-2347, E-mail : stdream@hanyang.ac.kr


© 2021 KIIE
Funding Information ▼

Abstract

With the constant growth of R&D investment by government-funded research institutes, it has been increasingly necessary to evaluate the effectiveness of R&D performance. There are many approaches that have focused on R&D performance evaluation. Literature is unclear, however, how stakeholders can exploit performance results to improve their R&D capability. In this study, based on the intellectual capital possessed by research institutes, we proposed a new method to search improvement directions in R&D operation levels. To this end, formal concept analysis, which recognizes a research institution as an object, defining the intellectual capital as an attribute, was conducted. The proposed method conceptually clusters the relationship between objects and attributes and examines their hierarchical relationships. The case study shows the proposed method not only provides guidelines for improvement paths for individual research institutes but also identifies the components of intellectual capital that are meaningful in common.


Keywords: Formal Concept Analysis, R&D Performance Management, Intellectual Capital

1. 서 론

정부출연 연구기관을 통한 연구개발 집행액은 국가연구개발사업 통계에 따르면 2019년 기준 정부 R&D 예산의 40%로 연간 8조원에 이를 정도로 공공 연구개발의 중추적인 역할을 담당하고 있다. 연구개발의 우수성과 전문성 등에 대한 검증을 위해 연구기관 단위로 평가(정부출연 연구기관의 기관평가, 이하 기관평가)가 이루어지고 있으며 그 결과가 공개되고 있다. 기관평가는 국가과학기술연구회 소속 연구기관과 부처 소속 연구기관 46개 기관별로 3년을 주기로 진행되며 평가결과는 예산 편성, 성과연봉, 포상 등에 반영되고 있다.

기관평가의 효과와 수용성 개선을 위한 다양한 접근들이 이루어지고 있으나 여전히 기관평가에 대한 다양한 문제점이 지적되고 있다(Ha et al., 2020; Jung, 2018; Kim et al., 2015; Koo, 2020; Lee et al., 2020). 첫째로, 제도적 개선을 위한 다각적 노력이 빈번한 평가체계 및 평가지표의 변경으로 나타남으로써 연구기관의 혼란과 본질적 기능인 연구 활동에 제약을 가하고 있다(Jung, 2018; Lee et al., 2020). 또한 평가단의 정성적 평가 수준이 과다하고 연구기관의 규모나 투입 수준에 대한 고려가 미흡하다는 비판으로 불공정하고 형식적인 평가라는 회의적 시각도 존재한다(Kim et al., 2014; Lee et al., 2020). 이는 기관평가가 종합적인 평가라는 점에서 개별 연구기관의 특성을 제대로 반영하지 못하고 있고, 피평가 기관의 수용성에도 부정적인 영향을 줄 수 있으며, 평가체계의 타당성과 일관성에 한계가 있다는 비판으로 이어지고 있다(Ha et al., 2020). 기관평가의 수용성과 효과성은 중요한 분석대상이나 인지적 관점에서의 개인 수준의 연구가 주를 이루고 있어 기관 단위의 연구나 분석에 대한 필요성도 요구된다(Koo, 2020; Lee et al., 2020).

이러한 문제점의 개선을 위해 제도 측면의 메타평가와 실증적 효율성 분석이 주로 수행되어 왔다(Choi, 2018; Hwang et al., 2005; Hwang et al., 2018; Jung, 2018; Kim, 2011; Kim et al., 2014; Lee, 2016; Min, 2008; Um et al., 2019). 기관평가에 대한 메타평가는 평가체계에 대한 분석과 개선에 초점을 두었고, 연구기관의 효율성 분석은 논문과 특허 등의 과학적 성과와 기술이전과 같은 재무적 성과에 초점이 맞춰져 있다.

그러나, 기관평가의 이해관계자 입장에서는 제도적 개선이나 기관의 효율성은 기관평가의 실질적 대응을 위한 분석으로서는 한계가 있다. 특히, 기관평가의 피평가자로서는 실제 평가결과(평가등급과 종합점수)가 어떤 영향요인에 의해 결정되는 지와 평가결과 개선을 위해 어떠한 노력을 기울여야 하는지가 더욱 관심있는 부분이다.

본 연구에서는 이러한 기관평가 이해관계자 입장에서 기관평가 결과를 분석하고 활용할 수 있는 방법론을 제안하고자 한다. 이를 위해 연구개발의 무형적 특성을 반영하여 지적자본 이론 관점에서 기관평가의 영향요인을 산정하고 정형적 개념분석(Formal Concept Analysis, FCA)을 적용한 새로운 방법론을 제시하고자 한다. 즉, 기관 간의 상이한 상황을 고려하면서도 기관이 보유한 지적자본 수준에 따라 기관별로 개선방향을 탐색하고, 동시에 기관평가 결과들의 통합적 고찰을 통해 평가결과에 영향을 미치는 공통적인 지적자본 구성요소를 파악하고자 한다.


2. 이론적 배경과 선행 연구
2.1 기관 평가

정부출연 연구기관은 장기적인 투자와 실패 위험에 따라 민간에서 추진하기 어려운 공공의 연구개발 추진을 위해 관련 법(과학기술분야 정부출연연구기관 등의 설립ㆍ운영 및 육성에 관한 법률)을 통해 설립 및 운영되고 있다. 기관평가는 기관의 임무와 목표의 전략성, 연구의 전문성과 우수성, 운영 효율성을 평가하는 것으로 관련 법령(과학기술기본법 시행령 제48조 등)에 규정되어 있다.

정부출연 연구기관을 비롯한 공공기관의 평가에 관련된 연구는 주로 제도 개선 관점에서 이루어졌으며 메타평가의 방식으로 수행되어 왔다(Choi, 2018; Hwang et al., 2005; Kim, 2011; Min, 2008; Oh, 2011). 메타평가는 평가시스템에 대한 종합적 분석을 통해 환류를 강화하고 평가 결과의 활용성을 높이고자 하는 것으로 “평가에 대한 평가”로 정의할 수 있다(Kim, 2011). Hwang et al.(2005)은 기초기술연구회의 소속기관평가에 대해 평가기획, 평가수행, 평가결과 활용의 세 가지 측면으로 구분하여 메타평가를 실시하였다. 평가결과 활용에 있어 평가등급의 절대평가와 후속 조치에 대한 관리 강화 등을 제안하였다. Min(2008)은 기관평가의 메타평가를 위해 평가기획, 평가자원, 평가수행, 평가결과 및 활용 측면에서 분석하고 일관성 있는 평가기획, 평가지표와 평가등급의 절대평가 전환, 피평가기관의 피드백 반영 등을 제안하였다. Kim(2011)은 경제인문사회연구회 소속기관에 대한 메타평가 모형 개발을 위해 논리모형을 적용하여 평가환경, 평가투입, 평가수행, 평가활용의 4개 평가영역과 세부 평가항목 및 평가지표를 제안하였다. Choi(2018)은 출연연 성과에 대한 문제점이 기관평가제도의 변동양상에 있다고 전제하고 이를 분석하기 위해 메타평가를 적용하여 평가기조, 평가체계, 평가과정, 평가활용의 평가영역을 도출하였다. 특히, 기관평가에 있어 경영부문의 성과가 강조되면서 사업화 조직 강화, 노사 갈등 심화 등으로 인한 인력 및 자원 효율화가 저해되었다고 주장하였다. 또한 동일한 평가체계와 기준으로 각 기관별 대응조직도 유사하게 발달하게 되어 본연의 차별화된 기관특성을 유지하기 어려워지고 있다고 평가하였다.

이상의 메타평가 연구는 정성적 논리 분석을 통해 평가제도의 개선안을 제안하는 것에 초점이 맞춰져 있으므로 피평가기관의 개별적 상황을 반영하고 대안을 제안하는 데는 한계가 있다.

정부출연 연구기관 평가를 위한 또 다른 분석으로 효율성 분석(DEA: Data Envelope Analysis)이 수행되었다. 효율성 분석은 선형계획법을 근간으로 투입 요소와 산출 요소의 상대적 효율성을 분석하는 방법이다(Lee et al., 2012). 이는 통계적 전제조건을 요구하지 않으며 2개 이상의 산출 요소에도 적용이 가능한 유연한 방법론이다. 이러한 유연성으로 다양한 방면에서 활용되고 있으며 정부출연 연구기관의 성과 평가 등 연구개발 관련 효율성 평가에서도 활발히 적용되고 있다(Hwang et al., 2018; Jung, 2018; Kim et al., 2014; Lee et al., 2015; Lee et al., 2016; Liu et al., 2010; Um et al., 2019). Lee et al.(2016)은 기초기술연구회 소속 연구기관 10곳을 대상으로 효율성 분석을 수행하였다. 동적인 효율성 분석을 병행하여 시간에 따라 평균적인 효율성이 증가하는 경향을 확인하였다. 다만, 방법론적 한계와 연구기관별 특성을 고려하지 못한 한계로 다른 방법론과 상호보완적 활용을 제안하였다. Lee et al.(2015)은 연구개발 측면과 기술사업화 측면에서 국가과학기술연구회 산하 20개 연구기관의 효율성 평가를 분석하였다. 연구 결과 기술사업화 측면의 평균 효율성이 연구개발 효율성 보다 낮아 양적인 성장에 초점이 맞춰져 있는 추격형 연구개발 단계라고 주장하였다. Kim et al.(2014)은 경제인문사회분야 23개 연구기관을 대상으로 다양한 효율성 분석 모형을 적용하였다. 평균효율성 편차가 최소인 변수를 제거하는 후방접근법을 활용하여 투입 및 산출 변수를 선정하고 분석한 결과 과제 수행 건수가 효율성에 중요한 요인으로 나타났다. Um et al.(2019)은 33개 정부출연 연구기관을 대상으로 정부수탁과제와 출연금과제를 구분하여 효율성 분석을 수행하였다. 연구결과 정부수탁과제와 출연금과제의 평균효율성은 유의한 차이가 없으며 효율성에는 총 연구비 중 정부연구개발비 비중이 유의한 양의 영향을 갖는 것을 확인하였다. Hwang et al.(2018)은 특정 정부출연 연구기관의 부서를 대상으로 효율성 분석을 수행하여 적용가능성을 탐색하였다. 다만, 자료의 가중치 등에 대한 고려 부재 등으로 분석의 실효성에 한계가 있어 추후 적용 시 고려할 사항으로 언급하고 있다.

이상의 효율성 분석은 다소 차이는 있으나 대부분 투입 변수로 연구인력과 연구비를 사용하고 산출 변수로 논문, 특허, 기술이전을 적용하여 분석하고 있다. 일부 연구에서도 밝히고 있듯이 이러한 변수와 분석결과는 연구기관의 성과에 대한 분석이기는 하지만, 기관평가에 비해 부분적 평가로 실제 기관평가와 비교에는 무리가 있다(Hwang et al., 2018; Kim et al., 2014). 또한, 기관의 규모(예산과 인력)가 기관평가 결과와 상관성이 높다는 연구 결과(Kim et al., 2010)와 연구기관의 특성을 고려하지 못하는 평가 방식이라는 비판(Ha et al., 2020)은 기관평가에 대한 영향 요인을 분석함과 동시에 유사한 기관에 대한 고려가 필요함을 보여주고 있다.

이외에도 균형성과표(BSC, Balanced Score Card)를 이용한 기관 간 비교(Banwet, 2006)와 회귀분석 및 경로분석을 적용한 기관 성과 영향요인 분석(Jung et al., 2013)등에 대한 연구도 진행되어 왔다. 공공 연구기관에 대한 평가의 중요성에 비례하여 다양한 연구들이 시도되고 있으나, 체계적인 이론 정립이나 방법론에 대한 수렴은 아직 미흡한 상황으로 각 국가별 또는 산업별로 일반화의 한계와 정보 수집의 한계가 여전히 남아있다고 볼 수 있다.

2.2 지적 자본 이론

지적 자본(intellectual capital)이라는 용어는 1969년 John Kenneth Galbraith에 의해 처음 사용되었다(Edvinsson et al., 1996). 그 당시의 관점은 지적 자본이 지적 행동(intellectual action)의 수준으로 활용되어 자본의 동적인 특징을 강조하여 사용되었다.

지적 자본 연구는 1990년대 초부터 다양하게 정의되고 활용되고 있으나 일반적으로 조직의 성과, 가치 또는 이윤 창출에 도움이 되는 무형 자산의 합으로 정의할 수 있다(Ahn, 2019; Choong, 2008; Edvinsson et al., 1996; Hall, 1992; Lev, 2001). Hall(1992)은 무형 자산(intangible assets)은 생산 자원을 부가가치 자산으로 변환시키는 동인이라고 주장하며 지적 재산(intellectual property)과 지식 자산(knowledge assets)으로 구분하였다. Edvinsson et al.(1996)은 지적 자본은 가치를 생산할 수 있는 지식으로 정의하여 무형 자산이나 지적 재산과 구분하였다. Lev(2001)는 지적 자본 또한 무형의 것이므로 다른 유무형 자산과 독립적으로 가치를 제공할 수 없다고 주장하며, 지적 자본 또한 지적 자원, 인력, 자본, 조직 자원 등을 활용한 네트워크 효과의 결과라 하였다(Choong, 2008). 또한 무형 자산은 회계적 용어, 지적 재산은 경제 분야, 지적 자본은 경영 및 법률 분야에서 사용되는 유사한 용어라고 주장하였다(Ahn, 2019). 이상의 지적 자본 이론은 무형의 것으로부터 발생되는 가치에 대한 것으로 특히 지식 창조 활동이 중심인 연구기관의 성과 평가 및 분석에 적합하다 할 수 있다(Ahn, 2019; Choong, 2008; Chu et al., 2006; Lee, 2005; Sullivan, 2000).

지적자본은 연구자에 따라 다양하게 분류되고 있으나 일반적으로 인적 자본(human capital), 구조 자본(structural capital), 관계 자본(relational capital) 3가지로 구분할 수 있다(Ahn, 2019; Boldt-Christmas et al., 2007; Choong, 2008; Chu et al., 2006; Edvinsson et al., 1996; Lee, 2006; Molodchik et al., 2014; Sveiby, 1997). 인적 자본은 인적 자원이 보유한 지식이나 기술 능력을 뜻하는 것으로 노동력 제공 관점이 중심인 인적 자원과는 구별된다(Kim, 2020). 구조 자본은 조직 및 구성원의 생산성이나 가치에 관련된 조직의 업무 프로세스, 지식 관리 등을 포함한다(Ahn, 2019; Kim, 2020; Molodchik et al., 2014). 구조 자본은 조직적 역량으로 개인이 퇴근 또는 퇴직해도 남아있는 역량으로 해석할 수 있다(Molodchik et al., 2014). 관계 자본은 고객과 같은 파트너와의 관계에서 나타나는 파트너의 충성도와 평판 등에 해당한다(Kim, 2020; Lee, 2005; Molodchik et al., 2014). 지적 자본 측정을 위해서는 무형 자산 모니터(Sveiby, 1997) 등의 측정모델을 사용할 수 있으나, 설문 기반의 측정 모형에서 나타나는 응답 편이에 의한 오류가 보고되고 있다(Molodchik et al., 2014). 이에 대한 대안으로 측정 신뢰도가 높은 지표들이 개발되었는데 인적 자본은 직원수와 인건비, 구조 자본은 연구개발비, 특허수, 업력(사업나이), 관계자본은 홍보비, 인터넷 검색지표 등이 주로 활용되는 지표들이다(Molodchik et al., 2014). 인적 자본은 인적 자원 역량과 관리 역량으로 구분할 수 있으며, 인적 자원 역량은 직원수(Sveiby, 1997) 등으로 측정할 수 있고 관리 역량은 인당 인건비(Rompho et al.,, 2012) 등으로 측정할 수 있다(Molodchik et al., 2014). 직원수는 조직 규모를 가늠하는 지표임과 동시에 인적 자본의 형태를 묘사하는 대체 지표이다(Sveiby, 1997). 인당 인건비는 구성원들의 가치 창출을 위한 동기 부여 비용으로, 구성원들이 조직에 가져다 주는 가치를 반영하는 대체 지표이다(Rompho et al., 2012).

구조 자본은 혁신 역량과 내부 프로세스 역량으로 구분할 수 있으며, 혁신 역량의 대체 지표로는 연구개발비를 사용할 수 있고, 내부 프로세스 역량은 업력, 지식 관리 시스템 수준 등으로 측정할 수 있다(Molodchik et al., 2014). 직접개발 비용과 위탁개발 비용을 포함한 연구개발비는 혁신 역량에 대한 확보 수준으로 평가할 수 있다(Coombs et al., 2006). 내부 프로세스 역량의 경우 관련 정보 시스템 구축 여부 등으로 평가할 수 있으나 조직에 축적된 내부 프로세스 역량을 전반적으로 반영할 수 있는 업력을 대체 지표로 사용할 수 있다(Garvin et al., 2008; Edvinsson et al., 1997).

관계 자본은 네트워킹 역량과 고객 충성도 및 평판으로 구분할 수 있으며, 네트워킹 역량은 고객과 얼마나 근접한 네트워크를 형성하는지를 나타내는데, 중요한 관계 자본이지만 측정이 매우 어려운 한계가 있다(Molodchik et al., 2014). 고객 충성도 및 평판 측면의 대체 지표로는 브랜드 지수, 홍보 비용 등을 활용할 수 있다(Requena-Silvente et al., 2007).

지적 자본 이론을 적용한 공공 연구기관 평가와 관련된 연구는 주로 제도 및 평가지표 설계를 위해 수행되었다(Boldt-Christmas et al., 2007; Chu et al., 2006; Lee, 2005, 2006). Chu(2006)는 특정 출연연구기관에 대한 분석에서 지적 자본 이론을 적용하여 공공 연구기관을 평가하는 것의 필요성과 가이드라인을 제시하였다. 인적 자본 지표로는 직원 수, 연구원 수 등을, 구조 자본 지표로는 사업 수, 예산 등을, 관계 자본 지표로는 세미나 개최 수, 공동연구 수 등을 제시하였다(Chu et al., 2006). Chu et al.(2006)의 연구는 개념적 틀을 제시하는데 그치고 있다는 한계가 있다. 더 나아가 Lee(2006)는 구체적인 평가지표를 설계하여 특정 연구기관에 대해 실증 분석하였다. 다만 기관평가 관점이 아니라 연구성과에 대한 평가를 위한 방법을 제안한 것으로 기존의 기관평가를 개선하는 연구로 보기에는 무리가 있다.

이상의 선행연구는 지적 자본 관점을 공공 연구기관에 적용한 것이지만 개념적 틀과 평가지표에 대한 제안에 초점이 맞춰져 있어 현행 기관평가의 분석이나 개선을 위한 활용에는 미흡하다고 볼 수 있다.

2.3 정형적 개념 분석

정형적 개념 분석(Formal Concept Analysis)은 문제 대상의 아이템들을 객체들로 정의하고, 객체들이 갖는 공통된 속성들을 바탕으로 유사한 객체들을 개념화하고, 격자이론과 순서이론을 통해 개념들의 관계를 계층적으로 표현하는 데이터 분석 방법이다(Seo et al., 2020; Wille, 1982). 본 절에서는 정형적 개념 분석의 기본 개념과 용어를 살펴보고자 한다.

  • 정의 1. (정형적 문맥, formal context) 정형적 문맥은 객체집합(G), 속성집합(M), 및 객체와 속성관 관계 집합(R)로 구성된 순서쌍 (G, M, R)이다.
  • 정의 2. (정형적 개념, formal concept) 정형적 문맥(G, M, R)이 주어질 때, A ⊆ G, B ⊆ M인 객체 부분집합 A 및 속성 부분집합 B에 대해, 다음과 같은 연산자 (‘)를 고려하자. A’ = {m ∈ M | (g, m) ∈ R for all g ∈ A}, B’ = {g ∈ A | (g, m) ∈ R for all m ∈ B}. 즉, A에 속한 모든 객체들이 공통적으로 갖는 속성 집합은 A’이며, B에 속한 모든 속성들을 공통적으로 갖는 객체 집합은 B’ 이다. 이때 정형적 개념은 A’ = B 및 A = B’를 만족하는 순서쌍 (A, B)이며, 그 역도 성립한다. 또한 정형적 개념 (A, B)에 대해 A와 B를 각각 정형적 개념의 외연(extent) 및 내포(intent)라고 한다.
  • 정의 3. (상위 개념, 하위 개념) 정형적 문맥(G, M, R)에 대해 두 개의 정형적 개념 (A1, B1) 및 (A2, B2)이 주어질 때, A1 ⊆ A2(또는 B2 ⊆ B1)을 만족하면 (A1, B1)은 (A2, B2)의 하위 개념, (A2, B2)는 (A1, B1)의 상위 개념이라고 하며, (A1, B1) ≤ (A2, B2)로 표시한다.
  • 정의 4. (개념격자, concept lattice) 정형적 문맥 (G, M, R)에 대한 모든 정형적 개념의 집합을 L(A, B, R)이라고 할 때, L(A, B, R)의 원소인 정형적 개념들 간의 상위 및 하위 관계를 계층적으로 표현한 다이어그램을 개념격자라고 하며, (L(A, B, R); ≤)로 표시한다.

예를 들어 객체집합 G = {g1, g2, g3, g4, g5, g6}, 속성집합 M = {m1, m2, m3} 및 관계집합 R = {(g1, m2), (g1, m3), (g2, m1), …, (g6, m2)}로 이루어진 정형적 문맥(G, M, R)은 <Table 1>과 같이 간단한 표 형식으로 표현이 가능하다. A = {g4, g6}, B = {m1, m2}라고 하면 A’ = B 및 A = B’를 만족하므로 순서쌍 (A, B)는 정형적 개념이다. 또한 두 개의 정형적 개념 (A1, B1) = ({g4, g6}, {m1, m2}) 및 (A2, B2) = ({g2, g4, g6}, {m1})에 대해, {g4, g6} ⊆ {g2, g4, g5} 또는 {m1} ⊆ {m1, m2} 이므로 (A1, B1) ≤ (A2, B2)이다. 한편, <Table 1>과 같은 정형적 문맥이 주어질 때 총 8개의 정형적 개념 C0, C1, …, C7을 모두 찾을 수 있으며, 그들의 상위 및 하위 개념을 계층적으로 표현하면 <Figure 1>과 같은 개념격자를 얻을 수 있다. 또한 개념격자에는 모든 속성집합이 내포로 정의되는 바닥(bottom) 개념 C0과 모든 객체집합이 외연으로 정의되는 정상(top) 개념 C7과 같은 특수한 개념 두 개가 존재한다.

Table 1. 
Formal Context
m1 m2 m3
g1 x x
g2 x x
g3 x x
g4 x x
g5 x x
g6 x x


Figure 1. 
Concept Lattice

  • 정의 5. (객체 개념, 속성 개념) 임의의 객체 g ∈ G에 대해 g를 외연으로 갖는 최하위 계층의 정형적 개념을 객체 개념이라 하며, g의 객체 개념 γ(g) := ({g}” {g}’)이다. 마찬가지로 임의의 속성 m ∈ M에 대해 m을 내포로 갖는 최상위 계층의 개념을 속성 개념이라 하며, m의 속성 개념 μ(m) := ({m}’, {m}”)이다.
  • 정의 6. (상위 집합, 하위 집합) 정형적 문맥 (G, M, R)에 대한 모든 정형적 개념의 집합을 L(A, B, R)이라고 할 때, 정형적 개념 Ck의 상위 집합은 ↑Ck := { Cj ∈ L(A, B, R) | Ck ≤ Cj }이며, 하위 집합은 ↓Ck := { Cj ∈ L(A, B, R) | Cj ≤ Ck }이다.

예를 들어 C1은 g1의 객체 개념이며, 즉, γ(g1) = ({g1}”, {g1}’) = ({g1, g3, g5}, {m2, m3}) = C1, C6은 m1의 속성개념이다. 즉, μ(m1) = ({m1}’, {m1}”) = ({g2, g4, g6}, {m1}) = C6. 또한 객체ㆍ속성개념 및 상위ㆍ하위 집합의 정의를 사용하면 <Figure 2>와 같이 중복된 라벨링을 제외하여 간결한 형식으로 개념격자를 표현할 수 있다. 단, 간결한 형식으로 표현된 개념격자에서는 임의의 개념에 대한 외연과 내포를 찾으려면 다음과 같은 규칙이 필요하다. 임의의 개념의 외연을 찾기 위해서는 해당 개념의 하위 집합에 속한 개념에 라벨링 된 모든 객체들을 나열하고, 내포의 경우는 해당 개념의 상위 집합에 속한 개념에 라벨링 된 모든 속성들을 나열하면 된다. 예를 들어 <Figure 2>에서 임의의 개념 C3의 하위 집합 ↓C3 = {C0, C3}이며, C0, C3에 라벨링 된 모든 객체를 나열한 {g4, g6}이 C3의 외연에 해당하며, 상위집합 ↑C3 = {C3, C5, C6, C7}이며, C3, C5, C6, C7에 라벨링 된 모든 속성을 나열한 {m1, m2}가 내포에 해당된다.


Figure 2. 
Concept Lattice in a Compact Form


3. 기관평가 분석 및 개선 방법론

본 연구에서는 지적자본 이론에 따라 기관이 보유한 인적 자본 및 구조 자본 수준이 해당 기관의 종합 평가점수에 기여할 것이라는 것을 대전제로 한다. 따라서 기관평가 결과로부터 정형적 문맥을 정의하고 정형적 개념분석을 수행하여 자본수준을 계층화한 후, 개념격자 해석을 통해 개선방향을 도출하는 방법을 <Figure 3>과 같이 제안한다.


Figure 3. 
Procedure of FCA-based Analysis

3.1 4분위 누적 정형적 문맥

우선 기관평가 결과로부터 얻은 정보를 활용하여 정형적 문맥을 정의한다. 일반적으로 객체와 속성 간의 관계는 단순히 “있다, 없다” 와 같은 이항(binary) 관계 뿐 만 아니라, 하나의 객체는 “상, 중, 하” 와 같은 다항 관계 및 연속된 속성 값을 가질 수 있다. 이러한 경우 정형적 문맥을 순서쌍 (G, M, R, V)로 확장하여 정의할 수 있으며, 이 때 V ⊆ G×M×R이며 g ∈ G, m ∈ M, v ∈ V에 대해 g(m) = v를 만족한다. 즉, g와 m은 v의 값으로 연계되어 있다. 본 연구에서는 다항 관계 및 연속된 속성 값으로 확장된 정형적 문맥을 다루기 위하여, 순서쌍 (G, M, R, V)을 이항관계의 정형적 문맥으로 변환하는 방법을 제안한다. 즉, 기관평가에 활용된 인적자본 및 구조자본의 값은 일반적으로 음이 아닌 실수 값이므로, 음이 아닌 실수 값을 갖는 정형적 문맥을 이항 관계의 정형적 문맥으로 변환하기 위해 식 (1)과 같이 4분위 누적 정형적 문맥 변환 함수를 정의하여 적용하도록 한다.

f:G,MR,VG,MQ,RQ:=g,m,vRg,mRQ,if v0g,mRQg,m+ RQ,if v>q1g,mRQg,m+RQg,m++RQ,if v>q2g,mRQg,m+RQg,m++RQg,m+++RQ,if v>q3(1) 

예를 들어 속성 m ∈ M 에 대해 g1(m) = 10.0, g2(m) = 20.0, g3(m) = 30.0, g4(m) = 40.0이라는 관계가 주어질 때, 4분위 누적 정형적 문맥 변환 함수를 통해 <Figure 4>와 같이 이항관계의 정형적 문맥을 얻을 수 있다.


Figure 4. 
Quartile-cumulative Formal Context Transformation

3.2 정형적 개념 분석 및 지적 자본

이항관계로 표현된 4분위 누적 정형적 문맥 (G, MQ, RQ) 에 대해 정형적 개념 분석을 수행하면 정형적 개념들 간의 상위 및 하위 관계를 계층적으로 표현한 개념격자 (LQ(A, B, RQ); ≤)를 얻을 수 있다. 단, LQ(A, B, RQ)는 4분위 누적 정형적 문맥 (G, MQ, RQ)로부터 찾을 수 있는 모든 정형적 개념의 집합이다. 또한 LQ(A, B, RQ)에 속한 임의의 두 개의 정형적 개념 C1 ≤ C2이 주어질 때, 하위 개념 C1의 내포의 크기(또는 속성의 개수)는 상위 개념 C2의 내포의 크기보다 항상 크며, 특히 4분위 누적 정형적 문맥의 정의에 의해 개념격자 구조에서 아래 계층으로 갈수록 속성의 개수는 항상 증가한다는 사실을 알 수 있다.

  • 정의 7. (객체 지적자본) 4분위 누적 정형적 문맥 (G, MQ, RQ)로부터 얻은 개념격자 (LQ(A, B, RQ); ≤)가 주어질 때, gk의 객체 지적자본은 객체개념 γ(gk)의 내포에 해당된다.

<Table 2>와 같이 8개의 객체 g1~g8과 두 개의 지적자본 속성 p, q로 구성된 4분위 누적 정형적 문맥이 주어졌을 때, 정형적 개념 분석을 수행하면 <Figure 5> 및 <Table 3>과 같은 개념격자와 11개의 정형적 개념을 얻을 수 있다. 객체개념은 개념격자를 구성하는 정형적 개념 노드에 표시된 객체로부터 얻을 수 있으며, 각 객체의 지적자본은 객체개념의 내포에 해당됨을 알 수 있다. 예를 들어 g5 의 지적자본은 객체개념 γ(g5) := ({g5}”, {g5}’) = ({g2, g5, g6, g8}, {p, q, q+, q++}) = C5의 내포인 {p, q, q+, q++}이며, 4분위 누적 정형적 문맥의 정의와 같음을 알 수 있다.

Table 2. 
Quartile-cumulative Formal Context
p p+ p++ p+++ q q+ q++ q+++
g1 x x
g2 x x x x x
g3 x x x x
g4 x x x x x x
g5 x x x x
g6 x x x x x x
g7 x x x x x
g8 x x x x x x x x


Figure 5. 
Concept Lattice Derived from <Table 2>

Table 3. 
Formal Concept and Intellectual Capital
Ck Extent Intent object concept? level of intellectual capital
C0 (g8) (p, p+, p++, p+++, q, q+, q++, q+++) Yes, γ(g8) 8
C1 (g4, g8) (p, p+, p++, p+++, q, q+) Yes, γ(g4) 6
C2 (g6, g8) (p, p+, q, q+, q++, q+++) Yes, γ(g6) 6
C3 (g2, g6, g8) (p, p+, q, q+, q++) Yes, γ(g2) 5
C4 (g4, g7, g8) (p, p+, p++, q, q+) Yes, γ(g7) 5
C5 (g2, g5, g6, g8) (p, q, q+, q++) Yes, γ(g5) 4
C6 (g3, g4, g7, g8) (p, p+, p++, q) Yes, γ(g3) 4
C7 (g2, g4, g6, g7, g8) (p, p+, q, q+) No 4
C8 (g2, g3, g4, g6, g7, g8) (p, p+, q) No 3
C9 (g2, g4, g5, g6, g7, g8) (p, q, q+) No 3
C10 (g1, g2, g3, g4, g5, g6, g7, g8) (p, q) Yes, γ(g1) 2

  • 정의 8. (개념 지적자본) 4분위 누적 정형적 문맥 (G, MQ, RQ)로부터 얻은 개념격자 (LQ(A, B, RQ); ≤)가 주어질 때, 임의의 정형적 개념 Ck = (Ak, Bk) ∈ LQ(A, B, RQ)의 지적자본은 Ck의 내포 Bk이다. 즉, 외연 Ak를 구성하는 모든 객체 지적자본의 교집합과 같다.

예를 들어 <Table 3>에서 C1 = ({g4, g8}, {p, p+, p++, p+++, q, q+}) 의 지적자본은 C1의 외연을 구성하는 g4와 g8의 지적자본의 교집합이다. 즉, {p, p+, p++, p+++, q, q+} = {p, p+, p++, p+++, q, q+} ∩ {p, p+, p++, p+++, q, q+, q++, q+++}이며, 정형적 개념에서 내포의 정의와 일치한다.

  • 정의 9. (지적자본 수준) 4분위 누적 정형적 문맥 (G, MQ, RQ)로부터 얻은 개념격자 (LQ(A, B, RQ); ≤)가 주어질 때, 객체 또는 개념 지적자본의 수준은 해당 지적자본을 구성하는 내포의 크기이다.
  • 정리 1. (지적자본 비교) 임의의 정형적 개념 Ck ∈ LQ(A, B, RQ)의 하위 집합인 ↓Ck := { Cj ∈ L(A, B, RQ) | Cj ≤ Ck }에 속한 정형적 개념의 지적자본 수준은 Ck의 지적자본 수준 보다 항상 크거나 같다.
  • (증명) 정형적 개념 Cj ∈↓Ck는 하위 집합의 정의에 의해 항상 Cj ≤ Ck을 만족한다. Cj := (Aj, Bj), Ck : = (Ak, Bk)라 하면, 정의 3에 의해 Bk ⊆ Bj이다.

예를 들어 <Table 3>에서 정형적 개념 C9의 지적자본 수준은 하위 집합 ↓C9 = {C0, C1, C2, C3, C4, C5, C7, C9}에 속한 모든 정형적 개념의 지적자본 수준보다 항상 작거나 같음을 알 수 있다.

3.3 개념격자 해석

4분위 정형적 문맥 (G, MQ, RQ)로부터 도출된 개념격자(LQ(A, B, RQ); ≤)가 주어질 때, 임의의 정형적 개념 Ck를 선정하게 되면 <정리 1>에 따라 해당 정형적 개념의 하위집합에 속한 정형적 개념 Cj ∈↓Ck들은 Ck의 지적자본 제고를 위한 벤치마킹 대상이 된다. 본 논문에서는 <Figure 6>과 같이 개별기관 단위의 개선방향을 도출할 뿐 아니라 전체적인 관점에서 지적자본을 높일 수 있는 가이드라인을 제공하고자 한다. 개별기관에 대한 개선방향 및 통합적인 관점에서 시사점을 도출하기 위한 가이드라인은 다음과 같은 단계를 통해 얻을 수 있다.


Figure 6. 
Procedure of Concept Lattice Analysis

  • 단계 1. (개선 대상 지정) 개념격자 (LQ(A, B, RQ); ≤)에서 개선의 대상이 되는 객체 gk를 지정한 후, 객체개념 γ(gk)을 찾고 객체 지적자본을 측정한다.
  • 단계 2. (벤치마킹 대상 선정) 단계 1에서 찾은 객체개념 γ(gk)의 하위집합 ↓γ(gk)을 찾고, 하위 집합의 원소인 정형적 개념들을 나열한다. 이후 객체개념 γ(gk)에서 가장 최단거리에 위치한 정형적 개념을 벤치마킹 대상으로 선정한다. 단, 개선대상의 객체 개념은 벤치마킹 대상에서 제외한다.

예를 들어 <Figure 5>에서 g3을 개선 대상 객체로 지정하면, g3의 객체 개념인 C6을 찾을 수 있으며, C6의 내포인 {p, p+, p++, q}이 객체 g3의 지적자본 이며 그 수준은 4이다. 그 다음 C6의 하위 집합 ↓C6 = {C0, C1, C4, C6}의 원소 중 g3의 객체개념을 제외한 객체 개념은 C0, C1, C4이며, 최단거리에 위치한 C4가 최종 벤치마킹 대상으로 선정되고 지적자본은 {p, p+, p++, q, q+}이며 그 수준은 5이다.

  • 단계 3. (차이 분석) <단계 1>에서 지정한 개선대상 객체의 지적자본과 <단계 2>에서 얻은 벤치마킹 대상 개념의 지적자본의 차집합을 차이(GAP)로 정의한다.

예를 들어 <Figure 5>에서 개선 대상 객체 g3과 벤치마킹 대상 C4의 지적자본의 차집합인 차이(GAP)는 {p, p+, p++, q, q+} - {p, p+, p++, q} = {q+}이다.

  • 단계 4. (통합관점 시사점) <단계1~3> 에 따라 관심 있는 개선 대상 객체별로 차이분석을 각각 실시하고, 전체 결과들을 바탕으로 지적자본 수준별 분포를 구한다.

예를 들어 <Figure 5>에서 관심 있는 개선 대상 객체들을 {g1, g3} 라고 할 때, g1의 벤치마킹 대상은 C8 또는 C9이고, g3의 벤치마킹 대상은 C4이다. 차이 분석을 실시하면, g1에 대한 차이(GAP) 는 {p+} 또는 {q+} 이며, g3에 대한 차이(GAP) 는 {q+} 이다. 이 때 두 개의 공통 요소인, q+ 는 두 개의 객체들을 동시에 개선할 수 있는 지적자본 수준 대상임을 알 수 있다. 즉, <단계4> 는 개별기관의 GAP 분석결과를 이용하여, 전체적인 시사점을 도출할 수 있는 정보를 제공해준다.

단계1~4를 전체적으로 요약하면 다음과 같다. 4분위 정형적 문맥 (G, MQ, RQ)로부터 도출된 개념격자 (LQ(A, B, RQ); ≤)가 주어질 때, 임의의 객체 gk ∈ G의 객체개념의 하위 집합은 벤치마킹 대상이 되며, 이때 발생하는 차이(GAP)는 지적 자산을 높이기 위한 우선순위 결정 및 개선 계획 수립 등의 의사결정 정보를 제공할 수 있다. 이후 기관평가 결과들의 통합적 고찰을 통해 평가결과에 영향을 미치는 공통적인 지적자본 구성요소에 대한 시사점을 살펴본다.


4. 사례 연구
4.1 정형적 문맥 정의

본 장에서는 총 38개의 국내 공공 연구기관을 대상으로 공공 연구기관별 지적 자본수준을 측정하고 개선 방향을 탐색하는 사례 연구를 기술하고자 한다. 기관평가 결과와 지표들은 국가과학기술지식정보서비스(www.ntis.go.kr)에서 수집하였다. 제2.2절의 선행연구에서 기술한 측정지표 중 신뢰도가 높고 수집가능한 지표들을 활용하였으며, 제3장에서 제안한 방법론을 적용하였다. 지적 자본을 정의하기 위해 인적자본의 경우 인적 자원 역량인 연구원수, 행정원수(Chu et al., 2006; Sveiby, 1997)와 관리 역량인 인당 인건비(Rompho et al., 2012)를 사용하였고, 구조자본의 경우 혁신 역량인 연구개발 예산에 해당하는 총수입(Coombs et al., 2006)과 내부 프로세스 역량의 대체 지표인 업력(Edvinsson et al., 1997; Garvin et al., 2008)을 사용하였다. 관계 자본의 경우 공동연구 등의 네트워킹 수준이 중요한 요소이나 데이터 수집의 한계로 포함할 수 없었다(Molodchik et al., 2014). 38개의 공공 연구기관에 대한 인적자본과 구조자본 및 경영평가 기관평가 점수는 <Appendix A>에 요약하였다. 본 연구에서는 공공 연구기관을 정형적 문맥에서의 객체(g1~g38)로 정의하고, 인적자본과 구조자본의 지표를 정형적 문맥에서의 속성 R(연구원수), M(행정원수), L(인당인건비), F(총수입), Y(업력)로 적용하였다. 이후 정형적 개념분석을 수행하기 위하여 식 (1)의 변환 함수를 적용하여 4분위 정형적 문맥을 정의하였다. 한편, 본 연구에서는 속성 Y(업력)의 경우는 노력에 의해 개선이 불가능한 지표에 해당하므로 타 속성과 구분하기 위하여, 2분위값(=중간값) 업력을 기준으로 전체 객체들을 20개 Young 객체(y1~y20) 및 18개 Matured 객체(m1~m18)로 구성된 두 그룹의 4분위 정형적 문맥을 <Table 4> 및 <Table 5>와 같이 재정의하였다.

Table 4. 
Quartile-Cumulative Formal Context for Young Group
ID R R+ R++ R+++ M M+ M++ M+++ L L+ L++ L+++ F F+ F++ F+++
y1(g3) x x x x x x x x x x x x x
y2(g6) x x x x x x x x x x x x x x x
y3(g7) x x x x x x x x x x x x x x x x
y4(g9) x x x x x x x
y5(g12) x x x x x x x x
y6(g16) x x x x x x x x x x x
y7(g20) x x x x x x x x x x x
y8(g21) x x x x x x x x x x x x
y9(g22) x x x x x x x x x x x x x x
y10(g23) x x x x x x x x x x x x
y11(g24) x x x x x x x x x
y12(g28) x x x x x x x
y13(g29) x x x x x x x x x x x
y14(g30) x x x x x x x x x x
y15(g31) x x x x x x x x
y16(g33) x x x x x x
y17(g34) x x x x x x
y18(g35) x x x x x x x x x x
y19(g37) x x x x x x x x
y20(g38) x x x x x x

Table 5. 
Quartile-Cumulative Formal Context for Matured Group
ID R R+ R++ R+++ M M+ M++ M+++ L L+ L++ L+++ F F+ F++ F+++
m1(g1) x x x x x x x x x x x x x x x x
m2(g2) x x x x
m3(g4) x x x x x x x x x x
m4(g5) x x x x x x x x x x x
m5(g8) x x x x x x x x
m6(g10) x x x x x x x x x x x
m7(g11) x x x x x x x x x x
m8(g13) x x x x x x x x x x x x x x
m9(g14) x x x x x x x
m10(g15) x x x x x x x x x x x x x x x
m11(g17) x x x x
m12(g18) x x x x x x x x x x
m13(g19) x x x x x x x
m14(g25) x x x x x x x
m15(g26) x x x x x x x x x x x x x x x
m16(g27) x x x x x x x x x x x x
m17(g32) x x x x x x x x x
m18(g36) x x x x x x x x x x

4.2 정형적 개념 분석

우선 Young 그룹 4분위 정형적 문맥에 대해 정형적 개념 분석을 수행하면, <Figure 7>과 같이 총 51개의 정형적 개념으로 구성된 개념격자를 얻을 수 있다. 개념격자의 각 노드에 객체 또는 속성이 표시된 경우 객체개념과 속성개념에 해당되며, 각 노드에 나타난 숫자는 해당 정형적 개념 Ck = (Ak, Bk)의 외연 Ak을 구성하는 객체 gi ∈ Ak들의 기관평가 종합점수의 평균값, 1AkgiAkgi 를 “(평균값-평균값 중 최소값) ÷ (평균값 중 최대값-평균값 중 최소값)”으로 정규화 값을 나타낸다.


Figure 7. 
Concept Lattice for Young Group

한편 정규화 값의 크기가 클수록 노드에 진하게 음영을 나타냈으며, 지적자본 이론에 따라 기관이 보유한 인적 및 구조 자본 수준이 해당 기관의 종합 평가점수에 긍정적인 영향을 주고 있음을 도식적으로 알 수 있다. 마찬가지로 Matured 그룹 4분위 정형적 문맥에 대해 정형적 개념 분석을 수행하면, <Figure 8>과 같이 총 58개의 정형적 개념으로 구성된 개념격자를 얻을 수 있다.


Figure 8. 
Concept Lattice for Matured Group

4.3 개념격자 해석

본 사례 연구에서는 기관평가 종합점수 순위에 따라 ‘우수’에 해당하는 ‘3등급’ 기관을 개선대상 객체로 지정하고, ‘최우수’ 에 해당하는 ‘4등급’ 기관의 객체개념을 벤치마킹 대상으로 선정한 후 차이분석을 실시하였다. 예를 들어 기관 y5의 객체 개념은 C31이며, ↓C31 = {C31, C28, C24, C20, C18, C15, C12, C11, C9, C6, C5, C4, C1, C0}에 속한 정형적 개념 중 ‘4등급’에 해당하는 기관의 객체개념은 {C9, C1, C0}이다. 또한 C0 ≤ C1 ≤ C9이 성립하므로, C31로부터 가장 적은 노력으로 달성할 수 있는, 즉 최단 경로에 해당하는 객체개념 C9를 최종 벤치마킹 대상으로 선정하고 차이분석을 수행한다. 같은 방식으로 총 14개의 개선대상 기관에 대해 벤치마킹 대상을 선정하고 차이분석을 실시한 결과는 <Table 6>과 같다. 마찬가지로 Matured 그룹의 경우에도 총 10개의 ‘3등급’ 개선대상 기관에 대해 벤치마킹 대상을 선정하고 차이분석을 실시한 결과는 <Table 7>과 같다. 이때 최단 경로에 해당하는 객체개념이 다수 존재할 경우에는 동일한 노력으로 더 높은 결과를 달성할 수 있다는 가정 하에 종합점수가 높은 객체를 선정하였다.

Table 6. 
Gap Analysis for Young Group
Target in concern (Lv. 3) Benchmark (Lv. 4) GAP
y5 C31 C9 {F++, R++, L+, R+++, L++}
y6 C2 C0 {M+++, R++, R+, R+++, M++}
y7 C11 C1 {R+++, L+, L++, F+++}
y8 C4 C1 {R+++, L++, F+++}
y9 C5 C1 {M+++}
y10 C15 C9 {L++}
y11 C29 C9 {R+++, M++, F++, L++}
y12 C25 C9 {F++, R++, R+, R+++, F+, L++}
y13 C6 C1 {R+++, L+, L++, R++}
y14 C3 C0 {M+++, F++, R++, R+++, M++, F+++}
y15 C13 C0 {M+++, F++, R++, R+, R+++, M+, M++, F+++}
y16 C37 C9 {R++, R+, L+, R+++, M+, M++, L++}
y17 C45 C9 {F++, R++, L+, R+++, F+, M++, L++}
y18 C16 C9 {R+++, M++, F++}

Table 7. 
Gap analysis for Matured Group
Target in concern (Lv. 3) Benchmark (Lv. 4) GAP
m8 C4 C0 {L++, L+++}
m9 C38 C15 {L+, F+, F++}
m10 C1 C0 {L+++}
m11 C57 C9 {L+, R+, L++, L+++}
m12 C6 C0 {M+++, F++, R+++, M+, M++, F+++}
m13 C34 C8 {M++, F+, F++, R+}
m14 C28 C15 {M+, R+, R++}
m15 C2 C0 {M+++}
m16 C21 C0 {M+++, L+, L++, L+++}
m17 C7 C0 {M+++, F++, R++, R+, R+++, M++, F+++}

본 연구에서 제안하는 방법론은 개별 기관 뿐 아니라 통합적인 관점에서 개선방향에 대한 가이드라인이 가능하다. 우선 개별 기관 관점에서 살펴보자면, 각 기관은 평가등급을 개선하기 위하여 어떠한 자본수준 항목을 향상시켜야 하는지에 대한 정보를 <Table 6>과 <Table 7>의 차이(GAP)로부터 얻을 수 있다. 예를 들어 현재 ‘우수(3등급)’ 수준인 기관 y5의 벤치마킹 대상과의 차이는 {F++, R++, L+, R+++, L++}이며, ‘최우수(4등급)’ 달성을 위해서는 152,053.5 이상의 총수입 (F++), 312.8 이상의 연구원(R++, R+++) 및 89.6 이상의 인당 인건비(L+, L++) 향상이 요구된다.

한편 통합적인 관점에서 살펴보면 다음과 같은 시사점을 얻을 수 있다. 먼저 Young 그룹과 Matured 그룹의 차이분석 결과에 대해 차이가 발생한 4분위 속성의 빈도를 계산하고 개선대상 기관의 총 개수로 나누어, 4분위 속성별 종합적으로 도식화하면 <Figure 9>와 같다. 예를 들어 R+는 Young 그룹과 Matured 그룹에서 각각 4번씩 나타났으며, Young 그룹의 개선대상 기관의 총 개수는 14개, Matured 그룹의 개선대상 기관의 총 개수는 10개이므로, 그래프 상의 y축 값은 Young 그룹 4/14 = 0.29, Matured 그룹은 4/10 = 0.40이다. 즉, 차이분석 결과 그래프에서 y축 값이 크다는 것은, 해당 속성의 지적자산 수준을 증가시키면 종합점수도 높아질 수 있는 기관이 많다는 것을 의미한다. 예를 들어 Young 그룹은 차이 분포의 표준편차(0.2)가 Matured 그룹의 표준편차(0.09) 보다 크다는 것을 알 수 있는데, 즉, Young 그룹은 R+++, (0.86), L++(0.64), R++ (0.57) 순으로 자본수준을 상승시키는 것이 효과적일 것으로 기대되며, Matured 그룹은 자본수준의 항목별로 큰 차이가 없는 것으로 판단된다.


Figure 9. 
Gap Analysis in a Holistic View


5. 결 론

본 연구에서는 첫째, 정형적 개념분석을 통해 기관이 보유한 지적자본 수준에 따라 기관별로 개선방향을 탐색하는 방법을 제안하였다. 즉, 임의의 기관을 선정하면 개념격자를 통해 벤치마킹 대상 집합이 산출되며, 해당 벤치마킹 대상과 선정한 기관의 현수준 차이 분석을 통해 개선경로에 대한 가이드라인을 제공할 수 있다. 둘째, 동시에 기관평가 결과들의 통합적 고찰을 통해 평가결과에 영향을 미치는 공통적인 지적자본 구성요소에 대한 시사점도 알아보았다. 사례연구를 통해 업력이 젊은 기관에 대해서는 연구원 인력 충원이 가장 효과적이며, 업력이 오래된 기관의 경우에는 이미 연구원 인력충원은 충분하다고 판단이 되므로 평가결과에 따라 상황에 부합하도록 지적자본 구성요소의 수준을 높이는 것이 필요하다. 셋째, 본 연구에서 제안한 방법론은 지적자본 수준과 평가결과와의 관련성을 최초로 고려했다는 점과, 공공 연구기관에 대한 다양한 평가모델이 적용될 수 있는 상황에서 임의의 평가모델 결과가 주어질 때 유연성 있게 적용하고 해석할 수 있는 시각적 분석 도구를 제안했다는 점에서도 의의가 있다.

다만, 본 연구에서 지적자본 수준을 정의할 때 활용한 지표들의 수집 가능성, 시점 불일치, 대표성 및 지적자본 유형에 대한 가중치 부여, 4분위 값을 활용한 이진 형태 속성 설계에 대한 민감도 확인 등 여러 가지 논쟁이 존재하며 이에 대한 추가 연구가 필요하다. 그러나 본 방법론은 연구기관 평가 뿐 아니라 다양한 성과평가 영역에 활용할 수 있는 가능성이 존재하므로 현행 기관평가의 분석이나 개선에 함께 활용된다면 평가결과에 대한 다양한 해석이 도출될 수 있으며, 이를 통해 공공 연구기관의 개선전략에 대한 로드맵 수립에 기여할 수 있을 것으로 기대한다.


Acknowledgments

이 연구는 충남대학교 학술연구비에 의해 지원되었음.


References
1. Ahn, K. C. (2019), Effect of Intellectual Capital on Organizational Productivity in the Public Sector, Korean Journal of Local Government and Administration Studies, 33(4), 317-337.
2. Banwet, D. K. and Deshmukh, S. G. (2006), Balanced scorecard for performance evaluation of R&D organization: A conceptual model, Journal of Scientific and Industrial Research, 65(11), 879-886.
3. Boldt-Christmas, L., Roos, G., and Pike, S. (2007), Designing a Funding Mechanism in a Government R&D Organization: Applying the Intellectual Capital Lens, 9th World Congress on Intellectual Capital and Innovation, 24th-26th January, Hamilton, Canada.
4. Choi, W. (2018), A study on the factors and impact of change of institutional evaluation system: With a focus on evaluation system of government-funded research institutes in science and technology, Chungnam National Univ.
5. Choong, K. K. (2008), Intellectual capital: Definitions, categorization and reporting models, Journal of Intellectual Capital, 9(4), 609-638.
6. Chu, P. Y., Lin, Y. L., Hsiung, H. H., and Liu, T. Y. (2006), Intellectual Capital: An Empirical Study of ITRI, Technological Forecasting and Social Change, 73(7), 886-902.
7. Coombs, J. E. and Bierly, P. E. (2006), Measuring technological capability and performance, R and D Management, 36(4), 421-438.
8. Edvinsson, L. and Malone, M. S. (1997), Intellectual Capital, HarperBusiness.
9. Edvinsson, L. and Sullivan, P. (1996), Developing a model for managing intellectual capital, European Management Journal, 14(4), 356-364.
10. Garvin, D. A., Edmondson, A. C., and Gino, F. (2008), Is yours a learning organization? Harvard Business Review, 86(3), 109.
11. Ha, E-H., Kim Y-K., Kim, J-H., and Jung, S. (2020), Improvement of Research Performance Evaluation in National Research Institutes for Economics, Humanities and Social Science. Public Policy Review, 34(3), 53-77.
12. Hall, R. (1992), The strategic analysis of intangible resources, Strategic Management Journal, 13(2), 135-144.
13. Hwang, B. and Kang, G. (2005), Improvements of the Institute Evaluation System on the Government_supported Research Institutes: Mataevaluation on the case of the Korea Research Council of Fundamental Science and Technology, International Journal of Policy Studies, 14(1), 121-151.
14. Hwang, H. and Chung, S. (2018), Improvements of the Institute Evaluation System on the Government_supported Research Institutes: Mataevaluation on the case of the Korea Research Council of Fundamental Science and Technology, Innovation Studies, 13(1), 1-26.
15. Jung, C. S. and Lee, G. (2013), Goals, strategic planning, and performance in government agencies, Public Management Review, 15(6), 787-815.
16. Jung, J.-Y. (2018), The Comparison of R&D Efficiency and the Current Evaluation System in The Government Funded Research Institutes Related to Science and Technology Using DEA Method. Chungnam National Univ.
17. Kim, B. (2011), Design of Metaevaluation Model for Public Institutions’ Evaluation System in Korea, Journal of Policy Development, 11(2), 1-28.
18. Kim, D. and Joo, S. (2015), A Study on DEA Application for Evaluation Program Improvement of the Government-funded Research Institutes, Journal of the Korean Production and Operations Management Society, 26(4), 1921-1944.
19. Kim, Y. (2020), The effects of employer brand on intellectual capital and sustainable competitive advantage: a perspective of resource-based view theory, Journal of Hospitality and Tourism Studies, 22(4), 56-71.
20. Koo, H. (2020), Influence of Goal Ambiguity in Institutional Evaluation of Government-funded Research Institutes, Journal of Society of Korea Industrial and Systems Engineering, 43(4), 84-92.
21. Lee, J. and Oh, D. (2012), Data Envelopment Analysis, IB Book.
22. Lee, J. and Nam, C. W. (2020), An Analysis on the Influence Factors for Acceptance of Evaluation on the Government-Funded Research Institutes in Science and Technology Field, Journal of The Korean Urban Management Association, 33(2), 59-79.
23. Lee, C. (2005), Application of Intellectual Capital Model to the Evaluation System on Public Research Institutes, Korean Public Administration Review, 39(1), 195-217.
24. Lee, C. (2006), The Measurement of Intellectual Capital and Performance Evaluation in Research Institute, The Korean Journal of Public Administration, 15(4), 111-142.
25. Lee, S. (2016), Comparative evaluation of the R&D performance of government research institutes using DEA, Seoul National University of Science and Technology.
26. Lee, S., Kim, T., and Lee, H. (2015), Measuring the Dynamic Efficiency of Government Research Institutes in R&D and Commercialization by DEA Window Analysis, Korean Management Science Review, 32(4), 193-207.
27. Lee, S., and Lee, D-H. (2016), Analysis of the Change in R&D Efficiency in a Government-Funded Research Institute in Korea: Cumulative DEA/Malmquist Analysis Approach, Journal of The Korean Operations Research and Management Science Society, 41(1), 99-111.
28. Lev, B. (2001), Intangibles: Management. Measurement, and Reporting, Brookings Institution Press.
29. Liu, J. S., and Lu, W. M. (2010), DEA and ranking with the network-based approach: A case of R&D performance, Omega, 38(6), 453-464.
30. Min, S. (2008), Government-supported Research Institutes Evaluation System Analysis through Metaevaluation: Focusing on Institutes Evaluation of the Korea Research Council of Fundamental Science and Technology. Chungnam Univ.
31. Molodchik, M. A., Shakina, E. A., and Barajas, A. (2014), Metrics for the elements of intellectual capital in an economy driven by knowledge, Journal of Intellectual Capital, 15(2), 206-226.
32. Oh, Y.-K. (2011), A Meta Evaluation on the ISTK Evaluation :Focused on Institutional Consistency, Korean Journal of Policy Analysis and Evaluation, 21(2), 351-376.
33. Requena-Silvente, F. and Walker, J. (2007), Investigating sales and advertising rivalry in the UK multipurpose vehicle market (1995-2002), Journal of Economics and Business, 59(2), 163-180.
34. Rompho, B. and Siengthai, S. (2012), Integrated performance measurement system for firm’s human capital building, Journal of Intellectual Capital, 13(4), 482-514.
35. Seo, H., Yoon, S., and Lee, H. (2020), Identifying Significance of Attributes, Objects and Concepts based on Weighted Formal Concept Analysis, Journal of the Korean Institute of Industrial Engineers, 46(6), 603-615.
36. Sullivan, P. H. (2000), Valuing intangibles companies - An intellectual capital approach, Journal of Intellectual Capital, 1(4), 328-340.
37. Sveiby, K. E. (1997), The new organizational wealth: Managing and measuring knowledge-based assets, Berrett-Koehler Publishers.
38. Um, I-C., and Ryu, Y. (2019), The Relative Efficiency Analysis on Government Research Institutes: Comparison between PBS Projects and Grant Projects, Korean Journal of Policy Analysis and Evaluation, 29(3), 85-113.
39. Wille, R. (1982), Restructuring Lattice Theory: An Approach based on Hierarchies of Concepts, Ordered Sets, Springer, Dordrecht, 445-470.

<Appendix A> Human/Structural Capital and Evaluation Results


Institute Human capital structure capital Evaluation results
Researchers staffs Labor cost per person Total revenue ages Total score Grade Year 평가연도
g1 596 278 106.4 326,698 55 87.402 4 Excellent 2019
g2 193 94 63.1 100,800 33 85.48 4 Excellent 2019
g3 192 80 91.7 84,958 14 84.76 4 Excellent 2017
g4 368 144 84.1 164,635 45 84.42 4 Excellent 2019
g5 241 173 94.7 180,157 36 83.71 4 Excellent 2018
g6 291 164 103.2 265,690 14 83.47 4 Excellent 2019
g7 220 100 131.7 223,351 26 82.93 4 Excellent 2018
g8 251 71 116 147,450 45 82.16 4 Excellent 2017
g9 78 19 90.9 25,850 27 81.1 4 Excellent 2018
g10 317 256 89.6 159,710 45 81.06 4 Excellent 2019
g11 345 200 86 156,657 46 80.29 4 Excellent 2019
g12 60 56 68.6 33,648 14 79.84 3 Average 2019
g13 821 271 83.7 373,278 32 79.7 3 Average 2019
g14 320 119 81.1 145,752 38 79.52 3 Average 2017
g15 1098 498 95.1 544,768 62 78.87 3 Average 2019
g16 4 46 107.8 189,093 22 78.14 3 Average 2017
g17 116 104 83.7 57,862 39 78.1 3 Average 2017
g18 321 96 116.3 160,811 44 77.06 3 Average 2019
g19 149 121 89 123,344 33 77.03 3 Average 2018
g20 136 137 80.3 184,635 16 76.93 3 Average 2017
g21 101 100 87.4 115,548 10 76.63 3 Average 2018
g22 183 96 101.4 185,374 10 75.68 3 Average 2019
g23 300 88 85.1 143,354 10 75.52 3 Average 2017
g24 132 38 89.3 60,812 27 75.49 3 Average 2017
g25 144 75 85.2 205,458 34 75.38 3 Average 2017
g26 1758 248 102.6 645,101 45 74.67 3 Average 2018
g27 643 200 82 648,900 32 72.32 3 Average 2017
g28 6 64 89.5 29,414 19 72.05 3 Average 2019
g29 73 236 60.1 591,671 10 71.23 3 Average 2019
g30 51 22 111.2 47,086 19 70.9 3 Average 2018
g31 28 13 126.8 32,150 10 70.82 3 Average 2018
g32 196 170 102.2 161,418 48 70.68 3 Average 2018
g33 35 5 70.2 82,210 14 70.65 3 Average 2018
g34 70 24 74.1 18,139 11 70.56 3 Average 2019
g35 122 27 95.2 29,511 25 70.46 3 Average 2019
g36 251 1159 64.5 326,002 58 61.35 2 Poor 2018
g37 49 10 138.2 28,209 12 60.64 2 Poor 2018
g38 19 11 93.7 12,890 16 51.09 1 Very poor 2017
Q1 74.3 48.5 83.7 58599.5 14
Q2 187.5 98 89.6 152053.5 27
Q3 312.8 172.3 102.5 201366.8 42.8


저자소개

구훈영 : 서울대학교 산업공학과에서 학사, 석사 및 박사학위를 취득하였다. 현재 충남대학교 경영학부에 재직 중이며 주요 관심 분야는 R&D 경영, SCM, 예측모형 등이다.

이희정 : 한양대학교 산업공학과에서 학사, 한국과학기술원에서 산업공학 석사 및 박사학위를 취득하였다. 삼성전자(주) 기술총괄 책임연구원 및 대구대학교 산업경영공학과 조교수를 재직하고 현재 한양대학교 산업융합학부 부교수로 재직 중이다. 관심 연구분야는 Collaborative Engineering, Knowledge, and Information Management, Product Lifecycle Management이다.

이근철 : 한국과학기술원에서 산업공학으로 박사학위를 취득 하였다. 에너지 수요 예측, 제조 및 서비스 시스템의 설계와 운영에 관한 최적화/휴리스틱 방법론 등에 관한 연구를 수행하고 있다.