만족도 및 적합성 기반 유망기술의 활용도 평가에 관한 연구

2.1 만족도와 적합성

본 연구에서는 만족도(Satisfaction)와 적합성(Suitability)을 기술의 활용 방안을 평가하기 위한 변수로 활용하였다. 만족도는 활용 방안이 잠재적 사용자들로 어느 정도로 호의적으로 생각하는지를 나타낸 것이다(Wixom and Todd, 2005). 만족도는 사용자에 따라 주관적인 성향이 강하여 설문 조사와 같은 기법을 주로 활용하나, 해당 기법은 충분히 많은 설문자가 필요하며 대안의 우선순위를 매기는 방식으로 진행되기 때문에 대안이 많으면 비효율적이다. 또 하나의 방법은 감성 분석(Sentiment Analysis)이다. 이는 온라인에 게재된 게시물이나 후기와 같은 문서에서 주관적인 단어로 작성된 텍스트를 자동으로 평가하는 기법이다(Pang and Lee, 2008). 이는 긍정적인 의견을 담은 문서와 부정적인 의견을 담은 문서를 구분하기 위해 광범위하게 활용되고 있다. 하지만 상당수의 연구는 감성 강도를 수치화하기 위해 감성 점수를 산출한다. 이 점수는 SentiWordNet과 같은 객관화된 데이터베이스를 기반으로 하여 단어나 문서의 주관적 단어나 구(Clause)를 통해 계산된다 (Baccianella et al., 2010). 해당 기법은 활용이 간단하여 사용자의 후기와 같은 의견을 온라인 게시물로부터 도출하기 위해 많은 선행 연구에서 활용되었다(Han et al., 2022; Kim and Kwon, 2023; Jung et al., 2023). 본 연구에서는 기술의 성능보다는 기술의 활용 방안에 집중하여 분석하기 때문에 사용 후기와 유사한 사용자의 생각과 경험을 분석하여 만족도를 분석하였다. 이에 비정형 데이터인 온라인 후기로부터 정량화된 데이터인 감성 점수를 도출하여 온라인 후기에 담긴 대상에 대한 평가 지표로 활용하였다.

또한, 본 연구에서는 적합성(Suitability)을 산출하기 위해 합의 지표(Consensus index)와 다양성 지표(Diversity Index)를 활용하였다. 합의 지표는 구성원들 간 의견에 동의하는 정도를 측정하는 방법이다(Day and McMorris, 1985). 이는 갈등의 정도를 두 가지 기준을 통해 측정한다: 1) 다른 구성원들과 선호도가 일치하는가, 2) 일치하지 않는다면 선호도의 차이가 어느 정도인가(Cook, 2006). Cook의 연구에서는 구성원들 간 선호도의 차이를 측정하기 위해 거리기반 합의 지표(distance-based consensus index)를 제안하였다. 해당 지표는 1) 구성원의 수가 많아지거나, 2) 평가대상이 늘어나거나, 3) 평가대상에 대한 차이가 클수록 증가하는 경향이 있다. 해당 지표는 구성원들의 발언권(voter power)과 선호강도(preference strength)를 반영할 수 있다. 다양한 의사결정 관련 연구에서 해당 지표를 활용하거나 개선안을 제시하였다(Luo and Liu, 2022; Dong et al., 2021; Albano and Plaia, 2021). 예를 들어 González-Arteaga and Alcantud(2016)의 연구에서는 마할라노비스 거리(Mahalanobis distance)를 기반으로 하여 거리 측정 개선안을 제시하고, 스페인의 경제 상황을 예측한 여러 기구의 의사결정 사례에 해당 모형을 적용하였다. 전문가들이 제시한 의견이 충돌할 경우, 의견의 충돌 정도는 물론 충돌 정도의 기준이 되는 참고 자료(Reference Matrix) 또한 제시하여 의견의 차이를 반영한 의사결정 근거자료를 구성한다(González-Arteaga and Alcantud, 2016). 이에 본 연구는 적합성 측정을 위해 거리기반 지표를 활용하였으며, 해당 지표의 산출 과정은 제3.2절에 수록하였다.

다양성 지표는 크게 variety, balance, disparity란 개념으로 존재하며, 세 가지 특성을 통해 특정 기술의 다양성을 정의할 수 있다(Stirling, 2007). 여기서 variety는 기술이나 활용 방안의 수, balance는 활용 방안의 분포, disparity는 활용 방안 간 이질성의 정도로 정의할 수 있다. 실제로 높은 다양성을 가진 꾸준한 정보 교환을 통해 쉽게 개선되거나 변형될 수 있다(Rijnsoever et al., 2015), 이는 자원의 풀을 향상하여 기술이나 활용 방안에 대한 유연성과 탄력성(resilience)을 향상한다. 그 결과 다양성이 높은 과학과 기술은 혁신을 유발하며, 생산성 향상에 기여한다(Stirling, 2007). 몇몇 연구에서는 기술이 유지되고 발전하기 위해서는 높은 diversity를 가져야 한다고 주장하였다(Rafol and Mayor, 2010). 일부 연구에서는 variety와 balance를 측정해 기술의 활용이나 발전 정도를 측정하였다. 실제로 몇몇 bibliometric studies에서 Variety나 balance를 사전에 정의된 “종류”에 대해 측정하여 기술의 특성을 정의하였다(Bordons et al., 2004; Shim and Cho, 2020). 본 연구 또한 기술의 활용 방안에 다양성을 산출하여 활용의 폭이 넓고 발전 잠재력이 높은 기술을 도출할 것이다.

2.2 다기준 의사결정 모형

다기준 의사결정 모형(Multiple-Criteria Decision Making Model; MCDM Model)은 특정 문제에 대해 최적의 대안을 찾을 때, 대안을 평가하기 위해 고려해야 할 여러 기준이 상충할 경우, 상충한 결과를 통합하여 대안의 우선순위를 제공하는 모형이다(Yoon and Hwang, 1995). 일반적으로 다기준 의사결정 방법은 주어진 상황이나 문제에 따른 평가목적과 고려해야 할 기준에 따라 결정된다. 이러한 의사결정 모형은 1) 고려해야 할 기준의 수가 얼마나 다양하고 이질적인가와 2) 어떻게 우위를 결정할 것인가에 따라 적합한 방법론이 선정된다.

본 연구에서는 다양한 의사결정 모형 중 PROMETHEE (Preference Ranking Organization Method for Enrichment Evaluation)를 활용하고자 한다. 이 기법은 선호유출량(Entering Flow)과 선호유입량(Leaving Flow)이라는 개념을 통해 대안의 선호 순위를 도출하는 기법이다(Brans and Vincke, 1985). 대안의 선호 순위는 지배 관계라는 개념으로 정의되는데, 두 대안 A와 B에 대하여, 제 3의 대안과 비교하여 선호되는 정도가 큰 동시에 선호되지 않은 경우의 정도가 작다면 하나의 대안이 다른 대안을 지배한다고 정의한다(Roy, 1991). 이는 평가 기준별로 평가대상이 고려할 선호함수(Preference Function)를 정의하고, 상대적 효용을 계산하여 선호유출량과 선호유입량을 산출한다. 선호함수는 평가자의 선호도 증감을 판별하기 위하여 총 여섯 종류의 선호함수를 활용할 수 있다. 이는 이분형(Usual criterion), 계단형(Level criterion), V형(V-shape criterion), U형(U-shape criterion), 선형(V-shape with indifference criterion), 가우스형(Gaussian criterion)이다. 그리고 각 선호함수에서 요구하는 선호 임계치를 사용한다. 이때, 각각의 평가 기준에 대한 선호함수와 선호 임계치를 결정하는 것은 대부분 의사결정자의 충분한 근거를 바탕으로 한 주관적인 결정에 의존한다.

PROMETHEE 기법은 크게 I형과 II형으로 구분된다. I형은 지배 관계를 통해 대안의 우선순위를 판별하며, 지배 관계가 명확하지 않은 경우, 즉, 대안 A가 대안 B보다 미흡하지 않다고 판단되는 경우 두 대안을 동등하다고 평가한다. 하지만 상당수의 대안이 명확한 지배관계가 나타나지 않는 경우가 많다. 이에 계산된 선호유출량과 유입량을 토대로 산출되는 순흐름량(Net Flow)의 크기를 비교하여 대안별 순위를 정한다.

해당 기법은 주로 의사결정 단위가 큰 공공사업에서 활용된다(Behzadian et al., 2010). 예를 들어 Kim et al.(2023)의 연구에서는 도로변 대기 측정망 확장 시 측정망 지점을 결정하기 위해 정보 엔트로피, 풍속, 교통량 등 이질적인 변수를 고려하여 측정망 지점의 우선순위를 선정하였다. Jang(2020)의 연구에서는 수상·운송기업의 경영성과를 평가하기 위해 성장성, 기술성, 생산성 등의 의사결정 기준을 정의하고 여러 기준을 통합하여 결과를 얻기 위하여 모형을 적용하였다. 해당 연구는 기술 선정을 위하여 PROMETHEE 모형만이 아닌 AHP 등 다른 모형과 결합하거나 퍼지 이론(Fuzzy Theory)과 같은 변수 측정을 정교화하였다.

첫 문단에서 언급한 의사결정 모형의 선택 기준으로 보았을 때 본 연구에서는 PROMETHEE 기법이 가장 적합한 방법론이라 판단하였다. 이는 본 연구에서 제시한 두 종류의 평가 요소인 만족도와 적합성은 상당히 이질적인 요소이며, 요소별 선호도의 증감 또한 다양한 양상을 보이기 때문이다. 해당 기법은 이질적인 변수를 통합적으로 고려하고 다수의 대안을 순흐름량이라는 단순한 기준으로 순위를 매길 수 있다는 점에서 이질적인 변수를 동시에 평가하고 대안이 많은 문제에 적합하다(Brans and De Smet, 2016). 또한, 우위 결정 관점에서 볼 때, 대부분 의사결정 모형은 성능에 대한 차이가 존재할 경우 효용이 다르게 산출된다. 하지만 본 연구에서 제시한 평가 요소는 기술 활용 방안에 대한 성능적 차이가 있음에도 효용 상 차이가 발생하지 않을 수도 있다. 이에 본 연구는 순위 선호와 선호 임계치 개념을 바탕으로 선호함수를 정의하여 불확실성을 반영하는 PROMETHEE 기법이 적합하다고 판단하였다.

또한, 일부 선행 연구에서는 다른 의사결정모형과의 결합을 통한 복합적 분석을 수행하였다. 하지만 본 연구는 PROMETHEE 기법을 단독으로 활용하여 기술의 활용 방안을 평가하였다. 이는 만족도와 적합성이라는 소수의 새로운 지표를 도입하여 활용하였으며, 세 지표 모두, 지표 값이 클수록 감성 점수가 높거나 의견 충돌이 적다 등의 일관성을 잃지 않는다. 본 연구가 평가대상인 활용 방안의 효용에 대한 정확한 수치화보다 우위 관계의 판단에 집중하였기 때문에 주관적 판단을 최소화하는 방향으로 연구 방법을 구성하였다.

3.1 기술 내 활용 방안 발굴

첫 번째 과정은 선정된 기술에 대한 활용 방안이 무엇인지 찾는 것이다. 서론에서 언급하였던 온라인 포럼과 같은 웹 사이트에서는 기술에 대한 활용 방안에 대해 논의한다. 하지만 전문 지식의 부족 등으로 상당수의 논의는 현실성이 떨어지거나 효용이 낮은 경우가 많다. 이러한 문제를 방지하기 위해 본 연구에서는 논문을 활용하여 질적으로 가능한 활용 방안이 무엇인지를 찾아내고자 한다. 논문의 경우 기술 분석을 위해 과거부터 꾸준하게 활용되었던 데이터로 기술에 대한 설명과 같은 비정형 데이터와 논문 인용과 같은 정형 데이터가 모두 포함되어 있다. 이를 활용한다면 해당 기술이 과거와 현재 어떻게 활용되었는지 유추할 수 있다.

따라서 본 연구에서는 논문 데이터베이스 중 하나인 Web of Science를 활용하여 활용 방안을 도출하였다. 기술별로 활용 방안을 구체화하기 위해 본 연구에서는 비지도 학습법인 군집 분석을 활용하였다. 논문의 키워드와 초록, 인용 등을 토대로 각 문서의 활용 방안을 탐색하기 위해, 논문 데이터를 군집화하여 분석하였다. 본 연구에서는 이를 위해 Chen이 제공하는 무료 소프트웨어인 Citespace를 활용하였다(Chen, 2019). 해당 소프트웨어는 논문을 토대로 기술의 동향 진단 등에 활용되었다.

본 연구에서는 최적의 군집을 선정하기 위해 실루엣(Silhouette) 계수를 활용하였다. 이는 특정 군집에 속한 데이터가 해당 군집의 중심에 얼마나 가까운지와 데이터가 속하지 않은 군집과는 얼마나 멀리 떨어져 있는지를 -1과 1 사이의 값으로 나타낸 지표이다. 실루엣 계수는 값이 클수록 동질적인 데이터가 하나의 군집에 속한다는 해석을 할 수 있으나, 군집 별로 고른 값이 나와야 모든 군집이 올바르게 군집화되었다 볼 수 있다. 이에 본 연구에서는 해당 지표의 평균이 0.7 이상이고 편차가 작게 나타난 군집 분석 결과를 활용하였다. 군집 분석 결과로는 군집을 대표하거나 군집을 설명할 수 있는 여러 키워드가 도출되었다. 이는 Chen(2019)의 연구를 참조하여 군집의 고유 특성을 가장 잘 요약하는 로그우도비(LLR, Log-Likelihood Ratio) 알고리즘을 주로 활용하였으며, 잠재적 의미를 도출하는 잠재의미색인(LSI, Latent Semantic Indexing)으로 도출된 키워드도 함께 참조하였다. 이렇게 도출된 키워드를 바탕으로 기술의 활용 방안을 정의하였다.

3.2 지표 산출

지표 산출을 위해 본 연구에서는 온라인 포럼에서 포스팅을 수집하였다. 포럼은 전문가와 비전문가들이 모여 해당 분야의 미래 지향적 토론을 진행하는 사이트를 위주로 선정하였다. 그리고 수집한 데이터를 토대로 데이터 전처리를 수행하였다. 이는 활용 방안을 나타내는 키워드와 평가와 관련된 키워드를 추출하고, 추출된 키워드를 토대로 정형화된 데이터를 구축하는 것이다. 수집된 게시물에서는 통계 정보가 포함되어 있지 않기 때문에 정량적 방법론을 수행하기 위해 단어의 전체 빈도를 계산하였다. 텍스트 마이닝 기법을 통해 1) 활용 방안과 관련된 키워드 또는 2) 감성을 의미하는 키워드를 추출하고, 미리 결정한 임계치 이상의 빈도를 가지는 키워드를 관심 키워드로 선별하였다. 이후 TF-IDF(Inverse Document Frequency)를 통해 선별된 관심 키워드를 정량화했다.

이렇게 산출된 활용 방안 단어에 대해 여러 단어가 유사한 활용 방안에 매칭될 경우 해당 단어를 동일한 활용으로 간주하였다. 반대로 여러 활용 방안에 대해 같은 단어로 표현된 경우 동시 발생빈도를 기반으로 단어의 가중치를 할당하였다. 그리고 감성 단어에 대해서는 SentiWordNet를 통해 긍정, 부정, 중립의 세 그룹으로 나누었다(Baccianella et al., 2010).

이렇게 얻은 키워드를 열로 두고, 수집한 게시물을 키워드 벡터로 변환하였다. 키워드 벡터에서 각 행은 각 게시물에 해당하고 각 열은 사전에 정해진 키워드가 배치된다. 키워드 벡터에서 벡터의 성분은 각 문서에서 키워드의 발생빈도를 의미한다. 키워드 벡터를 통해 1) 유망한 기술 활용 방안에 대한 잠재 사용자의 만족도, 2) 각 게시물에 나타난 유망기술의 활용 방안 빈도 등을 확인할 수 있다.

다음으로 활용 방안에 대한 평가 지표를 산출한다. 본 연구에서는 감성 분석의 결과를 바탕으로 만족도(Satisfaction)를 산출하였다. 이를 위해 온라인 글들에서 언급된 활용 방안을 찾고, 각각의 글에 대해 SentiWordNet에 기반한 감성 점수를 산출하였다.

또한, 본 연구에서는 적합성(Suitability)을 두 가지 측면에서 분석하였다. 첫째, 활용 방안에 대한 의견 충돌이 발생하는지 분석하기 위해 사용 용이성(Ease)을 산출하였다. 앞에서 산출한 감성 점수 결과를 토대로 특정 기술군에서 활용 방안별로 선호 순위를 파악할 수 있으며 이는 집단별로 차이가 날 수 있다. 본 연구에서는 거리기반 합의 지수(Distance-based consensus Index)로 분석하였다. 이는 forward-indicator vector와 backward-indicator vector이라는 두 개의 벡터를 통해 산출되며, 집단별 측정 활용 방안의 선호 순위에 따라 벡터의 성분이 정의된다. 수식에 대한 정의는 아래와 같으며, j는 j번째 활용 방안을 뜻한다.

예를 들어, 인공지능 관련 토의 사이트로 지정한 Reddit, Quora, AI-Forums, DataScience Central까지 네 개의 사이트에서 어떤 인공지능 활용 방안 A에 대해 만족도 평균값 순위가 DataScience Central - Reddit - AI-Forums - Quora 순으로 나왔다고 가정하자. 수식 (1)에 의해 산출되는 Reddit의 벡터는 다음과 같다. 왼쪽 벡터를 통해 네 번째 사이트인 DataScienceCentral이 Reddit보다 활용 방안 A에 대해 높은 만족도를 가지며, 오른쪽 벡터를 통해 Quora, AI-Forum이 활용 방안 A에 대해 낮은 만족도를 가짐을 알 수 있다.

$$ {\left(P^{+}\left(i\right)\right)}_R=\left[\begin{array}{c}0\\ 1\\ 1\\ 0\end{array}\right],{\left(P^{-}\left(i\right)\right)}_R=\left[\begin{array}{c}0\\ 0\\ 0\\ 1\end{array}\right]$$

활용 방안 A와 B의 사이트별 선호도 순위가 일치한다면 사이트별로 (P⁺(i))_k와 (P^-(i))_k가 일치할 것이며, 두 벡터의 내적 값은 최대로 나올 것이다. 즉, 두 벡터의 내적 값은 활용 방안의 사이트별 순위의 일치도에 대체로 비례함을 알 수 있다. 이에 착안하여, 두 활용 방안에 대한 선호도의 불일치 정도는 1) 모든 순위가 일치하는 경우에서 2) 현재 존재하는 일치도의 차이로 정의하였다(Cook, 2006). 이렇게 정의된 벡터를 토대로 순위 기반 거리 함수는 식 (2)와 같다. 해당 지표는 집단별로 선호하는 활용 방안의 차이가 클수록 높은 수치를 나타낸다.

둘째, 활용 방안의 다양성을 분석하기 위해, 분야의 다양성과 균형성을 측정하는 지표인 Shannon-Weaver 지수를 활용하였다(Spellerberg and Fedor, 2003). 이는 식 (3)과 같이 계산되며, Pi는 활용 방안을 포함하는 게시물의 비중이다. 이 지수는 1) 활용 방안의 수가 증가하거나 2) 활용 방안의 비중이 균일할 때 증가한다. 따라서 어떤 기술에 대해 Shannon-Weaver 지수가 높다면, 많은 활용 방안을 향후 다양한 잠재적인 문제에 적용 가능하다고 해석한다.

3.3 기술 평가

마지막 단계는 이질적 지표를 통합한 기술의 평가이다. 기술의 평가를 수행하기 위한 다기준 평가 모형을 수립한다. 이를 위해 본 연구에서는 PROMETHEE II 모형을 활용하였다. 해당 모형은 두 대안의 비교 우위를 나타내는 Net flow를 기반으로 평가 결과를 산출한다. 이를 산출하기 위해 우선 하나의 대안을 선정하고 지표(변수)별 선호함수를 정의하여, 다른 대안과의 비교를 수행한다. 비교를 통해 정의되는 함숫값은 0과 1 사이의 값으로 정의되며 1에 가까울수록 나중에 선택한 다른 대안이 더 우월하다는 것을 의미한다.

본 연구에서 일반적으로 정의된 사용자는 두 활용 방안의 만족도가 명확하게 다를 경우 확실한 선호를 갖는다. 하지만 사용자는 “취향”이라는 개념이 존재하기 때문에 차이가 유효범위 이내(아래 그래프에서 차이가 q보다 작은)일 경우 단순한 지표의 우월을 통해 대안을 택하지 않는다. 따라서 본 연구에서는 무차별 함수가 존재하는 V형 함수 형태로 선호함수를 정의하였다. 이는 지표별로 대안이 가지는 값의 차이에 대해 두 개의 지점을 정의하여 해당 범위 내에서만 효용 점수가 변하도록 정의한다.

또한, <Figure 2>에서 제시한 함수를 바탕으로 두 대안의 전체 효용 차이는 아래 식 (4)와 같이 정의한다. 일반적으로 하나의 요소가 아닌 여러 요소를 복합적으로 고려하여 정의하기 때문에, 효용의 합을 통해 활용 방안 a가 활용 방안 b에 비해 어느 정도로 높은 효용을 가지는지 알 수 있다. 예를 들어 평가 기준이 세 종류일 경우, 세 지표 기반 선호함수를 토대로 효용을 산출하고 세 지표의 사전 가중치(w_i)를 고려하여 활용 방안 a가 다른 활용 방안들과 비교하여 어느 정도 선호되는지를 수치화하였다.

Figure 2.

V-shape with Indifference Function

산출된 선호함수의 값을 토대로 순흐름량(Net flow)을 산출한다. 순흐름량을 산출하기 위해서는 두 종류의 흐름(선호유입량, 선호유출량)을 정의해야 한다. 선호유입량(Leaving flow)는 선택한 대안의 효용 점수가 다른 대안보다 높을 경우, 그 점수 차이의 합계로 정의된다. 선호유입량은 활용 방안 a의 효용이 다른 활용 방안들에 비해 높을 때, 큰 값이 산출되며, 유입량 값이 클수록 활용 방안 a가 보다 선호됨을 의미한다. 반대로 선호유출량(Entering flow)은 반대의 의미로 정의된다. 즉, 활용 방안 a의 효용이 다른 방안에 비해 높을수록 낮은 값을 가진다. n개의 활용 방안이 있을 때, 활용 방안 a의 선호유입량과 선호유출량은 식 (5)와 같이 정의한다.

그리고 순흐름량은 선호유입량과 선호유출량의 차이로 정의되어, 순흐름량이 높을수록 보다 높은 효용의 대안이라고 정의되며 이는 식 (6)과 같다. 이를 통해 본 연구에서는 각 기술의 활용 방안에 대한 상대적 선호도를 파악할 수 있다.

4.1 활용 방안 발굴

첫 번째 단계는 선정한 세 기술의 활용 방안을 발굴하는 것이다. 이를 위해 본 연구에서는 세 종류의 기술을 포함하는 논문을 수집하였다. 논문 데이터는 기관에서 보유한 WoS(World of Science) 데이터베이스를 활용하였으며, 논문의 제목이나 요약문, 키워드가 기술에 부합하는 논문만을 검색하였다. 인공지능 키워드와 기술(클라우드 컴퓨팅, 사물인터넷, 가상 및 증강현실)을 동시에 포함하는 논문 중, 2017년부터 2021년까지 발간된 Article 형태의 자료로 한정하여 약 4,300여 건의 자료를 검색하였다. 아래 예시와 같이 기술별로 기술명과 인공지능 키워드를 토대로 세 개의 검색어를 구성하여 검색에 활용하였다.

(“Virtual Reality” OR “Augment Reality” OR (“VR” OR “AR”)) AND (“AI” OR “Artificial Intelligence”) AND Year: 2017-2021

세 기술에 대해 수집한 논문에 대한 정보 중 연도와 상위 저널에 대한 정보는 <Table 1>과 같이 나타났다. 연도가 지날수록 발간된 논문이 급증함을 알 수 있었으며, 상위 저널은 예상대로 IEEE와 같은 인공지능 및 전기·전자 관련 저널들로 분석되었다. 그리고 검색된 논문별로 제목, 키워드, 요약문, 인용 정보(Backward, Forward citation) 등의 정보를 수집하고, 적정 여부를 판단하여 분석대상의 논문을 선정하였다.

Table 1.

Descriptive Statistics of Gathered Paper

다음으로 수집한 정보를 토대로 논문 문서에 대한 군집화를 시행하여 활용 방안을 도출하였다. 본 연구에서는 Citespace를 활용하여 기술의 활용 방안을 도출하기 위해, 클라우드 컴퓨팅 등 3종의 기술별로 수집한 문서를 기반으로 군집 분석을 수행하였다. Citespace는 군집 분석 결과를 <Figure 3>과 같이 시각화하여 보여주며, 시각화한 각 군집 별로 클러스터를 설명하는 키워드를 도출한다. 가상 및 증강현실 기술의 군집화 사례는 다음과 같다.

Figure 3.

Result of Cluster Analysis

위의 시각화 자료를 기반으로 기준점을 넘는 8개의 군집을 도출하였다. 해당 군집에 대한 통계 정보 및 주요 키워드는 아래 <Table 2>와 같다.

Table 2.

Result of Cluster Analysis

<Table 2>를 보면 Silhouette는 0.7을 모두 고르게 넘어, 군집 분석이 잘 되었음을 알 수 있다. 다음으로, 각 군집 별로 활용 방안은 추출된 키워드를 조합하여 지정하였다. 예를 들어 군집 #1의 경우, 여러 키워드 중, simulation, human-computer interaction, virtual environments, computer assisted instruction 등의 키워드에 주목하여, 컴퓨터 등 장비에 기반한 지원에 기반한 활동이나 학습을 뜻하는 “Computer Assisted Instruction”을 활용 방안으로 정의하였다. 다만, 군집 #4는 군집 #0과 유사한 의학적 활용 방안으로 판단하였으며, 군집 #9 이후로는 문서의 수가 너무 적어 활용 방안에서 배제하였다. 이를 통해 아래와 같이 응용 분야를 추출하였으며, 그 결과를 요약하면 <Table 3>과 같다.

Table 3.

Extracted Utilization List

4.2 지표 산출

다음으로 사용자들의 활용 방안에 대한 의견을 알아보기 위해 온라인 게시물을 수집하였다. 본 연구에서는 해당 내용에 대해 언급하는 다양한 형태의 온라인 포럼(사이트)을 검색하였으며, 포럼의 게시글은 물론 댓글 또한 함께 수집하였다. 수집한 게시물에는 주로 다른 분야에 영향을 미치거나 활용 방안으로 예상되는 새로운 기술 및 최신 활용 방안에 대한 정보가 포함되어 있다. 분석 대상인 기술과 관련된 포럼은 총 다섯 종류로 Reddit, Quora와 같은 SNS 사이트와 AI-Fourms, MIT Technology Review, DataScienceCentral과 같은 온라인 포럼 사이트로 지정하였다. 해당 사이트에는 인공지능을 전문으로 다루거나 인공지능과 관련한 포스팅을 모아둔 채널이 존재한다. 이 채널에서 Cloud Computing과 같은 기술명으로 검색하여 나온 포스팅을 분석데이터로 삼았다. 이렇게 약 8,000여 건의 포스팅과 댓글을 검색하여 수집하였다. 특히 Figure 4와 본문에 영상 또는 링크만 있는 포스팅의 경우. 이 경우에는 댓글만 수집하여 이를 문서로 구성하였다.

Figure 4.

Example of Gathered Data

이렇게 수집한 문서들로부터 키워드를 추출하였다. 추출된 키워드는 활용과 관련된 키워드와 감성 키워드로 구분하였으며, 유사한 의미의 여러 키워드를 하나로 합쳤다. 활용 방안과 관련된 키워드는 Citespace에서 우도비율비 및 잠재의미색인 알고리즘을 적용하여 나타난 키워드를 토대로 키워드별로 활용 방안을 할당하였다. 같은 방식으로 추출된 감성 키워드 또한 SentiWordNet을 통해 키워드별로 감성 점수가 부여되었다. 이를 토대로 키워드 벡터를 구축하여, 하나의 게시물에 대해 대표적인 활용 방안과 감성(긍정/부정/중립)을 할당하였다.

예를 들어 위의 포스팅에서는 Citespace에서 추출된 키워드를 기반으로 다양한 형태의 활용 키워드(measure, realtime, glasses)를 수집하였다. 그리고, 각 키워드를 활용 분야별로 할당하여 문서의 활용 방안을 추정하였다. measure는 “Computer Assisted Instruction”으로 할당하였으며, glasses는 어떤 분야에도 속한다고 보았다. 그리고 realtime은 “Computer Assisted Instruction”과 “Navigation”에 할당된다고 정의하였다. 이렇게 활용 키워드의 종류를 분석하여 가장 많은 활용 분야인 “Computer Assisted Instruction”을 활용 분야로 할당하였다. 감성 키워드인 Easier(Easy)는 사전 내 1번 뜻에 대응하여 긍정점수(0.625)가 부정점수(0.25)보다 높아 긍정적 단어로 분류된다. 또한, love와 같은 긍정 키워드가 함께 발견되어 기준치 이상의 감성 점수를 가지는 위 문서는 긍정으로 분류하였다.

I love it. It would totally make cooking multitasking easier and I love having the recipe handy. Understand the concerns about safety with hot liquids etc, but if the glasses/headset are relatively small then I do not see a difference from people who have to wear regular glasses + the extra info and overlays. (...) It would in theory be possible to measure the temperature of containers using already existing tehnology(technology) like IR cameras or laser thermometers and display them in realtime.

이러한 과정을 거쳐, 각각의 문서를 분석하여 문서별로 활용 방안과 감성 점수를 분석하였다. 그리고 각 활용 방안별로 활용 방안으로 할당된 문서들의 1) 긍정 또는 부정 문서의 우세 비중을 기반으로 만족도를 산출하였다. 다음으로 2) 각 활용 방안이 언급된 문서가 나타난 사이트를 매칭하여 사이트별로 만족도 점수에 기반한 순위를 산출하여 적합성 지표 중 합의 지수를 산출하였다. 마지막으로 3) 각 문서의 활용 방안별로 어떤 분야나 서비스에서 활용되는지를 산출하여 해당 활용의 비중에 따라 Shannon-weaver 지수를 산출하였다. 우선 <Table 4>는 만족도를 나타내는 지표에 대한 산출 결과를 요약한 것이다.

Table 4.

Summary: Satisfaction of Extracted Applications

<Table 4>의 결과를 보면 전체 활용 방안 중 부정적으로 평가된 방안은 일곱 개로, 소수의 활용 방안만이 부정적으로 평가됨을 알 수 있다. 클라우드 컴퓨팅(Cloud Computing)의 경우 대체로 시스템적인 활용 방안에 대한 만족도는 중립적으로 나타났는데, 이는 의견을 제시한 사용자가 제한적이기 때문이다. 상대적으로 모바일이나 자동화 시스템에 대한 만족도가 높게 산출되었는데, 이는 다른 기술과 비슷하게 사용자가 친숙하고 편리한 활용 방안을 선호하기 때문이다. 사물인터넷의 Smart Home/Logistics나 가상현실의 Body Recognition, Navigation과 같이 일상에서 흔하게 접할 수 있는 기술에 대한 글이 많고 점수도 높게 산출되었다. 예상과 달리 개발도상국을 위한 활용(Cloud Computing)과 홀로그램(AR and VR)에 대해 다소 낮은 점수가 산출되었다. 개발도상국에 대한 활용은 실효성에 대해 회의적인 의견을 가진 글들이 많았다. 홀로그램과 의료 활용(재활 치료)은 3D 멀미와 같은 요인에 의한 불편함이 담긴 부정적인 글이 많아 낮은 점수가 산출되었다.

다음으로 각 기술의 활용 방안에 대한 적합성(Suitability)을 산출하기 위해 거리기반 합의 지수와 Shannon-weaver 지수를 계산하였다. 계산 결과는 <Table 5>와 같으며, 합의 지수는 활용 방안의 수(n)가 증가하면 지수도 올라가기 때문에 이론상 최댓값 대비 산출값 비중으로 표기하였다.

Table 5.

Summary: Suitability of Extracted Applications

<Table 5>에서 합의 지수의 차이는 기술에서 상대적으로 작게 나타남을 알 수 있었다. 이는 합의 지표를 통해 사용자들이 이야기하는 기술의 활용에 대한 합의 정도가 대체로 비슷하다 해석할 수 있었다. 하지만 Body Recognition, Navigation(가상 및 증강현실), Autonomous System(클라우드 컴퓨팅) 등의 활용 방안은 유의미하게 낮은 지표 값이 도출되었다. 이는 대부분 스마트시티 등에 활용된 경우가 많았으며, 해당 방안들은 대부분 커뮤니티에서 명확한 활용처가 존재하고 좋은 평가를 받았다는 특징이 있다. 즉, 합의 지수를 값을 활용하여 명확한 활용처로 활용 방안에 대한 합의가 된 활용 방안을 찾을 수 있었다.

Shannon-weaver 지수는 상대적으로 차이가 크게 나타났다. 이는 활용 방안의 실제 활용 분야나 방식이 적게는 두 종류에서 많게는 다섯 개 이상으로 차이가 났기 때문이다. 사용자나 개발자가 활용 방안을 친숙하다 느낄 경우, 대체로 활용 분야가 다양하게 나타났다. 또한, 홀로그램의 경우 만족도는 낮았으나, Shannon 지수는 높게 나타났는데 이는 다양한 활용 방안이 균형 있게 제시되고 있다는 것과 만족도가 낮은 사항에 대한 개선방안에 대한 의견이 상대적으로 많았기 때문이다.

4.3 기술 평가

마지막 단계는 다기준 의사결정모형인 PROMETHEE를 통해 이질적인 지표를 통합하여 기술을 평가하는 것이다. 일반적으로 PROMETHEE는 모든 지표의 가중치를 같다고 가정한다. 하지만 본 연구에서는 만족도와 적합성 두 가지 기준으로 분석을 수행하였으며 두 기준의 중요도가 동등하다고 판단하였다. 따라서 만족도를 나타내는 감성 점수의 가중치와 적합성을 나타내는 두 지표의 가중치 합을 같게 설정하였다.

또한, 실증적 분석을 위해 본 연구에서는 B. Mareschal이 제공하는 PROMETHEE 소프트웨어를 활용하였다(Brans and Mareschal, 1994). 해당 소프트웨어를 통해 본 연구에서는 세 종류의 지표에 대해 선호함수와 활용 방안별 효용 점수를 산출하였다. 이때, 3.3절에서 설명한 V형 선호함수를 이루는 p와 q(두 활용 방안의 차이에 의해 효용 점수가 바뀌는 구간)를 지표별로 설정해야 한다. 이는 수집한 게시물을 모두 합친 후, 일부를 추출하여 지표 점수에 대한 분포를 분석하는 작업을 반복하여, p와 q의 값을 설정하였다.

본 연구에서는 지표에 대한 정보와 가중치를 <Table 6>과 같이 정하였다. 다른 지표에 비해 Shannon-Weaver 지수에 대한 p와 q 값의 차이를 크게 설정하였다. 이는 해당 지수는 분수가 포함된 로그항이 있어, 0과 1 사이의 값을 가질 수 있는 다른 두 지표에 비해 표준편차가 크게 나타나기 때문이다. 일부 활용 방안은 지표의 값이 p와 q의 범위 내에 속하지 않는 경우가 있었는데, 해당 지표를 통한 활용 방안의 효용은 각각 0 또는 1로 정의하였다.

Table 6.

Set Parameter for Four Utility Functions

이를 토대로 PROMETHEE 모형을 적용하여 활용 방안별로 산출한 결과는 <Table 7>과 같이 요약할 수 있다. 확실한 순위를 산출하기 위해 본 연구에서는 PROMETHEE II 모형을 적용하여 각 활용 방안의 순흐름량(Net-flow)을 산출하고, 이를 통해 활용 방안의 순위를 책정하였다.

Table 7.

The Result of Net-flow for Each Utilization

<Table 7>을 보면, 클라우드 컴퓨팅(Cloud Computing)의 경우 순위 분포가 극단적으로 나타났다. 해당 기술은 자동화 시스템이나 모바일의 활용과 같이 사용자가 특정 대상에 자신의 기기 연결하여 원격으로 운영하거나 관리하는 활용 방안에 높은 효용을 나타냈다. 사용자들은 두 활용 방안 모두 생산 현장이나 가정 등 다양한 분야에서 균형 있게 활용 가능하다고 보았다. 두 활용 방안은 사용자가 본 각 세부 활용 방안에 대한 만족도도 고르게 높게 나타났다. 이는 공장, 사무실, 가정 등 다양한 환경에서 다양한 방식으로 활용되는 세부 활용 방안에 대해 대체로 긍정적이고 쉽게 활용할 수 있다고 보았다고 해석할 수 있다. 그에 비해 보안 시스템이나 개발도상국으로의 활용 등에는 낮은 효용을 보였는데, 상당수의 게시물에서 해당 활용 방안에 대한 실효성에 의문이 담겨 있었다.

사물인터넷(Internet of Things)의 경우 의료적 활용이나 자원 관리의 경우를 제외하고는 대체로 높은 효용을 나타냈다. 특히 사용자들은 스마트홈 등의 가상 물리 시스템(Cyber-physical System)에 대한 기대가 높았다. 다른 활용 방안과 달리 해당 활용 방안은 실생활에서 쉽고 빈번하게 접하는 활용 방안이고, 사용자 편의성에 초점을 둔 활용 방안이기 때문에 높은 만족도를 보였다. 의학적 활용 방안은 선호 순위는 비슷했으나, 의사가 함께 있지 않은 진료를 선호하지 않는 경우가 많아 상대적으로 낮은 효용이 나타났다. 반대로 자원 관리 활용 방안의 경우 상대적으로 언급한 문서가 적었는데, 이는 사용자들이 기대하는 활용 방안이 아니라고 해석할 수 있다.

증강 및 가상현실(AR/VR)의 경우 자세 인식이나 네비게이션과 같이 현재 진행 중인 활용 방안의 효용이 높게 나타났다. 이는 대부분 사용자가 해당 활용 방안에 대해 충분히 접하고, 예상되는 활용 분야나 방식 등에 대해 쉽게 이해했기 때문이다. 또한, 해당 활용 방안은 응용 분야가 상대적으로 넓어 다양한 세부 활용 방안을 구성할 수 있다. 예상과 달리 홀로그램에 대한 효용이 낮게 나타났는데, 앞에서 언급했듯이 3D 멀미 등 사용자가 체감할 수 있는 신체적 부작용이 존재하여, 사용자들에게 부정적인 평가를 받았기 때문이라 해석할 수 있다.

기술군 수준에서 Net-flow의 평균치를 비교하면, 사물인터넷(0.025) > 증강 및 가상현실(-0.010) > 클라우드 컴퓨팅(-0.014) 순으로 산출되었다. 순위 비교 또한 같은 결과로 나타났다. 이는 사물인터넷의 활용 방안이 만족도와 적합성 관점에서 다른 두 기술군의 활용 방안보다 높은 효용을 가진다고 해석할 수 있다. 앞의 Table 5를 통해 기술군 별로 사용자들에게 가치가 높은 활용 방안들이 발굴되었으며, 이는 기술군은 물론 기술의 활용 방안을 토대로 앞으로의 기술 R&D 방향을 정하기 위해 활용할 수 있을 것이다.