제품 사용기간을 고려한 고객경험 분석 및 제품 개선방향 도출

1. 서 론

급변하는 기술환경에서 신제품 개발은 기업의 지속 가능한 경쟁 우위 선점에 있어 중요한 요인이다(Ramesh and Tiwana, 1999). 기업 간의 경쟁이 치열해짐에 따라 제품 수명주기는 단축되고 있으며, 기업의 발전과 시장에서의 경쟁우위를 유지하기 위해서는 지속적인 혁신과 신제품 개발이 필요하다(Galli, 2020). 신제품 개발은 빠르게 변화하는 시장 기회를 고객에게 가치 있는 제품으로 전환하는 것이다(Varaniūtė et al., 2022). 기업은 신제품 개발을 위해 정확하고 최신의 정보를 통해 고객의 요구사항을 파악해야 하며(Idrees et al., 2022), 고객이 제품을 사용하는 이유와 고객의 요구사항을 파악하기 위해서 고객경험을 분석하고 반영해야 한다(Meyer and Schwager, 2007).

고객경험이란 고객이 제품 및 서비스 제공자와의 관계를 유지하는 동안 갖게 되는 모든 경험의 합이다(Sharma and Chaubey, 2014). 이는 고객의 기대와 실제 경험 간의 상호작용으로 구성되며, 고객의 감정, 인지, 행동을 포함한다. 긍정적인 고객경험은 고객과 기업의 관계를 강화하고 고객 충성도를 구축하는 데에 필수적이며, 최종적으로는 기업의 수익성 증대로 이어지기 때문에 고객경험에 집중하고 이를 관리하는 것은 매우 중요하다(Grønholdt et al., 2015). 이러한 고객경험을 기업의 비즈니스 전략 수립 과정에 반영하기 위해서 다양한 채널을 통해 사후 고객만족도 조사를 실시하거나, 고객만족도 결과를 내부 핵심성과지표에 적용하는 등의 시도가 이루어지고 있다(Baek, 2023; Mousavi et al., 2024). 특히, 온라인 리뷰는 이러한 제품 사용과정에서의 총체적인 고객경험을 반영하는 중요한 산출물로서, 고객의 제품에 대한 실제 사용 경험과 만족도를 나타내는 중요한 자료이다. 따라서, 온라인 리뷰를 분석함으로써 고객경험의 동적인 변화를 이해하고, 이를 바탕으로 제품 개선 및 혁신 전략을 수립하는 것이 중요하다.

제품 개선 및 개발을 위해 소셜 데이터를 분석하는 연구도 증가하고 있다. 고객의 세밀한 의견을 파악하기 위해 최대 엔트로피를 적용한 Latent Dirichlet Allocation 모델을 통해 각 문장의 토픽 및 감정을 동시에 고려하여 감정 극성을 추출하는 리뷰 마이닝 연구(Ma et al., 2015), Conditional Random Fields를 기반으로 온라인 리뷰데이터에서 고객의 제품 불만족 요인을 분석하는 리뷰 마이닝 연구(Jin et al., 2016)가 있다. 이외에도 동적으로 진화하는 제품 기회를 추적하여 개선 방향을 도출하는 방법론을 제시하는 연구(Chung et al., 2019), 소셜미디어 데이터에 클러스터링, 감성분석을 적용하여 제품 출시 초기의 고객 불만요소를 모니터링하는 접근법을 제안하는 연구(Lee et al., 2021), 딥러닝 기반의 방법론과 연관 규칙 마이닝을 통해 고객의 감정 상태를 촉발하는 제품 기능을 식별하는 연구(Wang and Liu, 2023) 등이 수행되었다.

다양한 소셜 데이터 마이닝 연구들이 고객의 요구사항을 파악하고 제품의 개선방향을 제시하였지만, 다음과 같은 보완점이 존재한다. 첫째, 대부분의 연구는 제품에 대해 작성된 전체 기간의 리뷰데이터를 활용하여 분석을 수행하였다. 하지만, 이러한 접근 방식은 제품 출시 일자로부터, 또는 제품을 사용함에 따라 변화하는 고객의 경험을 고려하지 못했다. 고객이 제품을 사용하면서 겪는 경험의 변화는 리뷰데이터에 반영되며, 이는 고객의 제품 사용 초기 단계와 후기 사용 단계의 리뷰데이터를 비교 분석함으로써 명확히 파악할 수 있다. 예를 들어, 제품을 사용한 지 일주일 된 고객과, 1년이 된 고객이 남긴 “배터리가 오래 가고, 방수 기능이 좋다.”라는 리뷰는 다르게 해석될 수 있다. 제품 구입 초기에는 제품이 높은 수준의 기능을 수행하기 때문에 이러한 초기 리뷰를 통해 제품의 종합적인 성능을 판단하기에는 어려움이 있다. 하지만 1년 동안 제품을 사용한 고객이 남긴 리뷰의 경우에는, 제품이 장기간 사용되었음에도 높은 품질과 성능을 유지하고 있다고 볼 수 있으므로 해당 제품의 품질과 내구성이 높다고 판단할 수 있다. 또한, 제품 사용초기에는 흥미롭고 만족스러웠던 기능이 제품 사용기간이 늘어날수록 자주 사용되지 않고 불만족스러운 요소로 변화할 수 있으며, 반대로 제품 사용초기에는 관심을 받지 않던 기능이 제품을 오래 사용함에 따라 만족스러운 요소로 변화할 수 있다. 따라서 제품의 개선 및 개발을 위해서는, 변화하는 고객경험을 분석과정에서 고려할 필요성이 존재한다. 둘째, 대부분의 연구는 추출된 제품 개선 요소들의 우선순위를 식별하지 않았다. 기업은 신제품을 개발하거나 기존 제품을 개선하기 위해서 고객이 만족하고 있는 기능과 그렇지 않은 기능을 파악해야 한다. 또한, 제품이 제공하는 기능이 고객에게 있어 얼마나 필수적인 요소인지, 부가적인 요소인지에 대해 파악해야 한다. 특히, 기업은 제품의 연구개발을 위해 한정된 인적·물적 자원을 적절한 영역에 분배해야 한다. 따라서, 기존 제품의 개선을 위해 추가적인 자원이 필요한 영역과, 충분한 기능을 수행하고 있는 영역을 식별하고 순위화할 필요성이 존재한다. 셋째, 대부분의 연구는 제품 개선방향을 도출하기 위해 리뷰데이터를 활용하는 과정에서 고객이 제품을 구매한 날짜로부터의 기간인 제품 소유기간 정보를 사용하지 않았다. 최근 온라인 전자 상거래 사이트에서는 제품에 대한 텍스트 형태의 리뷰나, 별점, 작성일자 외에도, 고객이 제품을 구매한 일자와 리뷰를 작성하는 시점으로부터의 기간을 명시하는 제품 소유기간 정보를 제공하고 있으며 한 달 사용기와 같은 리뷰 작성을 유도하고 있다. 이것은 고객의 제품 사용에 대한 성숙도를 대변할 수 있는 지표로 볼 수 있기에 이를 활용하여 제품 리뷰데이터를 분석할 필요가 있다.

따라서 본 연구는 고객의 제품 사용기간을 고려하여, 변화하는 고객경험을 추적하고 제품 개선방향을 도출하는 방법론을 제시한다. 제시하는 방법론은 다음의 네 단계를 따른다: 1) 제품에 대해 작성된 대량의 리뷰데이터를 수집하고, 2) 토픽 모델링을 통해 수집된 리뷰데이터로부터 제품의 특징을 추출한다. 3) 제품 사용기간에 따른 제품 특징의 Importance와 Performance를 도출하고, 두 지표를 순위화한다. 4) 제품 사용기간에 따른 Importance- Performance Analysis(IPA)를 통해 고객경험을 추적하고, 제품 개선을 위한 기업의 전략 및 개발방향을 제시한다. 제시한 방법론의 효용성을 제시하기 위해, 본 연구는 8종의 스마트 워치 제품의 리뷰데이터를 이용하여 사례연구를 진행한다.

본 연구는 다음과 같은 기여점을 갖는다. 첫째, 제품 사용기간에 따라 달라지는 제품 특징의 중요도와 만족도를 파악하여 제품 개선 및 개발방향을 제시할 수 있다. 또한, 제품 사용기간에 따라 변화하는 토픽 구성단어를 고려하여 고객경험을 파악하고 구체적인 제품 개선 및 개발 방향을 제시할 수 있다. 둘째, 본 방법이 제시하는 방법론은 신제품 개발 및 개선을 위해 대량의 데이터로부터 변화하는 고객경험을 분석하는 과정을 효율화하고, 기존의 설문 기반의 방법보다 상대적으로 신속하게 고객의 피드백과 요구사항을 발굴할 수 있다. 마지막으로, 본 연구에서 제시하는 방법은 고객이 제품을 사용한 기간에 따라 동적으로 변화하는 고객경험을 고려한 새로운 관점에서의 제품 개선 및 신제품 개발을 위한 지원 도구로 활용될 수 있다.

본 논문의 제2장에서는 온라인 VoC 기반의 제품 개선 연구를 소개하고, 제3장에서는 본 연구의 연구 절차를 구체적으로 설명한다. 제4장에서는 제안된 방법론의 사례연구와 그 결과를 제시하고, 마지막으로 제5장에서는 본 연구의 결론 및 추후 연구에 대해 서술한다.

2. 온라인 VoC 기반의 제품 및 서비스 개선 연구

인터넷의 발전으로 온라인 시장은 기업과 고객이 서로 연결될 수 있는 중요한 소통 공간으로 변화하였다(Nguyen and Coudounaris, 2015). 이에 따라, 사람들은 인터넷을 통해 제품이나 서비스에 대한 다양한 의견을 표현할 수 있게 되었다. 온라인 고객 리뷰는 사용자 의견 데이터의 대표적인 유형으로, 제품의 모든 측면에 대한 고객의 태도를 나타내고 제품 기능에 대한 고객의 관심을 반영한다(Liu, 2022). 설문조사에 따르면, 약 73%의 사용자가 온라인 제품 리뷰가 제품 구매 결정에 상당한 영향을 미친다고 답변하였다(Miao et al., 2016). 지속적으로 제품을 혁신해야 하는 기업에게 온라인 리뷰는 혁신적인 아이디어의 원천이며, 새로운 제품 디자인 및 개선 사항에 대한 정보를 제공하는 매력적인 매체이다(Qi et al., 2016).

온라인 리뷰를 이용하여 Voice of Customer(VoC)를 포착하고 제품 및 서비스 개선방향 도출에 반영하고자 하는 연구들이 많이 수행되었다. VoC를 활용한 연구들은 크게, 품질 및 고객 만족도 향상을 목표로 하는 연구와 기술 혁신 및 시장기회 발굴을 목표로 하는 연구로 분류할 수 있다. <Table 1>은 온라인 VoC를 활용하여 제품 및 서비스를 개선하고자 한 선행연구의 목록이다. 품질 및 고객 만족도 향상을 목표로 하는 연구는 온라인 리뷰데이터를 활용하여 파악된 고객의 요구사항을 바탕으로 제품 및 서비스 개선 전략을 제시하고자 했다. VoC를 추출하기 위해 Kano 모델에 기반하여 온라인 리뷰를 분석하고 제품 개선 전략을 제시하는 연구가 수행되었다(Qi et al., 2016). 온라인 리뷰에서 추출된 VoC인 제품 속성을 Kano 모델을 통해 우선순위화 및 분류하고, 감성분석을 통해 제품 개선 전략을 제시하였다. 기존 설문조사 기반으로 수행되었던 전통적인 중요도-성과 분석(IPA)를, 온라인 리뷰로 확장하여 분석하고자 하는 연구도 수행되었다(Bi et al., 2019). 온라인 리뷰데이터에 LDA 토픽 모델링을 적용해 VoC인 중요 속성을 추출하고, 추출된 중요 속성을 기반으로 IPA를 수행하여 기업의 서비스 개선 전략 수립을 지원하는 방법을 제시하였다. 추출된 VoC를 각기 다른 방법을 활용하여 분석한 앞선 연구들과 달리, VoC를 추출하는 과정에서 새로운 텍스트 마이닝 기법을 적용하는 연구도 수행되었다. 온라인 리뷰데이터로부터 VoC를 분석하고 고객 만족요인을 찾기 위해 LASSO와 Decision Tree를 적용한 새로운 텍스트 마이닝 기법을 제안하였다(Chen et al., 2020). 이를 통해, 고객 만족도에 영향을 미치는 중요한 요소를 신속하게 파악하고 서비스 품질의 향상을 위한 서비스 개선방향을 제시하였다. 기술 혁신 및 시장기회 발굴을 목표로 하는 연구는 온라인 리뷰데이터에서 VoC를 추출하고, 기업이 보유한 특허 정보를 기반으로 새로운 기술 기회를 포착하고자 했다. 예를 들어, 단순히 제품 개선만이 아닌, 프로세스와 공급망 개발까지 고려하여 기업의 제품 개선 전략을 지원하는 방법을 제안하는 연구가 수행되었다(Purnama and Masruroh, 2023). 고객의 VoC를 바탕으로 제품기회를 발굴하고, 기업의 특허 데이터를 통해 사용 가능한 기술과 잠재 공급업체에 대한 대체 솔루션을 제공하여 신제품 개발 초기 단계의 중요한 요구사항을 해결하는 새로운 방법을 제시하였다. 그 외에도, 특허 포트폴리오와 온라인 리뷰데이터를 접목해 제품 개선 의사결정을 지원하는 새로운 접근 방식이 제안되었다(Trappey et al., 2018). 텍스트 마이닝을 통해 온라인 제품 리뷰에서 VoC을 수집하고, 긍정적인 의견과 부정적인 의견의 대표 핵심 용어를 식별하였다. 상위 VoC와 회사의 특허 포트폴리오를 연계하여 확장된 품질기능전개(QFD) 연구를 수행하였고, 미래 제품의 개선을 위한 기능을 식별하고 개선 방향을 제시하였다.

Table 1.

Comparison of Previous Studies and This Study

하지만 선행연구들은 제품을 사용하는 기간에 따라 동적으로 변화하는 고객의 관심과 만족도를 파악하지 못했다. 리뷰가 작성된 시점은 고객이 제품을 사용한 기간을 대변하지 않는다. 제품을 충분히 사용해본 후에 작성된 성숙한 리뷰일 수도 있고, 아직 제품을 많이 사용해보지 않은 채 작성한 가벼운 리뷰일 수 있다는 것이다. 따라서, 단순히 리뷰가 생성되는 시점이 아니라 고객이 제품을 사용한 기간을 고려한 분석을 실시한다면, 제품을 사용함에 따라 변화하는 총체적인 인식의 흐름을 파악할 수 있을 뿐만 아니라, 제품 사용기간에 따른 구체적인 개선방향을 제시할 수 있다. 또한, 한정된 자원을 가지고 있는 기업은 제품의 불만요소를 모두 완벽히 개선하거나, 제품 요소들의 모든 기능을 향상하기에는 어려움이 있다. 신제품 개발 및 개선을 위해서는 집중해야 할 특징을 선정해야 할 필요성이 존재하기 때문에, 본 연구에서는 제품 개선방향 도출과정에서 집중해야 할 제품 특징을 식별하여 순위화를 지원하고자 한다.

3. 데이터 및 연구절차

본 연구는 <Figure 1>와 같이 네 단계로 구성된다. 1) 제품의 온라인 리뷰데이터를 수집 및 전처리하고, 2) 토픽 모델링을 통해 리뷰데이터로부터 제품의 특징을 식별한다. 3) 제품 사용기간에 따른 제품 특징의 Importance와 Performance 지표를 계산하고 해당 지표들을 순위화한다. 4) 제품 사용기간을 고려한 IPA를 통해 Dynamic IPA Map을 형성하고, 고객경험을 추적하여 기업이 집중해야 할 제품 특징을 포착하고 구체적인 제품 개선방향을 제시한다. 본 장에서는 다음 네 단계에 대해 상세하게 설명한다.

Figure 1.

Overall Process of the Suggested Approach

3.1 제품의 온라인 리뷰데이터 수집 및 전처리

먼저, 본 연구의 목적인 고객경험 분석을 통한 제품 개선방향 도출을 위해서는 제품의 온라인 리뷰데이터를 수집하는 과정이 요구된다. 고객이 제품을 사용한 기간에 따라 변화하는 고객경험을 파악하기 위해서는 고객이 제품을 얼마나 사용했는지를 식별할 수 있어야 한다. <Figure 2>는 고객이 제품을 소유한 기간을 명시하고 있는 온라인 제품 리뷰의 예시다. 이와 같이, 최근 온라인 전자 상거래 사이트에서 고객의 제품 사용 후기 작성을 유도하고 있는데 한 달 사용 후기, 1년 사용 후기 등 고객이 제품을 구매한 시점으로부터 제품 리뷰를 작성한 시점까지의 기간을 바탕으로 소유 기간을 표시하기도 한다. 따라서 본 연구에서는 고객의 제품 구매 시점으로부터 리뷰 작성 시점까지의 기간을 고객이 제품을 사용한 기간으로 정의하여 제품 사용기간에 따른 고객경험을 분석하고자 한다.

Figure 2.

Example of Product Reviews

소셜미디어에서 제품의 온라인 리뷰데이터는 웹 크롤링, Open API 등과 같은 방법을 통해 수집할 수 있다. 제품 사용기간을 파악할 수 있는 타겟 제품에 대한 온라인 리뷰데이터를 수집한 후, 길이가 너무 짧거나 제품의 특징을 식별할 수 없는 리뷰를 제거한다. 제품 리뷰를 통해 제품의 특징을 파악해야 하므로 제품명이나 온라인 사이트명, 이모티콘, 의성어와 같이 추출하고자 하는 제품 특징과 관련 없는 불용어를 제거해야 한다.

3.2 제품 리뷰데이터로부터 제품 특징 추출

본 단계에서는 소셜미디어에서 고객들이 제품에 대해 언급하는 제품 특징들을 추출하기 위해서 토픽 모델링을 사용한다. 토픽 모델링은 문서 내에 잠재된 주제를 도출하는 방법으로 LDA(Latent Dirichlet Allocation), LSA(Latent Semantic Analysis), PLSA(probabilistic Latent Semantic Analysis) 등이 존재한다. 이 중, LDA는 최근까지 가장 보편적으로 사용되고 있는 대표적인 토픽 모델링 방법이다. LDA는 단어들이 주어진 토픽에 속해 있을 확률과 문서가 주어진 토픽에 속해 있을 확률을 계산하고, 각 단어의 등장 빈도와 단어들 사이의 관계를 고려하여 토픽을 추정한다(Blei et al., 2003). LDA는 오랜 시간동안 다양한 분야에서 높은 성능과 유용성을 입증해왔지만, 계산 복잡도가 높으며 단어 간의 복잡한 의미 관계를 포착하는 데에 한계점을 가지고 있다(An et al., 2023). 최근에는 이러한 한계점을 극복하기 위한 토픽 모델링 방법 중 하나로, 딥러닝 기술을 활용한 BERTopic 기법이 제안되었다(Grootendorst, 2022)(<Figure 3> 참조).

Figure 3.

BERTopic Framework

BERTopic은 사전 훈련된 언어 모델인 Bidirectional Encoder Representations from Transformer(BERT)를 활용한 임베딩과 class-based Term Frequency-Inverse Document Frequency (c-TF-IDF) 단어 가중치를 통해, 밀집된 클러스터를 생성하여 텍스트에 잠재된 의미 있는 주제를 찾아내는 토픽 모델링 기법이다. 먼저, BERT를 이용하여 각 문서를 임베딩하고, 고차원 데이터를 저차원 공간으로 변환하는 과정에서 데이터의 지역적 및 전역적 특징을 보존할 수 있는 차원 축소 방법인 Uniform Manifold Approximation Projection을 사용하여 임베딩된 벡터의 차원을 축소한다. 마지막으로 유사한 문서끼리 묶어주는 방법인 Hierarchical Density-Based Spatial Clustering of Applications with Noise을 활용해 클러스터링을 진행한다. 전통적인 토픽 모델링 기법인 LDA와 BERTopic의 토픽 모델링 결과를 비교하는 연구도 다수 수행되었는데, 토픽 내 키워드 간의 의미적 유사성을 나타내는 토픽 일관성(Topic coherence)과 토픽 다양성(Topic diversity) 측면에서 BERTopic이 LDA보다 전반적으로 높은 안정성과 우수성을 보이는 것으로 알려져 있다(Abuzayed and Al-Khalifa, 2021; Egger and Yu, 2022).

또한 BERTopic은 토픽의 c-TF-IDF 값을 활용하여 전체 기간에 대한 글로벌 토픽을 식별하고, 글로벌 토픽을 기반으로 각 시간 단계의 토픽 표현을 생성하는 동적 토픽 모델링 기능을 지원한다. 동적 토픽 모델링은 정적인 토픽 모델링의 한계를 극복하여, 시간이 지남에 따라 주제가 어떻게 진화하는 지를 반영하는 토픽 모델링 기법이다(Blei and Lafferty, 2006). c-TF-IDF는 클래스, 즉 토픽 내에서 단어의 중요성을 의미하는 값으로, 단일 클래스의 모든 문서를 하나의 문서로 처리하여 계산되며 BERTopic에서 클래스별 토픽을 추출하기 위한 c-TF-IDF를 산출하는 식은 (1)과 같다(Alhaj et al., 2022).

$\[ W_{x,c}=‖t{f}_{c,t}‖\times log\left(1+\frac{A}{f_x}\right) \]$

(1)

$$ \begin{array}{l}t{f}_{c,t}:\mathit{\text{ frequency of word }}x\mathit{\text{ in class }}\\ f_x:\mathit{\text{ frequency of word }}x\mathit{\text{ across all classes }}\\ A\mathit{\text{ : average number of words per class }}\end{array}$$

동적 토픽 모델링을 통해 시간에 따라 주제가 어떻게 진화하는지를 추적할 수 있기 때문에, 제품 사용초기부터 후기까지 제품 특징에 대한 고객의 경험 변화를 추적할 수 있다. 예를 들어, ‘배터리’라는 토픽에 대해 작성된 리뷰 내용과 리뷰 내 핵심 키워드의 변화를 살펴봄으로써 ‘배터리’에 대한 고객경험을 정량적으로 식별할 수 있다.

3.3 제품 사용기간에 따른 고객 인식 지표 도출

본 단계에서는 고객이 제품을 사용한 기간에 따라 제품 특징에 대한 인식이 어떻게 변화하는지를 탐지하기 위해 고객 인식 지표를 도출한다. 제품에 대한 고객 인식의 변화를 파악하기 위해서 제품 특징에 대한 관심 정도(Importance)와 제품 특징에 대한 만족도(Performance)를 지표로 정의하였다.

첫 번째 지표인 Importance는 제품 특징에 대한 관심 정도이다. 고객이 리뷰데이터 내에서 언급하는 제품 특징은 해당 제품 특징이 제품 사용기간 동안 중요하게 여긴 요소이자, 잠재적 구매자에게 공유하고자 하는 중요한 제품 특징이라고 볼 수 있다. 또한, 제품을 오랜 시간 사용함에 따라 관심도가 낮아지고 사용하지 않게 되는 기능이 존재하기에 리뷰 내의 제품 특징에 대한 언급량은 제품 특징에 대한 고객의 관심 정도를 대변할 수 있다. 따라서, 제품 사용기간 p에서 토픽 t의 Importance_p,t는 기간 p에 작성된 문서의 수에서 토픽 t에 할당된 문서의 수(Document_p,t)의 비율을 의미하며, 식 (2)와 같이 산출할 수 있다.

$\[ { Importance }_{p,t}=\frac{{ Document }_{p,t}}{\sum _{k=1}^K{ Document }_{p,k}}\times 100 \]$

(2)

$$ \begin{array}{l}p: Period \\ t : Topic\# \\ K: Total number of topics \end{array}$$

두 번째 지표인 Performance는 제품 특징에 대한 고객의 만족도로, 각 토픽을 구성하는 단어들과 그 단어들의 c-TF-IDF 값을 바탕으로 감성분석을 통해 계산된다. <Figure 4>와 같이, 제품 사용기간에 따라서 토픽의 구성단어와 c-TF-IDF 값은 변화한다. 같은 토픽이더라도 제품 사용기간에 따라 토픽을 구성하는 단어과 그 가중치가 변화하기 때문에 제품 특징에 대한 만족도를 산출하기 위해서는 이를 반영한 감성분석을 수행하여야 한다. 하나의 리뷰는 대체로 여러 문장으로 구성되어 있으며, 리뷰 내의 각 문장이 다른 제품 특징에 대해 서술할 수 있다. 이를 고려하기 위한 문장 수준의 감성분석은 다수의 연구에서 사용되어 그 활용성을 입증해왔다(Wankhade et al., 2022; Yang and Cardie, 2014). 따라서 본 연구에서는 리뷰데이터를 문장 단위로 분할하여 문장 수준의 감성분석을 수행한다.

Figure 4.

Changes in Keywords of Product Feature # over Time

<Figure 5>는 제품 사용기간에 따른 제품 특징 #에 대한 Performance 값을 산출하는 과정이다. 각 제품 사용기간 별 리뷰데이터에서 해당 제품 사용기간의 토픽을 구성하는 각 단어들의 평균 감성점수를 계산하고, 각 단어의 c-TF-IDF 가중치를 고려하여 합산해 최종적인 Performance 값을 도출한다. 제품 사용기간 p에서 토픽 t의 Preformance_p,t는 토픽 t를 구성하는 모든 단어에 대하여, 단어의 c-TF-IDF 값(W_n,p,t)과 평균 감성점수(S_n,p,t)를 곱한 후 합산한 값을 의미하며, 식 (3)과 같이 산출할 수 있다.

Figure 5.

Performance derivation process of product feature #

$\[ { Performance}_{p,t}=\sum _{n=1}^N{W}_{n,p,t}\times S_{n,p,t} \]$

(3)

$$ \begin{array}{l}p: Period\\ t : Topic\#\\ N : Number of topic composition words \\ S_{n,p,t}: Average sentiment score of word n in Period p\\ W_{n,p,t}:c-TF-IDF of word n in Period p and Topic t\end{array}$$

3.4 고객경험 기반의 동적 IPA 맵 형성

본 단계에서는 앞서 도출한 고객 인식 지표, Importance와 Performance를 기반으로 IPA을 수행한다. IPA는 제품이나 서비스에 대한 고객 만족도를 분석하는 방법의 하나로, 고객 만족을 위해 우선 집중해야 할 영역과 순위를 결정하는 데에 효과적인 방법이다(Martilla and James, 1977).

<Figure 6>의 IPA의 Matrix에서, A1에 속하는 요소들은 표준화된 수준의 성과를 달성하는 데 성공한 주요 강점들이며, 추가적인 자원 없이도 현상 유지가 가능하다. A2에 속하는 요소들은 주요 약점들로, 집중하여 개선하지 않으면 다른 기업과의 경쟁에서 뒤처질 수 있기에 추가적인 자원 할당 및 개발이 필요하다. A3의 요소들은 고객들에게 낮은 성과를 보이지만, 그 중요성이 낮아서 현재 위협이 되지는 않지만, 향후 부차적인 약점이 될 수 있다. A4의 요소들은 부차적이며 중요하지 않은 강점들로, 불필요한 자원을 줄이고 다른 영역에 집중하는 것이 권장된다.

Figure 6.

Matrix of Importance-Performance Analysis

IPA Matrix의 영역을 사분면으로 나누는 두 축의 위치를 결정하는 방법으로는 크게 척도 중심의 방법과 데이터 중심의 방법이 존재한다(Bi et al.., 2019). 척도 중심의 방법은 각 지표 척도의 중앙값을 축으로 사용한다. 데이터 중심의 방법에서는 산출된 각 지표 점수들의 평균값 또는 중앙값을 축으로 사용한다. 하지만, 척도 중심의 방법의 경우는 산출된 측정요소들이 각 사분면에 골고루 위치하는 것이 아닌, 특정 사분면에 몰리는 현상으로 인해 측정요소들의 우선순위를 도출하기 어렵다. 데이터 중심의 방법의 경우는 기간에 따른 동적 IPA 분석을 수행하는 과정에서 기간별로 데이터의 평균값 또는 중앙값이 변화하여 축을 고정할 수 없다는 문제점이 존재한다.

제품 개선을 통해 효과적으로 고객 만족도를 향상하기 위해서는 고객이 제품을 사용하는 과정에서 동적으로 변화하는 제품에 대한 인식, 즉 고객경험이 반영되어야 한다. 따라서 본 연구에서는 동적인 관점에서의 IPA를 수행하기 위해 순위화된 지표를 활용하여 동적 IPA 맵(Dynamic IPA Map)을 형성하고, 한정적인 자원을 가지고 있는 기업이 집중해야 할 제품 특징을 포착하고자 한다. 순위화된 지표를 사용하여 IPA를 수행하면, 고정된 축을 바탕으로 각 사분면에 제품 특징들이 골고루 위치할 수 있다. 또한, 제품 사용기간에 따라 변화하는 제품 특징의 상대적인 중요도와 만족도를 기반으로, 제품 사용기간 별로 중점적으로 개선 및 집중해야 할 요소에 대해 파악하고 기업이 대응해야 할 전략을 도출할 수 있다.

4. 사례연구 : 스마트 워치

본 연구는 2019년 이후로 출시된 스마트 워치를 타겟 제품으로 선정하여 사례연구를 실시하였다. 스마트 워치는 시계의 역할을 수행할 뿐만 아니라, 스마트폰 연동, 운동강도 측정, GPS 기능 등 다양한 기능을 보유하고 있으며, 제품 개발 및 출시 주기가 짧은 대표적인 기기 중 하나이기에 본 연구방법을 적용하여 사례연구를 수행하기에 적합하다고 판단하였다. 사례연구에 사용된 스마트 워치는 총 8가지로, 제품명과 제품 출시일은 <Table 2>와 같다.

Table 2.

Types of Target Product

본 연구는 제품 사용기간에 따른 고객경험을 분석하기 위해서 고객의 제품 사용기간을 파악할 수 있는 데이터를 필요로 한다. 고객의 제품 사용기간을 파악하기 위해 본 연구에서는 온라인 전자상거래 사이트인 Best Buy에서 제품 리뷰데이터를 수집하였다. Best Buy는 고객이 제품 리뷰를 작성한 시점뿐만 아니라, 고객이 제품을 얼마나 소유하였는지에 대한 기간을 추가로 제공한다. 따라서 본 연구에서는 소유 기간을 고객이 제품을 사용한 기간으로 정의하며, 8개의 제품에 대하여 2020년 1월 1일부터 2022년 12월 31일까지 3개년 동안 작성된 25,655개의 제품 리뷰데이터를 수집하였다.

먼저, 수집된 리뷰데이터를 분석하기에 앞서 전처리 과정을 수행하였다. 리뷰데이터로부터 제품 특징을 식별하기 위해서 제품 특징과 관련 없는 제품 제조업체명, 제품명, 온라인 사이트명 등을 제거하였다. 또한, 공백 및 특수문자를 포함한 리뷰의 글자 수가 70자 미만인 짧은 리뷰는 의미 있는 정보를 포함하고 있지 않다고 판단하여 제외하였다. 추가적으로 제품 특징을 식별할 수 없는 의미 없는 불용어(이모티콘, 특수문자, 의성어 등)를 제거하였다. 본 연구의 목적은 제품 사용기간에 따라 변화하는 고객경험을 추적하는 것이기 때문에, 제품 사용기간에 대한 정의가 필요하다. 따라서 제품 사용기간을 총 4개의 기간(Period 1 : 1개월 미만 사용, Period 2 : 1개월 이상~2개월 미만 사용, Period 3 : 2개월 이상~6개월 미만 사용, Period 4 : 6개월 이상~1년 미만 사용)으로 설정하였다. 각 기간에 할당된 리뷰데이터는 Period 1은 10,615개, Period 2는 9,362개, Period 3은 3,584개, Period 4는 1,483개이다.

본 연구에서는 제품 특징과 관련된 토픽을 도출하기 위해 BERTopic을 사용하여 토픽 모델링을 수행하였다. 최대 두 개의 연속된 단어를 활용하여 키워드를 식별하였으며 그 결과, 55개의 주제가 생성되었고 계층적 토픽 모델링을 통해 19개의 대주제를 추출하였다 (<Appendix 1> 참조). 다음 19개의 대주제 중, 서비스, 가격, 감정적인 요소를 담고 있는 8개의 토픽을 제거하고 제품 특징과 관련 있는 11개의 토픽을 식별하였으며, 정의된 제품 특징 명은 <Table 3>과 같다.

Table 3.

Product Features Selected from BERTopic Topic Modeling Results

본 연구에서는 제품 사용기간에 따라 변화하는 제품 특징에 대한 Importance와 Performance를 파악하기 위해 동적 토픽 모델링을 수행하였다. 첫 번째 지표인 Importance는 제품 사용기간 별 제품 특징에 할당된 문서의 비율로, 식 (2)를 통해 계산되었다. Importance가 높을수록 해당 제품 특징에 대한 고객의 관심이 높다는 것을 의미한다. 동적 토픽 모델링의 결과로 도출된 토픽별 할당 문서의 수를 통해, 제품 사용기간 별 제품 특징의 Importance를 산출하였다(<Table 4> 참조). <Figure 7>은 제품 사용기간에 따라 변화하는 제품 특징의 Importance를 시각화한 결과이다. 제품 특징 ‘Battery’의 문서 비율이 다른 토픽에 비해 월등히 높기에 해당 토픽을 제외하고 시각화를 수행하였다. 이를 통해, 제품 특징 ‘Battery’와 ‘Health care’는 제품 사용기간 내내 고객이 가장 관심 있게 언급하는 제품 특징이라는 것을 파악할 수 있었다. 또한, 제품 사용기간이 늘어남에 따라 고객이 점차 언급하지 않고 관심을 갖지 않는 제품 특징 ‘Fall detection’, ‘Hand washing’을 식별할 수 있었다.

Table 4.

Changes in the Importance of Product Features Depending on the Product Usage Period

Figure 7.

Visualization of the Importance of Product Features Depending on the Product Usage Period

두 번째 지표인 Performance는 제품 특징에 대한 고객의 만족도로, 식 (3)을 통해 계산되었다. 제품 사용기간에 따라 동일한 제품 특징에 대해서도 토픽을 구성하는 단어와 c-TF-IDF 값이 변화하기 때문에, 이를 반영하여 제품 특징의 만족도를 산출하였다. <Figure 8>은 제품 특징 ‘Waterproof’의 Performance를 도출하는 과정이다. <Figure 8>을 보면, Period 1에서 ‘water’라는 키워드의 c-TF-IDF 값은 0.268이었으나, Period 2에서는 0.252, Period 3에서는 0.218, Period 4에서는 0.268로 변화한다. 특히 Period 4에서는 ‘pool’, ‘shower’라는 키워드가 새롭게 등장하였다. 이와 같이 제품 사용기간에 따라 키워드의 c-TF-IDF 값이 변화하며, 기존에 존재하지 않았던 새로운 키워드가 등장하기도 한다.

Figure 8.

Performance Derivation Process of Product Feature ‘Waterproof’

문장 단위의 감성분석을 수행하기 위해, 수집된 리뷰데이터를 문장 단위로 분할하고, 어휘 및 규칙 기반의 감성분석 도구인 VADER를 사용하여 각 문장의 감성점수를 측정하였다. 토픽을 구성하는 단어가 포함된 문장들의 평균 감성점수에 단어의 c-TF-IDF 값을 반영하여 각 토픽 구성단어에 대한 감성점수를 계산하였으며, 제품 특징을 구성하는 모든 토픽 구성단어들에 대해 같은 과정을 적용하여 계산한 후 합산함으로써 제품 특징의 Performance를 산출하였다(<Table 5> 참조). 제품 특징 ‘Waterproof’는 Period 1(1개월 미만 사용)부터 Period 3(6개월 미만 사용)까지는 1 이상의 Performance 값을 가졌지만, 제품 사용기간 후기인, Period 4(6개월 이상~1년 미만 사용)에서는 기존 Performance 값의 절반도 못 미치는 0.4276이라는 Performance 값이 도출되었음을 확인할 수 있다.

Table 5.

Changes in the Performance of Product Features Depending on the Product Usage Period

<Appendix 2>는 제품 사용기간에 따라 변화하는 11개의 제품 특징의 Importance, Performance 순위 변화이다. 본 연구에서는 기업이 제품 개선을 위해 집중해야 할 제품 특징을 식별하고, 구체적인 제품 개선방향을 제시하기 위해 제품 사용기간에 따라 변화하는 Importance와 Performance 순위를 매핑하여 Dynamic IPA Map을 형성하였다. 본 연구는 현재 제품의 개선방향을 제시하는 것을 목표로 하기에 제품 사용기간에 따라 일정한 변화, 또는 급격한 변화를 보이는 4가지 제품 특징에 대해 해석하고자 한다(<Figure 9>). 또한, 각 토픽에서 c-TF-IDF 값이 높은 핵심 키워드의 변화를 활용하여 구체적인 개선 방향을 제시하고자 한다.

Figure 9.

Notable Product Features

먼저 제품 특징 ‘Battery’는 <Figure 9>에서 확인할 수 있는 것처럼 제품 사용기간 내내 가장 높은 Importance 순위를 차지하고 있다. 스마트 워치를 사용하는 고객들이 제품을 사용하면서 가장 중요하게 여기는 요소가 배터리임을 확인할 수 있다. 하지만 가장 중요하게 생각하는 제품 특징임에도 Period 3까지 상대적으로 낮은 Performance 순위를 기록했으며, 제품 사용기간이 늘어남에 따라 상대적으로 좋은 Performance를 보였다. 이것은 제품 사용초기에 고객이 스마트 워치를 사용함에 있어 ‘Battery’ 외의 제품 특징들이 매력적인 요소로 인식되었으나, 제품을 사용하는 기간이 늘어남에 따라 제품의 배터리 성능이 다른 특징들에 비해 점차 더 높은 만족감을 제공한 것으로 해석할 수 있다. 이를 통해, 기업은 스마트 워치 제품에 있어서 가장 중요한 제품 특징은 제품 사용기간 동안 가장 많이 언급된 배터리 성능이며 고객은 제품 사용초기에 배터리 외의 다른 제품 특징들에 대하여 큰 만족감을 느끼지만, 제품을 사용하는 기간이 늘어남에 따라 다른 제품 특징에 대한 관심과 만족도가 하락함을 알 수 있다. 배터리는 스마트 워치에 있어서 가장 핵심적인 기능이므로, 기업은 기존 제품보다 배터리 성능이 저하되지 않도록 연구개발을 수행해야만 한다.

제품 특징 ‘Waterproof’는 제품 사용기간 내내 5위 이상의 Importance 순위를 유지하며 전반적으로 높은 수준의 관심을 끌고 있으며, 6개월 미만의 제품 사용기간 동안 높은 수준의 Performance를 유지하고 있던 요소이다. 하지만 제품 사용기간이 6개월이 넘어가며 Importance는 높아지지만, Performance는 하락하는 모습을 볼 수 있다. <Table 6>에서 제품 사용기간에 따라 제품 특징 ‘Waterproof’를 구성하는 단어를 살펴보면, Period 4에서 이전에 등장하지 않았던 구성단어 ‘shower’, ‘notice’, ‘problem’ 등이 새롭게 등장한 것을 볼 수 있다. 이를 통해 Period 3에서 3위였던 Performance 순위가 Period 4에서 8위로 하락한 원인이 스마트 워치를 착용하고 샤워하는 과정에서 방수 기능에 문제가 발생하였음을 유추할 수 있다. 스마트 워치의 방수 기능이 제품 사용 6개월이 넘어가면서 급격하게 저하되었음을 알 수 있으므로, 기업은 핵심적인 기능인 방수 기능에 대하여 고객의 제품 사용기간을 고려한 A/S 체계를 수립하거나, 신제품 개발 시 장기적인 방수 기능 향상을 위한 연구개발 방안에 대해 고려해볼 수 있다.

Table 6.

Changes in Word Composition of Notable Product Features

제품 특징 ‘Software’는 제품 사용기간 동안 상당히 낮은 중요도를 보이고 있지만, 제품 사용 후기인 Period 4에서 Performance 순위가 1위로 급증하는 요소이다. <Table 6>의 제품 특징 ‘Software’의 단어를 살펴보면, Performance가 급증한 Period 4에서 ‘goal’, ‘competition’, ‘regret’ 등과 같은 새로운 단어가 추가된 것을 확인할 수 있다. 해당 단어들을 통해 스마트 워치의 소프트웨어 기능 중, 운동 목표를 설정 및 달성하는 기능과, 지인과 현재 활동량을 공유하여 운동에 대한 동기부여 효과를 이끌어내는 대결 기능에 대한 만족감이 Performance 순위에 영향을 미친 것으로 해석할 수 있다. 이를 통해, 활동량 겨루기와 같은 헬스케어 소프트웨어 요소가 스마트 워치를 장기간 사용한 고객들이 사용하고 있는 소프트웨어 중 하나이며, 제품 사용후기에 가장 큰 만족감을 제공하는 제품 특징임을 알 수 있다. 하지만 높은 만족도에 비해 고객들이 많은 관심을 보이지 않는 제품 특징이므로, 기업은 고객이 해당 제품 특징에 대해 보다 잘 인식하고 활용할 수 있도록 마케팅 전략을 수립할 필요가 있다. 또한, 고객들이 사용기간에 따라 점차 만족하며 사용하고 있는 소프트웨어이므로 지속적인 업데이트를 제공할 필요가 있다.

제품 특징 ‘Protection’은 제품 사용초기에 고객들이 비교적 중요하게 여기지 않고 상대적으로 만족도가 낮은 요소였다. 하지만 제품 사용기간이 6개월이 넘어가면서 스크래치에 대한 언급 비율과 만족도가 증가하는 모습을 보인다. 제품 사용기간이 늘어남에 따라 제품의 사용감이 드러날 수 있는 스크래치에 관련한 만족감이 증가하고 있음을 알 수 있다. 이를 통해, 스크래치와 관련된 스마트 워치의 내구성이 장기 사용 고객을 만족시키는 제품 특징임을 알 수 있다. 기업은 다음과 같은 장기 고객이 만족하는 제품 특징들을 파악함으로써 신제품 개발에 있어 중요한 요소를 파악할 수 있다.

그 외의 제품 특징 ‘Health care’는 제품 사용기간 내내 두 번째로 높은 Importance를 보이고 있으며, Performance 또한 큰 변화 없이 상위권에 위치하고 있다. 다른 토픽에 비해 변동이 거의 없이 안정적인 모습을 보이고 있으며, 이를 통해 준수한 성능을 유지하고 있음을 확인할 수 있다. 제품 특징 ‘Color’도 제품 사용기간 동안 낮은 변동을 보이고 있다. 해당 제품 특징은 높은 Importance를 보이지는 않았지만 고객에게 가장 높은 만족감을 주는 요소로 파악된다. 스마트 워치의 손목 밴드를 변경할 수 있다는 점이 스마트 워치를 사용하는 고객에게 꾸준한 만족감을 부여하고 있다는 것으로 파악된다.

5. 결 론

본 연구는 고객이 제품을 사용한 기간을 고려하여 변화하는 고객경험을 분석하고 제품 개선방향을 제시하였다. 기존의 제품 개선을 위한 선행연구들은 제품을 사용함에 따라 변화하는 제품에 대한 고객 인식을 고려하지 않았다. 본 연구에서는 제품 사용기간에 따른 고객경험을 분석하기 위해 동적 토픽 모델링, 감성분석, IPA를 사용하였다. 먼저, 수집한 제품의 온라인 리뷰데이터에 BERTopic 토픽 모델링을 수행하여 제품 특징을 추출하였다. 다음으로, 제품 사용기간에 따라 변화하는 제품에 대한 고객 인식을 식별하기 위해 Importance, Performance의 두 가지 지표를 산출하였다. Importance는 제품 사용기간별 제품 특징 문서의 비율로 나타냈다. 그리고 Performance는 제품 사용기간별 제품 특징을 구성하는 단어들의 감성점수와 가중치를 고려하여 계산하였다. 마지막으로, 두 지표를 종합하여 Dynamic IPA Map을 구성하였고 제품 사용기간에 따라 변화하는 제품 특징의 Importance, Performance와 구성단어를 통해 고객경험을 분석하고 개선방향을 제시하였다.

본 연구는 다음과 같은 기여점을 가진다. 첫째, 기존의 제품 개선을 위한 연구는 고객이 제품을 사용한 기간을 고려하지 않고 전체 기간의 리뷰데이터를 활용하여 정적인 분석을 수행하거나, 제품의 출시일이나 리뷰 작성 시점을 활용하여 동적인 분석을 수행하였다. 이러한 연구들은 고객이 제품을 사용하면서 변화하는 제품에 대한 인식을 반영하여 제품 개선방향을 제시하지 못했다. 본 연구는 제품 사용기간이라는 차별화된 데이터 특성을 활용하여 동적으로 변화하는 제품 특징에 대한 만족도와 관심도를 측정하였다. 이를 통해 제품 사용초기에 고객의 관심을 끌었던 매력적인 기능, 지속적으로 사용하는 핵심 기능, 제품 사용후기에 낮은 만족도를 보이는 기능 등을 파악할 수 있었다. 본 연구가 도출한 사용기간에 따른 고객경험의 변화 정보는 A/S 정책 수립, 마케팅 전략 수립 등 고객 만족도 향상을 위한 기업의 전략 수립에 활용될 수 있을 것으로 기대한다. 둘째, 기존의 소셜 데이터를 활용한 Dynamic IPA 연구에서 IPA Matrix를 나누는 두 축은 각 기간의 데이터 분포에 따라 변경되었다. 하지만 본 연구는 지표의 순위화를 통해 고정된 축을 설정하여, 개선이 필요한 제품 특징과 충분한 기능을 수행하는 제품 특징에 대해 객관적으로 파악하였다. 이를 통해 기업은 신제품 출시를 위해 집중할 제품 특징을 선별하여, 한정된 인적&#61598;물적 자원을 효율적으로 분배하는 데에 활용할 수 있다. 셋째, 널리 활용되어왔던 전통적인 토픽 모델링 방법론인 LDA가 아닌 개선된 방법론인 BERTopic의 동적 토픽 모델링을 활용하였으며, 제품 사용기간에 따라 변화하는 제품 특징의 구성단어를 통해 제품 특징의 중요도와 만족도가 변화하는 원인을 파악하는 데에 활용하였다. 따라서, 본 연구의 방법은 제품 개선 및 신제품 개발을 위한 전략 수립과 자원 분배 과정에 활용될 수 있을 것으로 기대된다.

반면, 본 연구는 몇 가지 한계점을 갖는다. 첫째로, 토픽 모델링을 통해 식별된 토픽 중 제품 특징과 관련된 토픽을 선정하는 단계에서 분석자의 주관이 개입될 수 있다. 따라서, 제품 특징을 선정하는 객관적인 방법에 대한 후속연구가 필요하다. 둘째, 제품 사용기간이 길어질수록 제품에 대해 작성된 온라인 리뷰데이터의 개수가 감소하여, 제품 사용후기의 지표 값이 소수의 리뷰에 편향될 가능성이 있다. 셋째, 본 연구에서는 사례연구를 위해 하나의 제품군에 속하는 여러 제품의 온라인 리뷰데이터를 통합하여 분석을 실시하였다. 제품별로 기능 명칭, 소재, 크기와 같은 요소가 상이하기 때문에, 제품군이 아닌 개별 제품을 분석하면 보다 정확한 고객경험 분석과 제품 개선방향을 제시할 수 있을 것이다. 마지막으로, 본 연구에서는 제품 사용기간별 리뷰를 통해 간접적으로 고객경험을 분석하였지만, 고객경험이 제품 사용기간에 따라 어떻게 변화하는지 분석하기 위해서는 고객의 제품 사용 전 주기를 추적 관찰하는 것이 필요하다. 따라서, 전 주기의 고객경험을 분석하기 위한 후속연구가 필요하다.

Acknowledgments

이 논문은 2024학년도 건국대학교의 연구년교원 지원에 의하여 연구되었음.

References

• Abuzayed, A. and Al-Khalifa, H. (2021), BERT for Arabic Topic Modeling: An Experimental Study on BERTopic Technique, Procedia Computer Science, 189, 191-194. [https://doi.org/10.1016/j.procs.2021.05.096]
• Alhaj, F., Al-Haj, A., Sharieh, A., and Jabri, R. (2022), Improving Arabic Cognitive Distortion Classification in Twitter Using BERTopic, International Journal of Advanced Computer Science and Applications, 13(1), 854-860. [https://doi.org/10.14569/IJACSA.2022.0130199]
• An, Y., Oh, H., and Lee, J. (2023), Marketing Insights from Reviews Using Topic Modeling with BERTopic and Deep Clustering Network, Applied Sciences, 13(16), 9443. [https://doi.org/10.3390/app13169443]
• Baek, J.-O. (2023), Effects of Kiosk Characteristics of Food Service Companies on Customer Experience, Satisfaction, and Continuous Use Intention, Culinary Science & Hospitality Research, 29(5), 98-111. [https://doi.org/10.20878/cshr.2023.29.5.010]
• Bi, J.-W., Liu, Y., Fan, Z.-P., and Zhang, J. (2019), Wisdom of Crowds: Conducting Importance-performance Analysis (IPA) through Online Reviews, Tourism Management, 70, 460-478. [https://doi.org/10.1016/j.tourman.2018.09.010]
• Blei, D. M. and Lafferty, J. D. (2006), Dynamic Topic Models, Paper presented at the Proceedings of the 23rd international conference on Machine learning, Pittsburgh, Pennsylvania, USA. [https://doi.org/10.1145/1143844.1143859]
• Blei, D. M., Ng, A. Y., and Jordan, M. I. (2003), Latent Dirichlet Allocation, Journal of Machine Learning Research, 3(Jan), 993-1022.
• Chen, W.-K., Riantama, D., and Chen, L.-S. (2020), Using a Text Mining Approach to Hear Voices of Customers from Social Media Toward the Fast-food Restaurant Industry, Sustainability, 13(1), 268. [https://doi.org/10.3390/su13010268]
• Chung, J., Jeong, B., and Yoon, J. (2019), Dynamic Monitoring of Product Opportunities with Online Product Review Data, Journal of the Korean Institute of Industrial Engineers, 45(5), 387-401. [https://doi.org/10.7232/JKIIE.2019.45.5.387]
• Egger, R. and Yu, J. (2022), A Topic Modeling Comparison between LDA, NMF, Top2vec, and Bertopic to Demystify Twitter Posts, Frontiers in Sociology, 7, 886498. [https://doi.org/10.3389/fsoc.2022.886498]
• Galli, B. J. (2020), Application of Statistical Analysis Tools and Concepts to Big Data and Predictive Analytics to New Product Development, International Journal of Strategic Engineering (IJoSE), 3(1), 17-35. [https://doi.org/10.4018/IJoSE.2020010102]
• Grønholdt, L., Martensen, A., Jørgensen, S., and Jensen, P. (2015), Customer Experience Management and Business Performance, International Journal of Quality and Service Sciences, 7(1), 90-106. [https://doi.org/10.1108/IJQSS-01-2015-0008]
• Grootendorst, M. (2022), BERTopic: Neural Topic Modeling with a Class-based TF-IDF Procedure, arXiv preprint arXiv:2203.05794, .
• Idrees, H., Hynek, J., Xu, J., Akbar, A., and Jabeen, S. (2022), Impact of Knowledge Management Capabilities on New Product Development Performance Through Mediating Role of Organizational Agility and Moderating Role of Business Model Innovation, Frontiers in Psychology, 13, 950054. [https://doi.org/10.3389/fpsyg.2022.950054]
• Jin, J., Ji, P., and Kwong, C. K. (2016), What Makes Consumers Unsatisfied with Your Products: Review Analysis at a Fine-grained Level, Engineering Applications of Artificial Intelligence, 47, 38-48. [https://doi.org/10.1016/j.engappai.2015.05.006]
• Lee, S., Choi, J., and Yoon, J. (2021), A Social Media Mining Approach for Monitoring Customer Complaints in the Early Stage of Product Launch, Journal of the Korean Institute of Industrial Engineers, 47(3), 289-301. [https://doi.org/10.7232/JKIIE.2021.47.3.289]
• Liu, H. (2022), Online Review Analysis on Various Networks’ Consumer Feedback Using Deep Learning, IET Networks, 11(6), 234-244. [https://doi.org/10.1049/ntw2.12045]
• Ma, C., Wang, M., and Chen, X. (2015), Topic and Sentiment Unification Maximum Entropy Model for Online Review Analysis, Paper presented at the Proceedings of the 24th International Conference on World Wide Web. [https://doi.org/10.1145/2740908.2741704]
• Martilla, J. A. and James, J. C. (1977), Importance-performance Analysis, Journal of Marketing, 41(1), 77-79. [https://doi.org/10.1177/002224297704100112]
• Meyer, C. and Schwager, A. (2007), Understanding Customer Experience, Harvard Business Review, 85(2), 116.
• Miao, Q., Meng, Y., and Sun, J. (2016, July), Identifying the Most Influential Topic-sensitive Opinion Leaders in Online Review Communities, In 2016 IEEE International Conference on Cloud Computing and Big Data Analysis (ICCCBDA), IEEE, 330-335.
• Mousavi, P., Shamizanjani, M., Rahimnia, F., and Mehraeen, M. (2024), A Metrics-driven Approach for Customer Experience Management Evaluation: The Case of Commercial Banks in Developing Countries, The TQM Journal, Vol. ahead-of-print No. ahead-of-print. [https://doi.org/10.1108/TQM-07-2023-0215]
• Nguyen, K. A. and Coudounaris, D. N. (2015), The Mechanism of Online Review Management: A Qualitative Study, Tourism Management Perspectives, 16, 163-175. [https://doi.org/10.1016/j.tmp.2015.08.002]
• Purnama, D. A. and Masruroh, N. A. (2023), Online Data-driven Concurrent Product-process-supply Chain Design in the Early Stage of New Product Development, Journal of Open Innovation: Technology, Market, and Complexity, 9(3), 100093. [https://doi.org/10.1016/j.joitmc.2023.100093]
• Qi, J., Zhang, Z., Jeon, S., and Zhou, Y. (2016), Mining Customer Requirements from Online Reviews: A Product Improvement Perspective, Information & Management, 53(8), 951-963. [https://doi.org/10.1016/j.im.2016.06.002]
• Ramesh, B. and Tiwana, A. (1999), Supporting Collaborative Process Knowledge Management in New Product Development Teams, Decision Support Systems, 27(1-2), 213-235. [https://doi.org/10.1016/S0167-9236(99)00045-7]
• Sharma, M. and Chaubey, D. (2014), An Empirical Study of Customer Experience and Its Relationship with Customer Satisfaction Towards the Services of Banking Sector, Journal of Marketing & Communication, 9(3).
• Trappey, A. J., Trappey, C. V., Fan, C.-Y., and Lee, I. J. (2018), Consumer Driven Product Technology Function Deployment Using Social Media and Patent Mining, Advanced Engineering Informatics, 36, 120-129. [https://doi.org/10.1016/j.aei.2018.03.004]
• Varaniūtė, V., Žičkutė, I., and Žandaravičiūtė, A. (2022), The Changing Role of Management Accounting in Product Development: Directions to Digitalization, Sustainability, and Circularity, Sustainability, 14(8), 4740. [https://doi.org/10.3390/su14084740]
• Wang, J. and Liu, Y.-L. (2023), Deep Learning-based Social Media Mining for User Experience Analysis: A Case Study of Smart Home Products, Technology in Society, 73, 102220. [https://doi.org/10.1016/j.techsoc.2023.102220]
• Wankhade, M., Rao, A. C. S., and Kulkarni, C. (2022), A Survey on Sentiment Analysis Methods, Applications, and Challenges, Artificial Intelligence Review, 55(7), 5731-5780. [https://doi.org/10.1007/s10462-022-10144-1]
• Yang, B. and Cardie, C. (2014), Context-aware Learning for Sentence-level Sentiment Analysis with Posterior Regularization, Paper presented at the Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). [https://doi.org/10.3115/v1/P14-1031]