FindCoResearcher: Retrieval 기반 협력 연구자 추천 시스템

1. 서 론

공동 연구 및 산학 협력은 전문성과 자원의 결합을 통해 실무적 문제 해결과 혁신적 연구 성과 창출에 기여한다. 이러한 장점 덕분에 다양한 분야에서 협력 연구가 활발히 이루어지고 있다. 하지만 협력 연구자를 탐색할 때 대부분 인적 네트워크나 메뉴얼한 정보 탐색에 의존하여 원하는 연구 주제나 목적에 부합하는 협력 연구자를 체계적으로 찾는 것이 어렵다. 이러한 한계를 극복하기 위해서는 연구자의 요구에 맞는 협력 연구자를 추천해주는 검색 시스템이 필요하다.

이러한 검색 시스템 구축에는 정보 검색(Information Retrieval, IR) 기술이 효과적으로 활용될 수 있다. IR 기술은 검색 엔진, 추천 시스템, 전문 정보 검색 등 다양한 분야에서 사용자의 질문과 관련된 정보를 자동으로 찾아주는 데 적용되고 있다(Abass et al., 2017; Hambarde et al., 2023; Nadkarni, 2002). 또한, IR 기술의 성능을 증대시키기 위해 거대언어모델(Large Language Model, LLM)을 이용한 학습 데이터 생성 기술도 활발히 사용되고 있다(Kim et al., 2025; Lee et al., 2024). 하지만 기존 IR 기술을 협력 연구자 추천 시스템에 그대로 적용하는 경우, 다음과 같은 두 가지 현실적 제약이 존재한다.

첫째, 제한된 정보 환경에서의 질의어(query) 생성 문제가 존재한다. 검색 모델을 학습하기 위해서는 문서와 관련된 질의어 데이터가 필요하나, 일반적으로 각 연구자별 연구 실적(이하 '문서')만 확보 가능한 상황에서 실제 사용자 질의어를 확보하는 것은 현실적인 어려움이 따른다. 이처럼 문서와 관련된 질의어 데이터가 존재하지 않는 경우에는 문서에서 직접 질의어를 생성하여 검색 모델을 학습시키는 접근법이 필요하지만(Kim et al., 2025; Lee et al., 2024; Yu et al., 2023), 이 과정에서 단순 프롬프팅 기법을 사용할 경우 질의어 표현의 다양성이 부족하다는 한계를 지니게 된다(Kang et al., 2025; Bacciu et al., 2024).

둘째, 기존 IR 시스템에서 활용하는 문서 단위 평가 방식에는 한계가 존재한다. 전통적으로 IR 평가 방식은 개별 문서 단위를 표준으로 하며(Cleverdon, 1967; Harman, 1992), 하나의 질의어에 대해 하나의 관련 문서가 연결된다고 가정한다. 하지만 이 방식은 여러 문서에 분산된 정보를 반영하지 못해 현실 상황에 적합하지 않다(Wang et al., 2023). 특히 협력 연구자 추천 시스템의 경우, 사용자는 개별 문서가 아닌 '연구자' 단위로 결과를 얻고자 하기 때문에 목적을 충분히 반영하는 연구자 단위의 확장된 평가 방식이 필요하다.

본 연구에서는 FindCoResearcher(Find Collaborative Researcher)라는 정보 검색 기반 협력 연구자 추천 시스템을 제안하며, 두 가지 핵심 방안을 통해 기존 IR 기술의 한계를 극복하고자 한다. 첫째, 문서 기반 질의어 데이터셋 생성 시, 문서 증강과 질의어 스타일 및 구체화 수준을 다양화함으로써 질의어 표현의 풍부함을 증가시키고 효과적인 학습을 추구한다. 둘째, 문서 단위가 아닌 연구자 단위에서의 적절한 평가 방법론을 도입함으로써 목적에 맞는 정확한 평가 체계를 구축하고자 한다.

본 논문의 구성은 다음과 같다. 제2장에서는 본 연구의 기반이 되는 관련 연구를 서술한다. 제3장에서는 표현 다양성을 향상시키는 데이터셋 구축 방법과 연구자 단위 평가 방식을 소개한다. 제4장에서는 실험 구성, 제5장에서는 실험 결과와 추가적인 분석 사항에 대해 서술한다. 마지막으로 제6장에서는 본 연구의 기여점과 한계를 정리하고, 향후 연구방향을 제안한다.

2. 관련 연구

3. 방법론

3.1 개요

본 연구에서는 사용자의 요구에 맞는 협력 연구자를 추천하는 검색 시스템인 FindCoResearcher을 제안한다. FindCoResearcher을 구축하고 평가하기 위한 전체 과정은 <Figure 1>과 같으며, 크게 데이터셋 구축, 모델 학습, 평가의 세 단계가 <Figure 1>의 Step 1, 2, 3로 표현된다. Step 1에서는 질의어 표현의 다양성을 높이기 위해 문서 증강과 체계적인 질의어 생성이라는 두 개의 세부 과정을 거쳐 문서 기반 질의어 데이터셋을 구축하며, 이 과정에 대한 자세한 설명은 3.2장에서 다룬다. Step 2에서는 구축한 데이터셋을 기반으로 검색 모델을 학습한다. Step 3에서는 기존의 문서 단위 평가 방식 대신 FindCoResearcher의 목적을 정확히 반영하기 위해 연구자 단위 평가 방식을 새롭게 도입하며, 구체적인 방식은 3.3장에서 자세히 설명한다. 마지막으로 3.4장에서 목적에 맞게 구성한 전체 파이프라인을 사용자 관점에서 설명한다.

Figure 1.

Overall Process for FindCoResearcher

(1) 문제 정의

본 연구에서 사용하는 데이터셋 구성 요소는 수식 (1), (2)와 같다. 수식 (1)의 P는 전체 문서 집합, Q는 전체 생성 질의어 집합을 의미한다. 이 때, (q_i,p_i)는 i번째 질의어-문서 쌍을 의미하며 M은 전체 질의어-문서 쌍의 개수를 의미한다. 수식 (2)의 PROF은 전체 연구자 집합이며, W는 전체 연구자 인원수를 의미한다. 전체 문서는 연구자 단위로 그룹화될 수 있으므로, 전체 연구자 인원수 W는 전체 문서 개수 M보다 작거나 같다. 모든 문서에는 연구자 정보가 존재하고, i번째 문서 p_i의 연구자는 prof(q_i)로 표현할 수 있다. 또한, p(prof_w)는 w 연구자의 문서들의 집합이며, 이는 전체 문서 집합 P에 반드시 포함된다. 수식 (3)의 θ_f는 인코더 모델의 파라미터를 의미하고, f()는 θ_f로 파라미터화 된 인코더 모델을, d는 임베딩 차원 수를 나타낸다. 질의어와 문서 간의 유사도는 수식 (4)의 sim()을 통해 산출할 수 있다.

$\[ P=\left\{p_1,p_2,\cdots ,p_i,\cdots ,p_M\right\},Q=\left\{q_1,q_2,\cdots ,q_i,\cdots ,q_M\right\}, \]$

(1)

$\[ PROF=\left\{{prof}_{1,}{prof}_{2,},\dots ,{prof}_w,\dots ,{prof}_W\right\}\left(W\leqq M\right). \]$

(2)

$\[ v_{q_i},v_{p_j}=f\left(q_i;{\theta }_f\right),f\left(p_j;{\theta }_f\right)\in R^d, \]$

(3)

$\[ sim\left(q_i,p_j\right)=v_{q_i}^T{v}_{p_j}. \]$

(4)

FindCoResearcher의 목적은 질의어와 관련된 문서의 연구자를 효과적으로 탐색하는 것이다. 이를 구현하기 위한 목적 함수는 수식 (5)와 같다.

$\[ L\left({\theta }_f\right)=-\sum _{i=1}^M \mathrm{l}\mathrm{o}\mathrm{g}\frac{\sum _{p_j\in p\left(prof\left(p_i\right)\right)} \mathrm{e}\mathrm{x}\mathrm{p}\left(sim\left(q_i,p_j\right)\right)}{\sum _{p_j\in P} \mathrm{e}\mathrm{x}\mathrm{p}\left(sim\left(q_i,p_j\right)\right).} \]$

(5)

이는 질의어 q_i가 정답 연구자 집합에 속한 문서들에 대해 전체 후보 문서보다 상대적으로 더 높은 유사도를 가지도록 만드는 구조이다. 수식 (5)의 분자는 질의어 q_i와 정답 연구자의 문서 집합 p(prof(p_i)) 간 유사도를 계산한 뒤, 지수 함수로 변환하여 모두 합한 값이다. 이는 정답으로 간주되는 여러 문서들이 질의어와 얼마나 가깝게 연결되는지를 나타낸다. 분모는 질의어 q_i와 모든 문서 집합 P 간 상대적인 유사도의 총합을 나타낸다. 즉, 정답 연구자의 문서 집합 p(prof(p_i))에 포함되지 않은 문서와 질의어 간 유사도가 낮아질수록 분모 대비 분자의 비율이 커져 손실 L(θ_f)이 작아진다. 본 시스템의 목적 함수은 손실 L(θ_f)를 최소화 시키는 방향으로 학습하기 위해 분자의 값이 커지고 분모의 값이 작아지도록 설계되었으며, 이는 각 질의어가 정답 연구실의 문서 집합 간 유사도를 높이며, 이 외 문서 간 유사도를 낮추는 방향으로 유도된다.

3.3 연구자 단위 평가 방식

FindCoResearcher의 궁극적인 목표는 적합한 협력 연구자를 탐색하는 것이다. 이에 본 연구에서는 연구자 단위의 검색 성능을 평가하기 위한 방식을 새롭게 도입하고자 한다. 기존 평가 방식과 차이점은 <Figure 2>와 같다.

Figure 2.

Researcher-unit Evaluation Metric

기존의 문서 단위 평가에서 사용하는 Top-k Accuracy는 수식 (8)을 통해 산출할 수 있다.

$\[ Top -k Acc =\frac{1}{T}\sum _{t=1}^T I\left[p_t\in p_{retrieved }^{:k}\right]. \]$

(8)

이 때, I[]는 지시함수를 나타내며, T는 평가 데이터셋의 개수를 의미한다. 수식 (4)의 sim()을 통해 평가용 질의어와 문서 데이터베이스 내 각 문서 간 유사도를 산출했을 때, 유사도 상위 k개의 문서 집합을 $$ p_{retrieved}^{:k}$$로 표현한다. 평가는 평가용 질의어 q_t에 대한 검색 문서 집합 $$ p_{retrieved}^{:k}$$ 중 정답 문서 p_t가 포함되어 있는지 여부로 수행된다. 해당 평가 방식은 협력 연구자 탐색 시, 사용자 의도에 적합한 연구자가 적절히 탐색되어도 일대일로 연결된 정답 문서가 아닌 경우 검색이 잘못되었다고 평가한다. 이를 오답으로 처리하는 것은 협력 연구실을 추천하는 FindCoResearcher의 목적에 맞지 않으므로 문서 단위의 평가 지표가 아닌 연구자 단위의 평가 지표가 필요하다.

연구자 단위의 평가 지표는 검색 문서 집합 $$ p_{retrieved}^{:k}$$가 아닌 검색된 문서의 연구자 집합 $$ {prof}_{retrieved}^{:k}$$를 활용한다. 검색 문서 집합 $$ p_{retrieved}^{:k}$$에서 검색된 문서의 연구자 집합 $$ {prof}_{retrieved}^{:k}$$을 추출하는 과정은 수식 (9)로 표현할 수 있다. 검색 문서 집합 $$ p_{retrieved}^{:k}$$ 내에 동일한 연구실의 문서가 여러 개 존재할 경우 검색된 문서의 연구자 집합 $$ {prof}_{retrieved}^{:k}$$ 의 원소 개수는 k보다 작아질 수 있다. 이를 기반으로 제안하는 연구자 단위의 Top-k Accuracy는 수식 (10)을 통해 산출할 수 있다.

$\[ { prof }_{retrieved }^k=\left\{prof\left(p_i\right)\mid p_i\in p_{retrieved }^{:k}\right\}, \]$

(9)

$\[ Top -k Ac{c}_{prof}=\frac{1}{T}\sum _{t=1}^T I\left[prof\left(p_t\right)\in { prof}_{retrieved}^{:k}\right]. \]$

(10)

연구자 단위의 평가는 기존 문서 단위의 평가와 동일하게 평가용 질의어 q_t에 대한 검색 문서 $$ p_{retrieved}^{:k}$$를 추출하되, 검색 문서의 연구자 집합 $$ {prof}_{retrieved}^{:k}$$ 내에 정답 문서의 연구자 prof(p_t)가 포함되었는지 여부로 수행된다. 결과적으로 동일 연구자의 여러 문서가 정답 후보로 인정되며 연구자 단위 검색이라는 목표에 부합하는 평가가 가능해진다.

문서 단위 평가 방식의 한계점을 실증적으로 검증하기 위해 추가 분석을 수행하였다. 구체적으로, 문서 단위 평가에서는 오답으로 처리되나 연구자 단위 평가에서는 정답으로 판단되는 케이스들을 대상으로, 검색된 문서들이 실제로 질의어와 관련성이 있는지 정성적 평가를 진행하였다. 평가는 자동화된 정성평가를 위해 널리 활용되는 G-Eval(Liu et al., 2023) 방식을 차용하였다. GPT-4o(Hurst et al., 2024)를 활용한 LLM-as-a-Judge 방식을 적용하였으며, 각 질의어에 대해 Top-5로 검색된 문서들이 해당 질의어와 의미적으로 관련이 있는지 판단하도록 하였다. <Table 1>는 평가 결과를 보여준다.

Table 1.

Actual Relevance of Retrieved Passages in Researcher-unit Evaluation Metric

전체 평가 데이터에서 문서 단위로는 오답이나 연구자 단위로는 정답인 70개의 “질의어-Top-5 검색 문서” 쌍을 분석한 결과, 52개(74.29%)의 쌍이 검색된 문서가 실제로 질의어와 관련이 있는 것으로 확인되었다. 이는 현재 모델이 사용자의 정보 요구에 부합하는 적절한 연구자의 문서를 검색하고 있음에도 불구하고, 기존의 문서 단위 평가 방식이 이를 오답으로 판정하는 구조적 한계를 지니고 있음을 보여준다. 따라서 협력 연구자 탐색이라는 시스템의 목적을 고려할 때, 연구자 단위 평가 방식이 더욱 적합한 평가 체계임을 알 수 있다.

연구자 단위 평가의 부가적인 지표로 Mean Reciprocal Rank (MRR)를 활용한다. MRR은 정답이 처음 등장하는 순위의 역수를 평균낸 값으로, 상위 순위에서 정답이 출현하는지를 민감하게 평가할 수 있는 지표이다. 연구자 단위의 Top-k MRR은 Accuracy와 다르게 검색 문서의 연구자 집합 내 정답 문서의 연구자가 존재하는 경우에도 순위에 따라 점수 차이를 두어 검색 모델에 대한 정밀한 평가가 가능하다. 연구자 단위의 Top-k MRR은 수식 (11)과 같이 정의된다.

$\[ Top-k MR{R}_{prof}=\frac{1}{T}\sum _{t=1}^T \frac{1}{rank\left(prof\left(p_t\right),pro{f}_{retrieved }^{:k}\right)}. \]$

(11)

여기서 rank()는 검색 문서의 연구자 집합 $$ {prof}_{retrieved}^{:k}$$ 내에 정답 문서의 연구자 prof(p_t)가 처음 등장하는 순위를 산출하는 함수이다. 예를 들어, 검색 결과의 3번째 문서가 정답 연구자의 첫 번째 문서라면 $$ rank\left(prof\left(p_t\right),prof{f}_{retrieved }^k\right)=3$$ 이 된다.

4. 실험

5. 실험 결과 및 분석

5.1 주요 실험 결과

주요 실험 결과는 <Table 2>와 같다. 희소 검색 모델과 비교했을 때, 밀집 검색 모델이 우월한 협력 연구자 검색 성능을 보였다. 이는 전통적인 키워드 매칭 기반의 희소 검색 방식이 연구자 검색 성능에 한계를 가지고 있음을 시사한다. 이러한 성능 제한은 사용자가 동일한 연구 주제에 대해서도 다양한 표현으로 질의어를 작성하는 질의어-문서 간 어휘적 다양성에 기인하는 것으로 분석된다. 또한, 밀집 검색 모델 간 성능을 비교했을 때, 모두 성능이 유사함을 알 수 있다. 이를 통해 FindCoResearcher 구축 시, 기반 모델에 따른 차이가 크지 않음을 알 수 있다.최종적으로 본 연구에서 제안하는 FindCoResearcher이 연구자 단위 Top-5 Accuracy 기준 0.4573을 달성하여 모든 비교 방법론 대비 우수한 성능을 달성하였다. 이는 실제 사용자가 연구자 추천 개수 z를 5로 설정했을 때, FindCoResearcher이 약 45.73%의 확률로 적절한 협력 연구자를 추천함을 의미한다. 따라서 제안 방법론 적용 시, 사용자 질의어에 적합한 연구자를 추천하는 우수한 모델을 구축할 수 있다. 이러한 경향은 연구자 단위 Top-k Accuracy와 MRR이 동일하게 나타났으며, 밀집 모델 사용 및 제안 방법론 적용 시, 더 상위 순위에 정답이 출현함을 알 수 있다.

Table 2.

Main Result. Comparison of Researcher-unit Top-k Accuracy, MRR (k=1, 5, 20). The best performance is shown in bold and underlined

5.2 문서 기반 질의어 집합 생성 시, 증강 문서 사용 여부에 따른 표현 다양성 변화

본 연구에서는 생성 질의어 표현의 다양성 확보를 위해 증강 문서 기반 질의어 집합 생성 방식을 제안한다. 정보가 제한된 단일 문서를 기반으로 여러 개의 질의어를 생성하는 방식은 질의어 다양성 측면의 한계를 가질 수 있기 때문에 본 연구에서는 문서 증강 절차를 추가하였으며, 해당 절차에 대한 효용성을 3가지 측면에서 분석하고자 한다. 3.2장에서 서술하였듯, 질의어 표현의 다양성을 확보하기 위해 질의어 간 표현 다양성을 고려해야 한다. 이에 (1)에서 문서 증강 절차에 따른 2가지 다양성의 변화를 분석하고, (2)에서는 생성 질의어 예시를 정성적으로 비교 분석한다.

다양한 질의어 스타일 및 구체화 수준을 반영하여 문서 기반 질의어 집합을 생성할 때, Original은 문서 증강 없이 원본 문서만을 사용한 경우를 의미하고, Augmented (3)는 3개의 증강 문서를 사용한 경우, Augmented (9)는 9개의 증강 문서를 사용한 경우를 의미한다. 추가 실험에서는 증강 문서 개수의 영향을 심층적으로 분석하기 위해 9개 증강 문서 조건을 추가하였으며, 이는 3개 증강 문서 생성 과정을 3회 반복하여 구현하였다.

(1) 질의어 간 표현 다양성 변화 분석

각 문서로부터 생성된 질의어 간 표현 사용의 중복 여부는 질의어의 다양성을 확인할 수 있는 지표 중 하나이다. 이를 측정하기 위해 각 문서에 대한 총 9개의 질의어 중 각 단어들이 사용된 질의어의 개수를 측정하여 ‘중복 표현 등장 빈도’를 분석하였다. <Figure 3>의 x축은 각 단어가 몇 개의 질의어에 동시에 등장했는지를 나타내며, y축은 해당 조건을 만족하는 단어의 상대적 빈도를 의미한다. 이 때, 1개에서 3개 정도로 비교적 적은 개수의 질의어에서 중복하여 등장하는 표현이 많을수록 질의어 표현의 다양성이 높다고 할 수 있다. 반대로 비교적 많은 개수의 질의어에서 중복하여 등장하는 표현이 많을수록 질의어 표현의 다양성이 낮으며, 특히 7개 이상의 질의어에서 중복하여 등장하는 표현이 많은 것은 대부분의 질의어에서 같은 표현이 사용된다는 의미이므로 어휘 다양성이 매우 낮음을 의미한다.

Figure 3.

Comparison Distributions of Word Duplication between Queries

측정 결과, 증강 문서를 적용한 경우 Original 대비 적은 개수의 질의어에서 등장하는 표현이 증가함을 알 수 있다. 특히 Augmented(9)의 경우, 중복 쿼리의 개수가 1개인 비율이 0.77에 달하며, 질의어 간 중복이 없는 고유 토큰의 비율이 압도적으로 높음을 확인할 수 있다. 반대로, 다수의 질의어에서 등장하는 표현이 감소되며, 특히 7개 이상의 질의어에서 등장하는 표현은 Augmented(3)와 Augmented(9) 모두에서 거의 완전히 제거됨을 확인하였다. 이를 통해 문서 증강을 포함한 데이터셋 생성 방식이 질의어 간 표현 다양성을 향상시키며, 증강 문서 개수가 증가할수록 이러한 효과가 더욱 강화됨을 확인할 수 있다.

(2) 문서 증강 방법론의 표현 다양화 효과에 대한 정성적 분석

문서 증강 방법 도입이 질의어의 어휘 다양화에 기여하는지 확인하기 위해, Original 방식과 Augmented 방식으로 생성된 질의어를 정성적으로 비교분석 하였다. <Table 3>에서 확인할 수 있듯, Original 방식은 기존 문서에 포함된 키워드를 그대로 사용하여 획일화된 질의어가 생성되며, 질의어 간의 다양성도 낮은 것을 볼 수 있다. 반면 Augmented 방식은 ‘법률 문서 및 과학 논문의 요약’ 같은 기존 연구와 연결되는 새로운 분야가 생성되거나, ‘정보를 요약하는 효율적인 기법’이라는 단순한 키워드가 ‘요약 과정에서 맥락의 일관성 유지’로 풍부해지는 현상을 확인할 수 있다.

Table 3.

Comparison Diversity of Passage-based query. Example queries at middle specificity level generated from a single passage. Words overlapping with the passage are underlined.

즉, 기존 문서에 포함된 키워드를 거의 사용하지 않지만, 여전히 문서와 관련된 질의어가 생성되는 것을 확인할 수 있다. 따라서 증강 문서를 기반으로 질의어를 생성하는 방식이 문서 정보를 반영하면서 풍부한 질의어를 생성함을 확인하였다.

(3) 문서 증강 기법 및 증강 문서 개수 설정

결과적으로 증강 기법을 적용하는 경우 질의어 간 토큰 중복이 감소하며, 정성적으로 확인했을 때도 표현이 다양화됨을 확인하였다. 또한, 증강 문서 개수가 늘어날수록 질의어 표현 공간이 확장되고, 다양성이 더욱 증대됨을 확인하였다.

다만, 증강 문서의 개수를 늘릴 경우, LLM의 생성이 불안정해지는 문제가 발생한다. 실제로 단일 프롬프트로 9개의 증강 문서를 동시에 요청할 경우, 9개를 증강하지 못하고 생성을 종료하는 경우가 대다수였으며, 이는 실제 적용 시, 비효율적인 토큰 생성 반복 및 생성 비용 증가로 이어질 수 있다. 또한, 데이터 생성 시 필요한 토큰 수가 증가한다. 전체 문서의 개수가 M개이고, 증강 문서 1개당 발생하는 평균 생성 토큰 수를 tok_p , 생성 쿼리 1개당 발생하는 평균 토큰 수를 tok_q 라고 할 때, 3개의 증강 문서를 사용하는 경우 총 M(3tok_p+9tok_q) 개의 토큰이 생성되며, 9개의 증강 문서를 사용하는 경우 총 M(9tok_p+9tok_q) 개의 토큰이 생성된다. 두 토큰 수 간의 격차는 M(6tok_p)이며, 이는 전체 문서 데이터셋이 많을수록, 기준 문서의 길이가 길수록 극대화된다.

결론적으로 본 연구에서 제안하는 증강 문서 기반 질의어 데이터셋 구축 방식이 질의어 다양성을 향상시키며, 데이터 품질 향상에 기여하였음을 확인하였다. 해당 방식으로 생성한 데이터셋의 예시는 부록 F의 <Table A4>을 통해 확인할 수 있다.

5.3 연구자 단위 문서 유사도 향상을 위한 학습 방법

본 연구에서는 연구자 단위로 평가하면서 문서 단위로 학습을 수행하였다. 이러한 접근 방식의 타당성을 검증하기 위해 학습 전 후의 모델을 활용하여 문서 간 유사도를 산출한다. 학습 전 모델은 사전학습된 BGE-M3을 학습 후 모델은 본 연구에서 제안하는 FindCoResearcher을 사용하였으며, 동일 연구자와 다른 연구자 간의 문서 유사도를 구분하여 측정함으로써 연구자 단위 문서 유사도에 대한 분포 변화를 확인한다.

<Figure 4>의 상단이 학습 전 모델, 하단이 학습 후 모델을 사용하여 측정한 유사도 분포이다. 문서 단위 학습은 동일 연구자가 다양한 분야의 연구를 수행하는 경우, 동일 연구자 내 문서간 유사도를 낮아지게 할 수 있다. 하지만 측정 결과, 동일 연구자와 다른 연구자의 문서 간 유사도 분포의 차이가 학습 전 대비 학습 후에 더욱 극대화됨을 알 수 있다. 이는 문서 단위의 대조 학습을 수행하였음에도 자연스럽게 동일 연구자 내 문서 간 유사도는 높이고 서로 다른 연구자 간 문서들의 유사도는 낮추는 방향으로 학습됨을 의미한다. 이는 평균적으로 동일 연구자가 유사한 주제의 연구를 수행한다는 현실적인 경향을 반영한 것으로 해석할 수 있으며, 특정 단과대학을 대상으로 수행하는 본 연구의 특성상, 이러한 경향이 두드러짐을 알 수 있다. 결과적으로 제안 방법론의 단순화된 학습 방식으로도 충분히 연구자 간 구분이 가능함을 알 수 있다.

Figure 4.

Comparison Distribution of Similarity Score. Similarity score distributions extracted using BGE-M3 (top) and FindCoResearcher (bottom).

6. 결 론

본 연구에서는 협력 연구자 탐색의 효율성을 향상시키기 위한 정보 검색 기반 협력 연구자 추천 시스템인 FindCoResearcher을 제안하였다. FindCoResearcher을 통해 기존의 인적 네트워크와 수동 탐색에 의존하던 협력 연구자 탐색 과정의 비효율성을 해결하며, 연구자들이 자신의 연구 주제에 대해 적합한 협력 파트너를 효과적으로 찾을 수 있도록 지원한다.

본 연구는 세 가지의 기여점이 존재한다. 첫째, 제한된 정보 환경에서도 풍부한 표현의 질의어를 생성할 수 있는 체계적인 방법론을 제시하였다. 문서 증강과 질의어 스타일 및 구체화 수준 다양화라는 두 가지의 순차적인 전략을 통해 표현 다양성을 크게 향상시켰다. 이는 5.2장의 추가 분석을 통해 제안 방법론이 질의어 간 다양성 및 질의어-문서 간 다양성을 향상시킴을 확인하였다. 둘째, 기존의 문서 단위 평가 방식의 한계를 극복하기 위해 연구자 단위 평가 방식을 새롭게 도입하였다. 이 방식을 통해 ‘연구자’ 라는 정보를 종합적으로 고려할 수 있게 되어 목적에 맞는 정확한 시스템 평가가 가능해졌다. 셋째, 기존 공개 모델들과 비교하여 연구자 검색 성능이 개선된 모델을 개발하였다. 사전학습된 모델을 활용하여 DPR 기반 훈련을 수행한 결과 Top-1 Accuracy 0.1988, Top-5 Accuracy 0.4573을 달성하여 기존 공개 모델보다 우수한 성능을 보였다.

본 연구는 다음과 같은 한계점이 존재한다. 첫째, 문서 데이터베이스가 특정 단과대학으로 제한되어 다양한 학문 분야와 대학으로의 확장 가능성을 충분히 검증하지 못하였다. 둘째, 충분한 연구 이력을 축적하지 못한 신진 연구자들이 검색에서 상대적으로 불리한 상황에 놓인다. 정보 검색 모델의 특성상, 검색 대상이 되는 문서가 많을수록 사용자의 다양한 검색 표현과 매칭될 가능성이 높아진다. 이는 신진 연구자들은 상대적으로 적은 수의 문서만을 보유하고 있어 검색 성능에서 구조적으로 불리할 수밖에 없다.

향후 연구 방향은 다음과 같다. 첫째, 더 많은 대학 및 연구기관의 데이터를 수집하여 시스템의 범용성과 확장성을 검증할 필요가 있다. 특히, 대상 학과가 확장되면서 다양한 분야의 문서가 추가될 때에도 검색 성능이 강건하게 유지될 수 있는 방안을 모색해야 한다. 둘째, 신진 연구자의 문서 또한 동등하게 검색될 수 있도록 학습 방법론과 데이터 구축 전략을 개발해야 한다. 이를 통해 연구 경력이 짧은 연구자들의 가시성을 높이고, 협력 연구 참여 기회를 확대할 수 있을 것이다.

Acknowledgments

이 논문은 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(RS-2025-02214591, 자율 제조 구현을 위한 현장 작업자 친화적 혁신 AI 에이전트 개발), (RS-2024-00460011, 인류세의 기후테크 역량 강화를 위한 기후환경 데이터 구축 처리 플랫폼), (RS2021-II211343, 인공지능 대학원 프로그램(서울대학교)). 또한 이 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(RS-2024-00407803, RS-2025-23523657). 또한 이 논문은 교육부의 재원으로 BK21 FOUR 프로그램(산업혁신 애널리틱스 교육연구단)의 지원을 받아 수행된 연구임(No. 4120240214912).

References

• Abass, O. A., and Arowolo, O. A. (2017), Information retrieval models, techniques and applications, International Research Journal of Advanced Engineering and Science, 2(2), 197-202.
• Hurst, A., Lerer, A., Goucher, A. P., Perelman, A., Ramesh, A., Clark, A., ... and Kivlichan, I. (2024), Gpt-4o system card, ArXiv, abs/2410.21276, .
• Bacciu, A., Palumbo, E., Damianou, A., Tonellotto, N., and Silvestri, F. (2024), Generating query recommendations via LLMs, ArXiv, abs/2405.19749, .
• Bascur, J. P., Verberne, S., van Eck, N. J., and Waltman, L. (2022), Academic information retrieval using citation clusters: in-depth evaluation based on systematic reviews, Scientometrics, 128, 2895-2921. [https://doi.org/10.1007/s11192-023-04681-x]
• Beltagy, I., Lo, K., and Cohan, A. (2019), SciBERT: A Pretrained Language Model for Scientific Text, Conference on Empirical Methods in Natural Language Processing. [https://doi.org/10.18653/v1/D19-1371]
• Chen, J., Xiao, S., Zhang, P., Luo, K., Lian, D., and Liu, Z. (2024), BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation, Annual Meeting of the Association for Computational Linguistics. [https://doi.org/10.18653/v1/2024.findings-acl.137]
• Cleverdon, C. (1967), The Cranfield Tests on Index Language Devices, Aslib Proceedings, 19(6), 173-194. [https://doi.org/10.1108/eb050097]
• Douze, M., Guzhva, A., Deng, C., Johnson, J., Szilvasy, G., Mazaré, P.-E., Lomeli, M., Hosseini, L., and Jégou, H. (2024), The Faiss library, ArXiv, abs/2401.08281, . [https://doi.org/10.1109/TBDATA.2025.3618474]
• Hambarde, K. A. and Proenca, H. (2023), Information retrieval: Recent advances and beyond, IEEE Access, 11, 76581-76604. [https://doi.org/10.1109/ACCESS.2023.3295776]
• Harman, D. (1992), Evaluation issues in information retrieval, Information Processing & Management, 28(4), 439–440. [https://doi.org/10.1016/0306-4573(92)90001-G]
• Iyer, G., Dziugaite, G. K., and Rolnick, D. (2024), Linear weight interpolation leads to transient performance gains Transactions on Machine Learning Research.
• Jang, Y., Son, J., Park, C., Choi, S., Lee, B., Lee, T., and Lim, H. (2024), KoE5: A New Dataset and Model for Improving Korean Embedding Performance, In Annual Conference on Human and Language Technology, Human and Language Technology, 239-244.
• Kang, S., Jin, B., Kweon, W., Zhang, Y., Lee, D., Han, J., and Yu, H. (2025), Improving scientific document retrieval with concept coverage-based query set generation, Proceedings of the Eighteenth ACM International Conference on Web Search and Data Mining, 895-904. [https://doi.org/10.1145/3701551.3703544]
• Karpukhin, V., Oğuz, B., Min, S., Lewis, P., Wu, L., Edunov, S., Chen, D., and Yih, W.-T. (2020), Dense passage retrieval for open-domain question answering, ArXiv, abs/2004.04906, . [https://doi.org/10.18653/v1/2020.emnlp-main.550]
• Kim, M. and Baek, S. (2025), Syntriever: How to train your retriever with synthetic data from LLMs, North American Chapter of the Association for Computational Linguistics. [https://doi.org/10.18653/v1/2025.findings-naacl.136]
• Lee, J., Dai, Z., Ren, X., Chen, B., Cer, D., Cole, J.R., Hui, K., Boratko, M., Kapadia, R., Ding, W., Luan, Y., Duddu, S.M., Abrego, G.H., Shi, W., Gupta, N., Kusupati, A., Jain, P., Jonnalagadda, S.R., Chang, M., and Naim, I. (2024), Gecko: Versatile text embeddings distilled from large language models, ArXiv, abs/2403.20327, .
• Lim, S., Kim, M., and Lee, J. (2019), KorQuAD1.0: Korean QA Dataset for Machine Reading Comprehension, ArXiv, abs/1909.07005, .
• Liu, Y., Iter, D., Xu, Y., Wang, S., Xu, R., and Zhu, C. (2023), G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment, Conference on Empirical Methods in Natural Language Processing. [https://doi.org/10.18653/v1/2023.emnlp-main.153]
• Longpre, S., Lu, Y., and Daiber, J. (2021), MKQA: A linguistically diverse benchmark for multilingual open domain question answering, Transactions of the Association for Computational Linguistics, 9, 1389-1406. [https://doi.org/10.1162/tacl_a_00433]
• Nadkarni, P. M. (2002), An introduction to information retrieval: applications in genomics, The Pharmacogenomics Journal, 2(2), 96-102. [https://doi.org/10.1038/sj.tpj.6500084]
• Robertson, S. E., Walker, S., Jones, S., Hancock-Beaulieu, M., and Gatford, M. (1994), Okapi at TREC-3, In Proceedings of the Third Text REtrieval Conference. [https://doi.org/10.6028/NIST.SP.500-225.city]
• Sinha, A., Mall, P. R., and Roy, D. (2024), Exploring the nexus between retrievability and query generation strategies, ArXiv, abs/2404.09473, . [https://doi.org/10.1007/978-3-031-56066-8_16]
• Wang, J. A., Wang, K., Wang, X., Naidu, P., Bergen, L., and Paturi, R. (2023), Scientific document retrieval using multi-level aspect-based queries, Advances in Neural Information Processing Systems, 36, 38404-38419. [https://doi.org/10.52202/075280-1668]
• Wang, L., Yang, N., Huang, X., Yang, L., Majumder, R., and Wei, F. (2024), Multilingual E5 Text Embeddings: A Technical Report, ArXiv, abs/2402.05672, .
• Yu, L., Miao, J., Sun, X., Chen, J., Hauptmann, A. G., Dai, H., and Wei, W. (2023), DocumentNet: Bridging the Data Gap in Document Pre-Training, Conference on Empirical Methods in Natural Language Processing. [https://doi.org/10.18653/v1/2023.emnlp-industry.66]
• Zhang, X., Thakur, N., Ogundepo, O., Kamalloo, E., Alfonso-Hermelo, D., Li, X., Liu, Q., Rezagholizadeh, M., and Lin, J. (2022), Making a MIRACL: Multilingual Information Retrieval Across a continuum of languages, ArXiv, abs/2210.09984, .