복지 프로그램 추천 모델 설명에 앞서 기존의 추천 모델 연구를 소개하고자 한다. 협업 필터링(Collaborative Filtering) (Schafer et al., 2007)은 과거 사용자와 추천 항목 사이의 관계를 분석해 새로운 사용자와 추천 항목을 매칭하는 모델이다. 예를 들면, 영화 추천의 경우 사용자가 과거에 어떤 영화를 시청했는지, 상품 추천의 경우 어떤 상품을 구매했는지와 같은 정보를 통해 사용자에게 적합한 품목을 추천한다. 본 연구에서는 수급자가 복지 프로그램을 제공받은 이력이 사용자와 추천 항목 사이의 관계에 대응된다 볼 수 있다.

모델 기반 협업 필터링(Model-based Collaborative Filtering) (Su et al., 2009)은 이러한 정보로부터 사용자와 추천 항목 사이의 관계에 영향을 미치는 잠재 요인을 추론하고 그로부터 새로운 추천을 만들어낸다. 대표적으로 행렬 분해 모델(MF, Matrix Factorization) (Koren et al., 2019)이 있다. N명의 사용자, M개의 추천 항목으로 구성된 사용자-항목 평가 행렬을 R=rui∈RN×M라고 할 때, 본 논문에서는 사용자-항목 평가 행렬의 값이 사용자와 추천 항목 사이의 관측이 있는 경우 1, 그렇지 않은 경우 0의 값을 갖는 내재적 피드백(Implicit Feedback) 경우만 고려하도록 하겠다. MF는 평가 행렬을 d차원의 사용자/항목 잠재 요인 pu,qi∈Rd를 가지는 낮은 차수의 행렬로 분해한다. 잠재 요인 학습을 위한 손실 함수는 관측된 평가 r_ui ∈ Ω⁺와 잠재 요인 벡터 내적 qiTpu 간의 평균 제곱 오차이며, 정규화 항까지 포함한 식은 식 (1)과 같다.

λ_i와 λ_u는 정규화 항의 세기를 조절한다. 이 알고리즘은 추론된 잠재 요인 p_u, q_i로 평가 행렬을 재구성하여 새로운 사용자-추천 항목 쌍을 생성한다.

MF를 통해 비확률적인 잠재 요인을 추론할 수 있지만, 현실 데이터에는 잡음이 섞여 있기에 좀 더 강건한 모델이 필요하다. 특히 내재적 피드백은 사용자와 추천 항목 사이 관측 여부 정보만 주고, 모든 관측값이 사용자의 항목에 대한 선호를 나타내는 것은 아니므로 잡음에 대한 노출이 크다. 잠재 요인을 확률 변수로 본다면 무작위로 발생하는 잠재 요인을 기반으로 모델을 학습하기 때문에 학습 데이터에 과적합(Overfitting)되는 것을 완화하고 좀 더 강건한 모델을 만들 수 있는데, 변분 오토 인코더(VAE, Variational Autoencoder)(Kingma et al., 2013; Rezende et al., 2014)는 잠재 요인을 확률 변수로 보고 그 분포의 파라미터(Parameter)를 학습하는 심층 생성 모델이다. VAE의 인식 모델은 데이터 r을 잠재 변수 z로 인코딩하고, 생성 모델은 인코딩된 잠재 변수를 다시 데이터 공간으로 디코딩한다. 데이터 r을 잘 재현할 수 있는 잠재 변수 z의 분포를 추론하고 싶을 때, 손실 함수는 식 (2)와 같이 데이터 r에 대한 로그 가능도 기댓값과 잠재 변수 z의 변분 사후 분포와 사전 분포 사이의 KL Divergence 합으로 이뤄진다. 로그 가능도의 기댓값은 본래 데이터를 잘 만들어낼 수 있는 잠재 변수의 분포를 추론할 수 있도록 하고, KL Divergence 항은 잠재 변수의 분포에 대한 정규화를 걸어준다.

인식 모델과 생성 모델은 θ와 ϕ를 파라미터로 하는 다층 인공 신경망(MLPs, Multilayer Perceptrons)으로 분할 상환 추론(Amortized Inference)된다.

일반적으로 VAE는 고밀도의 데이터를 고려하는데, 추천 시스템에서는 모든 가능한 사용자와 추천 항목 조합보다 관측되는 사용자와 추천 항목 사이 관계 정보가 희소하다. 이러한 데이터 희소성 문제를 해결하기 위해 변분 오토 인코더를 활용한 협업 필터링(VAE-CF, Variational Autoencoder merged wth Collaborative Filtering) (Lee et al., 2017)은 negative sampling을 적용한다. 즉, 가능도를 최대화하는 과정 중, 관측된 양의 항목 r_ui ∈ Ω⁺외에도 관측되지 않은 값 일부를 샘플링하여 음의 항목 r_ui ∈ Ω^-으로 활용한다. 사용되는 손실 함수는 식 (3)과 같다.

VAE-CF의 graphical model과 신경망 구조는 <Figure 2(a)>와 같다. graphical model에서 흰색 노드는 잠재 변수를, 실선으로 채워진 노드는 희소한 관측 변수를 나타낸다. 빨간색 실선은 파라미터 θ의 생성 모델 MLP를, 파란색 점선은 파라미터 ϕ의 인식 모델 MLP를 나타낸다.

Figure 2. 
Graphical Model and Neural Network Structure of VAE-CF and CVAE-CF

이때 사용자와 추천 항목 사이 관계 정보뿐만 아니라, 사용자와 추천 항목의 보조 정보를 같이 활용하기 위해서는 여러 데이터셋의 활용으로 인한 다중 모달리티 모델링이 필요하며, 조건부 변분 오토 인코더를 사용한 협업 필터링(CVAE-CF, Conditional Variational Autoencoder merged with Collaborative Filtering) (Lee et al., 2017)은 다중 모달리티 간의 종속 구조를 조건부 분포로 모델링 한다. 따라서, VAE-CF와 비교했을 때 보조 정보 x를 추가로 활용하기 위해 잠재 변수 h를 도입한다.

생성 모델 차원의 CVAE-CF를 통한 관계 정보 생성 과정은 다음과 같다. 1) 잠재 변수 z를 사전 확률 분포 p(z)에서 추출한다. 2) 보조 정보 x가 주어졌다는 가정하에 부가적인 잠재 변수 h를 조건부 확률 분포 p_θ(h|x)에서 추출한다. 3) 마지막으로, 관계 정보 r을 조건부 확률 분포 p_θ(r|z,h)에서 추출한다. 여기서 조건부 확률 분포 p_θ는 MLP로 이루어져 있다. 인식 모델 관점에서 CVAE-CF는 잠재 변수 z와 h를 추론하기 위해 MLP로 이루어진 분포 q_ϕ(z|r)와 q_ϕ(h|x)를 각각 도입한다. 추가로 활용되는 보조 정보 중 수치형 데이터는 값 자체로, 범주형 데이터는 임베딩 벡터로 변환되어 MLP의 입력값으로 활용된다. 학습 차원에서는 잠재 변수가 보조 정보 x보다 사용자와 추천 항목 사이 관계 정보 r에 더 초점을 맞출 수 있도록 정규화 항 D_kl(q_ϕ(h|x)||q_ϕ(h|r))을 추가로 더해준다. 이때 손실 함수는 다음과 같다.

α₁은 x와 관련된 정규화 항을 조절하고, α₂는 r과 관련된 정규화 항을 조절한다. CVAE-CF의 graphical model과 신경망 구조는 <Figure 2(b)>와 같다. 회색 노드는 관측 변수를 나타내며, 나머지 표기의 의미는 <Figure 2(a)>와 같다.

본 연구에서는 기존의 추천 모델 연구를 기반으로 복지 프로그램 추천 모델을 설계하고자 한다. 복지 프로그램 데이터의 특성을 고려하여 어떻게 모델을 설계하였는지는 다음 장에서 설명하도록 하겠다.

본 연구에서는 2018년 및 2019년에 수급자가 복지 프로그램을 제공받은 이력을 수급자-복지 프로그램 정보로, 수급자의 인적 및 건강 정보를 수급자 보조 정보로 활용하였다. 이 데이터들은 각 년도에 서로 다른 그룹으로부터 수집되었기 때문에 모든 정보를 가진 수급자를 추려내서 활용하였다.

복지 프로그램 추천은 수급자와 복지 프로그램의 특성에 크게 좌우되기 때문에 이를 반영하기 위하여 수급자와 복지 프로그램의 보조 정보를 모델 학습에 활용하였다. 수급자의 보조 정보는 나이, 성별과 같은 인적 정보와 건강 정보를 포함하며, 이는 변수의 유형에 따라 전처리되었다. 운동이나 건강 검진 시행 여부 같은 객관식 질문에 대한 답변인 범주형 변수는 원-핫 인코딩(one-hot encoding) 처리하였다. 범주형 변수더라도 음주나 흡연의 빈도와 같이 그 값에 순서가 있는 경우와 나이, 키, 몸무게 같은 연속형 변수는 가우시안 정규화를 하였다. 이렇게 전처리 된 변수들을 연결하여 총 340차원의 수급자 보조 정보를 얻었다.

전처리되기 전 수급자의 건강 정보 객관식 질문 및 답변의 구체적 예시는 다음과 같다. 먼저 수급자를 연령(노인, 성인, 청소년, 어린이, 신생아) 및 특정 군(장애인, 임산부, 재가암 등)에 속하는 지로 카테고리를 나누고, 각 카테고리에 속하는 수급자들에게 설문 조사를 진행한 결과 데이터다. 예를 들어, 노인에 속하는 수급자에게는 ‘삶이 허무하다고 느끼는가?’, ‘보통 기분이 좋은 편인가?’에 예/아니오로 답변하는 노인 우울증과 관련된 질문부터 ‘100에서 7을 빼면 얼마인가?’, ‘오늘은 몇 월 며칠입니까?’에 올바르게 대답했는지를 확인하는 노인 치매와 관련된 질문 등으로 구성되어 있다. 장애인에 속하는 수급자에 대해서는 식사나 목욕, 휠체어 이동 등을 혼자 수행 가능한지와 같이 장애 정도를 측정할 수 있는 질문지로 구성되어 있다. 이처럼 설문지는 각 카테고리와 관련된 사항들로 구성되어 있으며, 앞서 설명한 것처럼 설문지의 답변 유형에 따라 전처리를 다르게 진행하였다.

총 59개의 복지 프로그램 중 제공 횟수가 적은 10개의 복지 프로그램(철분제 엽산제 지원, 산전 진료비 지원, 선천성대사이상 검사, 미숙아/선천성 이상아 의료비 지원, 신생아 청각 선별 검사, 아동건강관리 바우처사업, 다문화가족지원센터, 보육/교육비 지원, 아이 돌보미, 통번역 서비스)은 제거하였다.

복지 프로그램의 보조 정보는 복지 프로그램을 설명해주는 자연어 데이터이다. 따라서 별도의 임베딩이 필요하였는데, FastText(Bojanowski et al., 2017) 모델을 사용하였다. FastText는 기존의 단어 임베딩 방법에서 최소 단위가 단어인 것과 달리 글자 또는 자모 단위의 최소 단위로 임베딩을 표현한다. 따라서 기존 학습 데이터에 없는 단어 또한 단어 임베딩을 표현할 수 있다는 장점이 있다. 본 연구에서 사용한 복지 프로그램의 용어는 단어 임베딩을 학습할 공개된 데이터셋이 부족하다. 따라서 본 연구에서는 글자(또는 자모) 단위의 FastText를 사용한 단어 임베딩을 사용했고, 단어 임베딩 학습을 위한 learning rate는 0.1, 단어 임베딩 차원은 300, 윈도우 사이즈는 5, epoch은 5로 설정하였다. 각 복지 프로그램은 여러 키워드로 표현된다. 가령, 운동 프로그램’의 경우 키워드로 ‘교육, 신체활동, 운동, 건강증진’을 보유하고 있다. 본 연구에서는 각 복지 프로그램의 단어 임베딩을 키워드의 단어 임베딩의 평균으로 구하여 활용했다.

<Figure 4>는 복지 프로그램의 단어 임베딩을 t-SNE (Van der Maaten, 2008)를 사용하여 시각화한 것이다. 단어 임베딩이 복지 프로그램을 잘 표현한다면 유사한 복지 프로그램의 단어 임베딩은 가까이 분포하여 시각화되어야 한다. 영유아 관련 복지 프로그램, 노인 관련 복지 프로그램, 그리고 상담 관련 복지 프로그램의 단어 임베딩들이 가까이 분포하는 것을 <Figure 4>에 나타난다. 이를 통해 본 연구에서 FastText를 사용하여 표현한 단어 임베딩이 복지 프로그램의 특성을 반영하였음을 확인할 수 있다. <Figure 4>에 사용된 t-SNE를 위해서 perplexity는 30, 학습 반복 횟수는 1000으로 설정했다.

Figure 4. 
Welfare Program Word Embedding t-SNE

최종 모델 학습에 활용되며 보건소 내외에서 운영되는 복지 프로그램의 시행 횟수는 <Table 2>와 <Table 3>에서 각각 확인할 수 있다. 특히 기타 복지 프로그램이 다른 복지 프로그램보다 제공 횟수가 높은 것을 알 수 있는데, 단순히 제공이 많이 되었다는 이유로 모델이 수급자의 특성과 무관하게 기타 복지 프로그램을 추천해주는 것만으로 학습이 될 수 있다. 이는 수급자와 복지 프로그램 사이의 관계를 학습하는 데 방해가 될 수 있다고 판단하여, 이 영향을 살피고자 기타 복지 프로그램 포함 여부에 따라 두 가지 경우로 나눠서 실험하였다. 기타 복지 프로그램만을 제공받은 수급자는 기타 복지 프로그램을 포함하지 않은 경우에서 모두 제거되었다.

기타 복지 프로그램의 유무에 따른 잠재 변수의 차이를 확인하기 위하여 <Figure 6>에 CVAE-CF-2의 잠재 변수를 t-SNE (Van der Maaten, 2008)를 사용하여 시각화하였다. <Figure 6>의 서로 다른 색은 서로 다른 복지 프로그램을 의미한다. 기타 복지 프로그램을 포함하지 않은 경우같은 복지 프로그램을 접한 수급자의 잠재 변수를 시각화하였을 때, 클러스터링이 기타 복지 프로그램을 포함한 경우에 비해 비교적 잘 되어 있음을 확인할 수 있다. 이 결과를 통하여 기타 복지 프로그램을 포함하지 않은 경우의 잠재 변수가 비교적 표현력이 좋음을 확인할 수 있었고, 정량 결과를 보았을 때도 기타 복지 프로그램을 포함하지 않은 경우의 성능이 더 좋음을 확인할 수 있다. <Figure 6>에 사용된 t-SNE 파라미터 값은 <Figure 3>에서 사용한 값과 동일하다.

Figure 6. 
t-SNE Plot of Latent Factors of Users from CVAE-CF with Users and Items Auxiliary Information

CVAE-CF-2와 CVAE-CF-1의 차이는 복지 프로그램 보조 정보 사용 유무의 차이이다. 본 장에서는 복지 프로그램 보조 정보 사용 여부에 따른 추천 성능 차이를 확인하기 위한 사례 분석을 진행하였다. ‘알코올 상담센터’를 이용한 이력이 있는 수급자에게 ‘알코올 상담센터’의 보조 정보를 사용한 경우에는 ‘치매 조기 검진, 의료기관 진료, 장애인 구강진료센터, 정신보건센터, 건강검진’ 순으로 복지 프로그램이 추천되었다. 보조 정보를 사용하지 않았을 때 치매 조기 검진, 장애인 구강 진료센터, 의료기관 진료, 건강검진, 혈액, 골다공증 등 각종 검사’ 순으로 복지 프로그램이 추천되었다. 실제 해당 수급자가 수행한 복지 프로그램은 ‘정신보건센터’와 ‘건강검진’으로 복지 프로그램 보조 정보를 사용한 경우보다 정확한 추천을 한 사례를 확인할 수 있었다.