멀티모달 스태킹 모델을 활용한 112 신고 건수 예측

2.1 게이트 순환 유닛 모델

게이트 순환 유닛(gated recurrent unit, GRU) 모델은 기존에 순환 신경망 모델의 장기 의존성 문제를 해결하기 위하여 제안된 장기-단기 기억 신경망(long short-term memory model, LSTM)의 구조를 단순화시킨 모델이다(Cho et al., 2014). GRU 모델의 구체적인 구조는 <Figure 2>와 같다.

Figure 2.

Overview of a Gated Recurrent Unit Cell

GRU 모델은 리셋 게이트(reset gate)와 업데이트 게이트(update gate)의 두 가지 게이트로 이루어져 있으며, 순차적인 연산 과정을 통하여 과거 정보를 활용한 연산을 진행한다. 리셋 게이트에서는 과거 정보와 현재 시점의 정보를 기반으로 기억할 확률(r^(t))을 계산하며 이는 식 (1)로 표현된다. 업데이트 게이트에서 과거 정보와 현재 시점의 정보를 기반으로 다음 결과값 계산에 활용될 확률(z^(t))을 식 (2)와 같이 결정한다. 리셋 게이트의 확률 값(r^(t))과 과거 정보(h^(t-1)) 및 현재 시점의 정보(x^(t))만으로 현재 시점의 은닉층 값의 후보($$ \widetilde{h^{\left(t\right)}}$$)를 미리 계산한 후, 이를 과거 정보와 결합하여 현재 시점의 최종 은닉층 값(h^(t))을 구하며, 관련 수식은 식 (3)과 식 (4)로 표현된다.

2.2 그래디언트 부스팅 모델

그래디언트 부스팅은 정확한 예측을 수행하기 위하여 의사결정나무 모델의 순차적인 업데이트를 진행하는 앙상블(ensemble) 모델이다(Friedman, 2001). 그래디언트 부스팅의 구체적인 모델 구조는 <Figure 3>과 같다. 처음 생성된 의사결정나무를 제외하고 두 번째 생성된 의사결정나무부터는 이전 모델의 예측 값과 실제 값 사이의 차이인 잔차를 예측하도록 학습한다. 이와 같은 순차적 학습 과정을 통하여 이전 의사결정나무 모델에서 부족하였던 예측 성능을 보완한다. 해당 과정을 반복하여 여러 개의 의사결정나무 모델을 구축한 후에, 최종 예측 값($$ \widehat{Y}$$)을 산출하기 위하여 각 의사결정나무의 결과 값의 가중 합을 계산한다. 최종 예측 값에 대한 수식은 식 (5)부터 식 (7)로 정의된다. 식 (6)은 가중 합 연산의 가중치(γ_i)를 구하는 수식으로, 이전까지 생성된 모델들의 가중 합 결과(F_m(X))인 식 (7)을 활용하여 잔차를 최소화하도록 계산한다.

Figure 3.

Overview of a Gradient Boosting Model

그래디언트 부스팅은 다변량 데이터를 사용한 수치 예측 문제에서 우수한 성능을 보인다고 알려져 있을 뿐만 아니라 변수 중요도까지 산출된다는 장점이 있다. 각 의사결정나무 내에서 특정 변수가 사용된 경우와 사용되지 않은 경우를 비교하여 정보 획득 정도(information gain)를 계산하고, 이를 활용하여 특정 변수가 주어진 데이터를 얼마나 잘 예측하는지 수치화 할 수 있다. 그래디언트 부스팅 모델 내 모든 의사결정나무에서 특정 변수에 대한 정보 획득 정도를 산출한 이후, 평균을 취하여 변수 중요도를 결정한다. 이와 같은 방법으로 주요 변수를 파악함으로써 신고 건수 발생 예측에 기여한 주요 변수를 확인할 수 있고 이는 실제 치안 문제 예방에 유용하게 활용될 수 있다.

3.1 데이터 수집 및 전처리

본 연구에서는 112 신고 건수, 기상, 공휴일, 집회 건수, 지역별 보육 시설 및 5대 범죄 발생 통계량 등의 자치구 통계 데이터를 사용하였다. 112 신고 건수의 경우 경찰대학 치안정책연구소에서 2014년 1월 1일부터 2019년 5월 31일까지의 서울특별시 데이터를 제공받았으며, 접수 일자, 관할관서, 당일 신고 건수의 변수를 활용하였다. 112 신고 건수를 제외한 나머지 데이터들은 지역의 특성을 반영하고 있기 때문에 신고 건수 예측 결과 설명에 유의한 영향을 줄 것으로 판단하였다. 아울러 기상 정보가 범죄 발생에 영향을 미친다는 기존 연구에 근거하여, 112 신고 건수 데이터 기간과 동일하게 기상 데이터를 수집하여 예측 모델을 구축하는데 활용하였다(Kim et al., 2012; Ranson, 2014). 서울특별시 기상 데이터는 기상자료 개방 포털(https://data.kma.go.kr/cmmn/main.do)에서 제공하는 기온, 강수량, 풍속, 풍향, 습도, 적설, 전운량 등의 자료를 크롤링하여 수집하였다.

기존 연구에 의하면, 해당 지역의 인구 밀집도, 상주 인구 및 유동 인구 비율 등의 변화는 범죄 발생과 밀접하게 관련되어 있으며(Lee and Cho, 2006), 법정 공휴일 또는 주말에 범죄 건수가 증가한다는 특징이 있다(Roh, 2017; Uittenbogaard and Ceccato, 2012). 이에 근거하여 본 연구에서는 신고 건수 예측에 유동 인구 정보를 함께 반영하기 위하여 공휴일과 집회 데이터를 활용하였다. 집회 데이터는 서울 지방 경찰청 사이트(https://www.smpa.go.kr/user/nd54882.do)에서 수집하였으며, 각 집회 날짜 별 예상 참가 인원과 집회 시간대, 관할관서 변수로 구성되어 있다. 이는 특히 집회가 빈번한 관서의 신고 건수 예측에 유용하게 활용될 수 있을 것으로 판단하였다.

아울러 범죄 발생은 지역의 특성에 따라 영향을 받는다고 알려져 있기 때문에(Kubrin and Weitzer, 2003), 본 연구에서는 서울특별시 각 자치구의 다양한 통계 데이터를 활용하였다. 서울 열린데이터광장(https://data.seoul.go.kr/)에서 제공하는 여러 데이터 중 공공체육시설, 공원, 노인 여가시설 및 복지시설, 5대 범죄 발생 통계량, 보육시설, 빈집 현황, 지역용도 등 22개의 데이터를 직접 크롤링하여 수집하였다. 이후 관할관서와 지역구를 매칭시키는 방식으로 112 신고 건수 데이터와 병합하여 최종 데이터를 구축하였다. 모델 학습에 사용된 최종 데이터의 변수 명과 설명을 <Table 1>로 요약하였다.

Table 1.

Variables Description

3.2 제안 방법론

본 연구는 여러 기간의 112 신고 건수를 예측하기 위하여 주 모듈인 순환 신경망 모델과 보조 모듈인 그래디언트 부스팅 모델을 결합하는 멀티모달 스태킹 방법론을 제안하였다. 112 신고 건수 데이터의 경우 시계열적 특성을 반영하도록 딥러닝 계열의 순환 신경망 모델을 사용하였으며, 지역 특성 데이터인 기상, 공휴일, 집회 건수, 자치구 통계 데이터를 추가적으로 활용하고자 다변량 데이터의 특성에 적합하면서 중요 변수에 대한 추출이 가능한 그래디언트 부스팅 모델을 선정하였다. 두 모델에서 얻은 112 신고 건수 예측 값은 신경망 모델을 통해 최종 예측 값으로 산출된다. 제안 모델인 MSM을 사용한 예측 과정을 <Figure 4>에 요약하였다.

Figure 4.

Overview of the Proposed Multimodal Stacking Model(MSM)

본 제안 모델 MSM의 주 모듈인 순환 신경망은 딥러닝 모델로 112 신고 건수의 시계열적 패턴을 효과적으로 반영하여 미래 신고 값을 예측하고자 사용하였다. 순환 신경망 모델은 입력과 출력을 순차적으로 처리하면서 이전 시점의 요약 값을 다음 예측 값에 함께 활용하여 시계열 데이터 예측을 수행한다. 특히, 본 연구에서는 다양한 순환 신경망 종류 가운데 GRU 모델을 사용하였다. 반복 실험을 통하여 검증 단계에서 우수한 성능을 보인 값으로 선정된 하이퍼파라미터는 30개의 노드를 가진 은닉층 1개와 양방향성을 추가하는 것으로, 해당 값으로 신고 건수 데이터를 더 정확하게 파악하도록 학습하였다. 최적화 방식(optimizer)으로는 학습률이 0.0001인 adaptive moment estimation(Kingma and Ba, 2014)을 사용하였다. 과거 60일의 데이터를 학습한 후 특정 예측 기간의 신고 건수를 예측하도록 순환 신경망 모델의 구조를 생성하였고 예측 기간을 7일로 설정한 예시는 <Figure 5>와 같다.

Figure 5.

Overview of the Full GRU Model for the Proposed MSM

MSM의 보조 모듈로는 지역 특성 데이터의 추가적인 활용이 가능하며 변수 중요도를 추출할 수 있는 그래디언트 부스팅 모델을 선정하였다. 이를 통하여 각 지역별 특성을 효과적으로 반영하는 다변량 데이터 예측을 수행한다. 그래디언트 부스팅 모델 역시 과거 60일의 데이터를 학습한 후 특정 예측 기간의 미래 신고 건수를 예측하도록 설계하였다. 실험에서 활용한 하이퍼파라미터는 그리드 서치(grid search) 방식을 이용하여 의사결정나무 깊이 4, 학습률 0.1, 의사결정나무의 개수 75개로 결정하였다.

본 논문에서 제안하는 MSM은 주 모듈인 GRU 모델과 보조 모듈인 그래디언트 부스팅 예측 결과를 모두 활용할 수 있는 스태킹 구조를 활용하였다(<Figure 4>). 스태킹이란 머신러닝의 앙상블 기법 중 하나로, 이전 모델에서 나온 예측 값들을 훈련용 데이터로 삼아 추가적인 모델을 학습시켜 최종 예측 값을 얻는 과정이다. 본 연구에서는 두 모델의 예측 결과를 인공 신경망 모델로 학습하여 추후 미래의 최종 112 신고 건수 예측 값을 도출하였다. 이 때 예측 기간은 사용자의 필요에 따라 직접 지정할 수 있다. 스태킹에 활용한 인공 신경망 모델은 6개의 노드로 구성된 1개의 은닉층을 가지고 있다. 이와 같이 스태킹 과정을 추가적으로 활용함으로써 두 모델의 결과값을 체계적으로 결합하여 더욱 정확하게 예측할 수 있다는 장점을 갖고 있다.

4.1 시계열 예측 모델 비교

MSM의 주 모듈인 신고 건수 데이터의 내재된 시계열 추세를 반영하는 모델을 구축하고 성능을 비교하기 위하여 시계열 예측 모델 실험을 진행하였다. 본 실험에서는 대표적인 시계열 예측 모델인 ARIMA, seasonal autoregressive integrated moving average(SARIMA), 지수 평활법, 딥러닝 기반 LSTM 및 GRU 모델을 비교하였다. ARIMA 모델은 과거 시계열 데이터를 기반으로 미래를 예측하는 모델로 과거 자기 자신의 정보를 활용하는 자기회귀(autoregressive) 모델과 과거 오류 정보를 활용하는 이동평균(moving average) 모델을 결합한 모델이다(Box et al., 2015). ARIMA 모델은 시계열 데이터가 비정상성을 가진 경우 차분의 과정을 통하여 데이터의 정상성을 확보하여 예측을 진행한다. SARIMA 모델은 ARIMA 모델에 계절형 자기회귀(seasonal autoregressive) 항과 계절형 이동평균(seasonal moving average) 항을 추가하여 계절성을 반영한 모델이다(Box et al., 2015). 지수 평활법은 시계열 데이터가 계절의 변동성을 포함하지만 변동 정도가 일정한 경우 활용되는 방법론이다(Holt, 2004). 과거 시점의 데이터로 갈수록 점점 작은 가중치를 부여하는 방식으로 전체 데이터를 이용하여 미래를 예측한다. LSTM 모델은 순환 신경망 계열의 모델로 기존 순환 신경망 모델에서 과거 정보를 오래 기억하지 못하고 소실되어버리는 장기 의존성 문제를 해결하기 위하여 제안되었다(Hochreiter and Schmidhuber, 1997). 과거 정보를 효과적으로 기억할 수 있도록 메모리 셀을 추가적으로 활용하여 이전 정보의 특성을 효과적으로 학습할 수 있다. GRU 모델은 2.1절과 3.2절에서 설명한 바와 같이 본 제안 모델의 주 모듈로 사용하였다.

ARIMA, SARIMA, 지수 평활법, LSTM, GRU의 다섯 가지 모델을 비교한 결과를 <Table 2>에 정리하였다. 비교에 활용한 모든 시계열 예측 모델 중 GRU 모델이 두 가지 평가 지표에서 가장 좋은 성능을 보였다. 또한, 예측 기간이 7일 후, 14일 후, 30일 후로 점차 확장됨에 따라 예측 성능이 저하됨을 확인할 수 있다. 전반적으로 순환 신경망 계열의 모델들이 예측 기간이 증가하더라도 꾸준하게 좋은 성능을 보이며, 다른 시계열 모델들은 먼 미래를 예측하는 데에 어려움을 보이고 있었다. 정확한 예측을 위해서는 약 14일 이내로 예측 기간으로 설정하는 것이 필요함을 보여주는 결과이다.

Table 2.

Model Performance for ARIMA, SARIMA, Exponential Smoothing, LSTM, and GRU

4.2 다변량 예측 모델 비교

MSM의 보조 모듈에 해당하는 다변량 예측 모델 실험에서는 기상, 집회 건수, 공휴일, 자치구 통계 데이터 등의 지역 특성 데이터를 활용하였다. 이는 지역 특성 데이터에 음이항 회귀분석, 랜덤포레스트 등의 전통적인 머신러닝 모델을 적용한 기존 연구들의 모델 학습 방식을 참고한 것이다(Choi, 2018; Kim and Lee, 2020). 다양한 머신러닝 모델 가운데 주요 변수 선택 기능이 있는 캣부스트(catboost), 랜덤포레스트, 그래디언트 부스팅의 세 가지 모델을 비교하였다. 캣부스트 모델은 학습 단계에서는 관측되지 않았던 범주가 테스트 데이터로 모델에 입력되었을 때 발생하는 문제를 다루기 위해 순서형 종속 변수 통계량(ordered target statistics)과 순서형 부스팅(ordered boosting) 방법을 사용한다(Prokhorenkova et al., 2017). 기존 그래디언트 부스팅 계열 모델들에서는 범주형 변수를 처리하기 위해 종속 변수 통계량을 범주 값에 치환하는 방식을 사용하였다. 수치형으로 치환된 변수는 범주 별로 모두 동일한 값을 갖게 된다. 하지만, 해당 방식은 종속 변수 통계량이 종속 변수 예측에 사용되어 모델 과적합을 야기한다고 알려져 있다. 이러한 문제를 방지하기 위하여, 캣부스트 모델은 각 데이터에 임의의 순서를 부여하고, 순서에 따라 범주 별 순서형 종속 변수 통계량을 계산하는 방식을 사용하였다. 임의의 순서대로 해당 데이터 이전까지의 종속 변수 정보만으로 종속 변수 통계량을 계산하기 때문에 동일한 범주일지라도 서로 다른 종속 변수 통계량 값을 갖게 된다. 더 나아가, 모델의 잔차를 예측하는 순차적인 업데이트 단계에서 임의의 순서에 따라 학습용 데이터를 추가하는 순서형 부스팅 방식을 활용하여, 모델을 통과한 학습용 데이터와 평가용 데이터의 분포가 서로 달라지는 한계점을 해결하였다. 랜덤포레스트 모델은 학습 데이터로부터 복원 추출을 진행한 후 다양한 의사결정나무를 구성하여 이를 앙상블 하는 모델이다(Breiman, 2001). 매 단계에서 생성되는 의사결정나무는 학습용 데이터의 부분 집합과 변수들의 랜덤 부분 집합으로 구축되며, 매번 다른 부분 집합이 사용되는 만큼 다양한 특성을 담게 된다. 서로 다른 특징을 가진 의사결정나무 모델을 여러 개 구축한다는 점에서 다양성을 확보하게 되며, 이는 단일 의사결정나무 모델 대비 높은 성능 뿐만 아니라 강건한 결과를 보여준다. 그래디언트 부스팅은 본 제안 모델의 보조 모듈로 사용되었으며 2.2절에서 설명하였다.

총 세 가지 모델에 대하여 비교 실험을 진행한 결과를 <Table 3>에 정리하였다. 두 가지 평가 지표를 기준으로 모든 예측 시점에서 그래디언트 부스팅 모델의 성능이 가장 좋음을 확인할 수 있었다. 또한, 그래디언트 부스팅 모델의 경우 예측 기간이 14일 후, 30일 후로 증가하더라도 일정한 성능을 보이고 있다. 하지만, 결정 계수 평균 값을 기준으로 예측 성능은 0.4194에 그쳤으며 이는 그래디언트 부스팅 모델만으로는 112 신고 건수 예측을 정확히 할 수 없음을 의미한다.

Table 3.

Model Performance for CatBoost, Random Forest, and Gradient Boosting

4.3 멀티모달 스태킹 모델 비교

마지막으로, 멀티모달 스태킹 구조에 대한 성능을 확인하고자 주 모듈인 GRU 모델과 다변량 예측 모델(random forest, catboost, gradient boosting)을 결합한 멀티모달 스태킹 모델을 비교하였으며 실험 결과는 <Table 4>에 정리하였다.

Table 4.

Model performance for GRU + CatBoost, GRU + Random Forest and GRU + Gradient Boosting

GRU 모델과 그래디언트 부스팅 모델을 멀티모달 스태킹 구조로 함께 결합한 MSM이 결정 계수 평균 기준 0.7691의 성능을 보였으며, 비교 모델 대비 가장 우수하였다. 랜덤포레스트 모델을 결합한 조합은 0.7318로 멀티모달 스태킹 모델 중 가장 정확도가 낮았다. 캣부스트 모델을 결합한 경우에는 0.7652의 평균 성능으로 그래디언트 부스팅을 결합한 모델과 성능 차이는 거의 없었으나 다른 예측 모델들에 비해 매우 느린 연산 속도를 보인다는 단점을 갖고 있다. 따라서, 성능 및 활용도 측면에서 GRU 모델과 그래디언트 부스팅 모델을 결합한 MSM 구조가 가장 타당한 것으로 결론 내릴 수 있다.

전반적인 실험 결과를 통하여 GRU 모델을 단독으로 사용하여도 112 신고 건수 예측 성능이 결정 계수 평균 기준 0.7390을 기록함을 확인하였으며, MSM의 성능 향상에 주된 역할을 담당함을 알 수 있었다. 보조 모듈로 사용한 그래디언트 부스팅 모델은 MSM의 실용성을 향상시키기 위한 접근으로, 112 신고 건수 발생에 영향을 미치는 지역 특성 데이터들을 함께 학습하고 변수 중요도 도출을 통한 구체적인 요인 분석이 가능하다는 장점을 갖고 있다. 더불어 GRU 모델과 그래디언트 부스팅 모델을 멀티모달 스태킹 구조로 결합한 실험에서 결정 계수 평균 기준 0.7691의 성능을 보이며, GRU 모델만을 단독으로 사용한 경우보다 약 3%의 성능 향상도 이루어짐을 확인하였다.

4.4 MSM 모델 결과 해석

<Figure 6>은 MSM 보조 모듈을 통하여 도출된 변수 중요도를 히트맵(heatmap)으로 시각화한 결과이다. 해당 그림은 1일 후 예측 모델부터 7일 후 예측 모델에 해당하는 총 7개 그래디언트 부스팅 모델들의 변수 중요도가 각 행으로 표현되었다. 또한, 히트맵 그림의 각 열은 앞서 Table 1에서 설명한 변수들로 이루어져 있다. 히트맵 내의 색깔은 짙은 파란색일수록 분석에서 더욱 중요하게 활용되었음을 의미한다. 변수 중요도 결과를 통하여 기온 정보가 신고 건수 예측에 가장 많은 영향을 미쳤다는 사실을 확인할 수 있다. 또한, 보육 시설, 5대 범죄 발생 통계량, 주거지역 및 상업지역 등과 같은 해당 지역 용도 정보 변수 역시 주요한 변수로 선정되었다. 이 외에도 주말 변수가 중요하게 활용되고 있어 유동인구의 수에 따른 112 신고 건수의 변화가 존재함을 알 수 있다. 해석 결과를 통하여 관할관서에서는 관할 구역의 지역 용도 정보를 이용하여 그 특성에 맞는 순찰 활동을 수행하고 주말 여부나 기온 정보에 따른 경찰력의 탄력적 배치가 필요하다는 결론을 도출할 수 있다.

Figure 6.

Feature Importance from the Gradient Boosting Models

주요 변수들 중 자치구 통계 데이터에 해당하는 보육 시설(childcare facility), 5대 범죄 발생 통계량(five major crimes), 지역 용도 정보 중 상업 지역의 비율 변수(area usage - commercial area)를 기준으로 자치구 별 차이를 살펴보았다. 비교를 진행한 세 자치구로는 예측 성능이 가장 높은 강서구와 가장 낮은 금천구, 그리고 평균적인 성능을 보인 강동구를 선정하였다. 예측 성능이 높아지는 금천구, 강동구, 강서구 순으로 변수별 상자 그림(box plot)을 그려 <Figure 7>와 같이 비교하였다. 상자 그림은 수치형 자료에 대한 최솟값, 사분위 값, 최댓값을 한 번에 표현하여 데이터의 분포를 시각적으로 파악할 수 있는 그림이다. 시각화 결과에 따라 세 가지 변수 모두에 대하여 자치구별 차이를 확인할 수 있었다. 성능이 가장 우수했던 강서구와 가장 낮았던 금천구의 결과를 비교해보면 보육 시설의 수와 5대 범죄 발생 건수가 많을수록, 상업 지역의 비율이 클수록 신고 건수 예측 성능이 높아진다. 이와 같이 자치구별로 특성 차이를 보이며, 신고 발생 지역의 특성 차이를 나타내는 변수들이 실제 신고 건수 예측에 주요하게 활용되므로 해당 변수들을 반영하는 멀티모달 스태킹 모델이 효과적으로 구축되었다는 결론을 내릴 수 있다.

Figure 7.

Box plot of Geumcheon-gu, Gangdong-gu, and Gangseo-gu for three different variables