WikiSQL은 Zhong et al.(2017)에 의해 소개된 최초의 대용량 Text-to-SQL 데이터로서, 영문 위키피디아에 수록된 테이블(table), 해당 테이블에 대한 자연어 질의(question), 그리고 자연어 질의를 변환한 SQL 쿼리(query)로 구성되어 있다. 자연어 질의는 대상으로 하는 테이블 내에서 사용자가 원하는 값에 대한 질문이며, SQL 쿼리는 해당 질문의 결과를 추출하기 위해 데이터베이스에 전송하는 쿼리다. SQL 쿼리는 SELECT/WHERE/FROM 절만으로 구성되어 있으며, 단일 테이블에 대한 쿼리이기 때문에 테이블 간의 관계를 고려할 필요가 없는 상대적으로 단순한 형태로 구성되어 있다. WikiSQL은 총 24,241개의 테이블과 80,654쌍의 자연어 질의-SQL 쿼리 집합으로 구성되어 있으며, 해당 데이터 셋 이전에 존재하던 가장 큰 규모의 Text-to-SQL 데이터셋들에 비해 테이블 수는 10배 이상(기존: 2,420개 - WebQuestions, Berant et al., 2013), 자연어 질의-SQL 쿼리 쌍은 3배 이상(기존: 26,098쌍 - Overnight(Wang et al., 2015)) 더 증가된 대규모 데이터셋이다.

WikiSQL은 크라우드 소싱을 기반으로 다음 절차를 통해 구축되었다. 1단계에서는 Bhagavatula et al.(2013)에서 사용된 영문 위키피디아 데이터 셋의 테이블 중에서 사전에 정의된 기준을 충족하지 못하는 작은 테이블들을 제외하였다. 2단계에서는 개별 테이블들에 대해서 총 여섯 가지 중 한 가지의 템플릿을 사용하여 SQL 쿼리가 생성된다. 3단계에서는 이렇게 생성된 쿼리에 대응하는 직역에 가까운 템플릿 기반의 질의가 생성된다. 4단계에서는 크라우드 소싱을 통해 3단계에서 생성된 템플릿 기반의 질의를 의역을 통해 보다 자연어에 가까운 질의로 변환하는 작업이 수행된다. 마지막 5단계에서는 이렇게 의역된 질의와 템플릿 기반의 질의를 다른 두 명의 작업자가 평가하여 충분히 의미가 유사하다고 판단되는 경우에만 최종적으로 해당 테이블-SQL 쿼리-자연어 질의 쌍을 데이터 셋에 포함시키게 된다. <Figure 1>에서 WikiSQL에 포함된 테이블-SQL 쿼리-자연어 질의와 SQL 쿼리에 대한 예시를 살펴볼 수 있다.

Figure 1. 
WikiSQL Examples

첫 번째 질의는 WikiSQL 내에 포함되어 있는 테이블 중 Stozhary라는 영화제의 수상 기록을 담은 테이블에 대하여, 사용자가 우크라이나의 영화배우가 누구인지에 대한 질문이다. 해당 질문에 대하여, 정해진 답을 도출하기 위해 테이블에 전송해야 하는 SQL 쿼리와 함께 해당 쿼리를 실행시켰을 때 반환되는 정답이 함께 제시되어 있다. 동일한 테이블에 대하여 두 번째 질의는 첫 번째 질의와 다른 국가인 세르비아 출신 영화 배우인 동시에 조연상 후보로 지명된 사람을 묻고 있다. 즉, 자연어 질의들은 테이블 내에 존재하는 다양한 값들에 접근하기 위한 사용자의 요청이라고 할 수 있다.

SPIDER는 Yu et al.(2018)에 의해 공개되었으며 200개의 데이터베이스 내에 다중 테이블과 1만 개의 자연어 질문과 쿼리 쌍을 포함하고 있다. SPIDER는 각 질의와 쿼리 쌍에 대해 4단계의 난이도가 할당되어 있으며, SPIDER의 SQL 쿼리는 SELECT / WHERE / FROM 이외에 HAVING, GROUP BY 등과 같은 절이 많이 포함되어 SQL 구성에 대한 숙련도를 갖춰야 작성할 수 있는 쿼리를 갖고 있다.

SQLova(Hwang et al., 2019)는 Text-to-SQL 분야에 BERT 언어 모델을 통한 인코딩을 처음으로 적용한 시도로 의미가 크며, 이후에도 다양한 언어 모델을 실험한 모델들의 이론적 토대가 되었다. SQLova는 <Figure 3>과 같이 Table-aware encoding layer와 Natural Language to SQL (NLSQL) layer의 두 층으로 구성된다.

Figure 3. 
SQLova Model Overview

Table-aware encoding layer에서는 자연어 질의와 테이블 컬럼들의 헤더 토큰들을 결합(concatenation)하여 하나의 입력 벡터를 구성한다. 사전 학습된 대용량의 BERT 언어 모델을 활용하기 위하여 입력 벡터의 첫 토큰은 [CLS] 토큰을 사용하며, 자연어 질의와 각 테이블 컬럼 헤더들 사이에는 [SEP] 토큰을 삽입하여 구분자 역할을 수행한다. 이에 더하여 세그먼트 아이디 또한 입력으로 사용하는데 자연어 질의 토큰들에는 0을 할당하고, 테이블 헤더 토큰들에는 1을 할당한다. 이렇게 구성된 입력 벡터는 BERT 언어 모델을 통해 인코딩을 진행하게 되며, BERT 인코더의 마지막 두 층의 결과물이 결합되어 이후 NL2SQL 층의 입력으로 사용된다.

NL2SQL 층에서는 질의와 컬럼 헤더 부분을 각각 나누어 LSTM을 적용시킴으로써 문맥 정보가 더욱 강화된 질의 토큰의 은닉 표상 LSTM-q와 컬럼 헤더 토큰의 은닉 표상 LSTM-h를 학습한다. 이후 하나의 LSTM-h와 전체 LSTM-q와의 컬럼 어텐션(Column Attention; Xu et al., 2017)을 적용해 각 헤더와 질의 간의 관계를 학습한 표상, 또는 LSTM-h 내에서 셀프 어텐션을 적용해 만든 표상을 통해 디코딩을 진행한다. WikiSQL의 여섯 가지 SQL 쿼리 요소를 채우기 위하여 각기 다른 디코딩 절차를 따른다.

• ∙ SELECT COLUMN: 컬럼 어텐션을 통해 LSTM-q의 모든 토큰과 단일한 컬럼의 관계를 계산하여 LSTM-h의 컬럼 표상을 재구성한 뒤, 모든 컬럼에 대한 소프트맥스를 통해 SELECT에 사용할 컬럼을 결정한다.
• ∙ SELECT AGGREGATOR: SELECT COLUMN으로 정해진 컬럼에 대하여 선형 변환을 거쳐, 집합자(Aggregator)의 수와 동일한 차원으로 변환한 뒤, 소프트맥스를 통해 집합자(NONE, MAX, MIN, COUNT, SUM, and AVG)를 선택한다.
• ∙ WHERE NUMBER: LSTM-h내의 셀프 어텐션을 진행하여 모든 컬럼들의 문맥을 통해 LSTM-h의 임베딩을 새로 계산하고, 해당 컬럼들을 활용해 질문의 임베딩을 새로 계산 후 소프트맥스를 통해 벡터 최대값의 인덱스를 WHERE 절의 개수로 선택한다.
• ∙ WHERE COLUMN: SELECT COLUMN과 동일한 절차를 거치지만, 소프트맥스 대신 개별 컬럼에 대한 시그모이드 활성함수를 적용하여, WHERE NUMBER에서 구한 조건의 수만큼 컬럼을 선택한다.
• ∙ WHERE OPERATOR: SELECT AGGREGATOR과 동일한 절차를 거치지만, 소프트맥스를 통해 연산자(NONE, =, >, <)를 선택한다.
• ∙ WHERE VALUE: 컬럼과 연산자가 구해졌을 때, 컬럼 어텐션을 통해 질의의 토큰과 컬럼 간의 관계를 계산해 새로운 임베딩을 구성한 다음 구간 예측을 통해 값의 시작과 끝 인덱스를 구한다.

이후 대상 테이블을 나타내는 FROM 절과 각 Subtask로 구해낸 SELECT / WHERE절을 모아 하나의 SQL 쿼리를 구성한다.

HydraNet(Lyu et al., 2020)은 Text-to-SQL을 포함한 보편적인 의미분석 기법들이 입력값으로 자연어 질문과 모든 문맥(데이터베이스 테이블 이름, 컬럼)을 함께 사용하는 것(He et al., 2019; Hwang et al., 2019)과 다르게, 자연어 질문과 1개의 컬럼을 하나의 쌍으로 입력값을 구성하는 특징이 있다. HydraNet은 <Figure 4>와 같이 트랜스포머 기반 인코더와 Hybrid Ranking 디코더로 구성되어 있다.

Figure 4. 
HydraNet Model Overview

먼저 입력 값은 [CLS] 토큰 뒤에 단일한 컬럼의 정보를 구성하기 위해 컬럼 타입(‘string’, ‘real’, etc.), 테이블 이름, 컬럼을 결합하고 해당하는 토큰들을 나열 한 뒤, [SEP] 토큰과 함께 자연어 질의 토큰들을 나열하여 구성한다. 이와 같이 구성한 뒤 트랜스포머 기반 언어 모델을 인코더로서 활용하게 된다면, [CLS] 토큰이 단일 컬럼과 자연어 질의 간의 관계를 포함하고 있는 ‘컬럼 벡터’로서의 역할을 하게 될 것이며 해당 벡터는 풀링과 같은 추가적인 처리 없이 바로 디코더의 입력 값으로 활용할 수 있다(Lyu et al., 2020).

Hybrid Ranking 디코더는 단일한 컬럼 별로 확률 계산을 하여 모든 SQL 요소에 대하여 순위를 매기는 방식으로 각 SQL 요소를 예측해낸다. 전달 받은 하나의 컬럼에 대한 [CLS] 토큰 표상을 사용하여 SELECT, WHERE 컬럼으로 선택될 확률을 계산한다. 해당 과정을 모든 컬럼에 대하여 진행한 뒤 순위를 매겨 (Ranking) 가장 높은 순위의 컬럼을 SELECT, WHERE 컬럼으로 결정하는 것이다. 각 컬럼에 대한 집합자와 연산자 또한 [CLS] 토큰을 활용한 분류로써 결정하며, WHERE Value는 [CLS] 토큰을 활용하지 않고 자연어 질의 토큰을 활용한 구간 예측을 통해 얻어낸다.

• ∙ SELECT & WHERE COLUMN: 질의와 하나의 컬럼의 쌍으로 구해낸 [CLS] 토큰에 대하여 선형 변환 후, 시그모이드 활성함수를 적용하여 컬럼의 확률을 구한다. 모든 컬럼에 대하여 적용하여 가장 확률이 큰 값을 선택한다.
• ∙ SELECT & WHERE NUMBER: 모든 컬럼에서 산출된 [CLS] 토큰 임베딩에 대해, 개수를 나타내는 벡터들에 곱하여 합이 최대가 되는 벡터를 선택한다. 사전 정의된 개수는 0~3개이다.
• ∙ SELECT AGGREGATOR & WHERE OPERATOR: 선택된 컬럼에 대한 [CLS] 토큰 임베딩을 각 집합자와 연산자를 나타내는 벡터들에 곱한 뒤, 소프트맥스로 최대 확률을 나타내는 요소를 선택한다.
• ∙ WHERE VALUE: [CLS] 토큰 임베딩을 유일하게 사용하지 않는 절차로, 질의에 포함되어 있는 토큰들의 표상을 문장 내 위치 인덱스의 의미를 담고 있는 벡터와 내적하여 최대의 값을 갖는 위치를 구간 예측의 시작과 끝으로 계산하여 값을 구한다.

HydraNet에서는 SQLova와 마찬가지로 대상 테이블을 나타내는 FROM 절과 각 Subtask(Ranking)로 구해낸 SELECT / WHERE절을 모아 하나의 SQL 쿼리를 구성한다.

Bridge(Lin et al., 2020)는 번역 과업에서 많이 사용하는 Seq2Seq 기법을 통해 SQL 쿼리를 한 토큰 씩 생성하며(Bahdanau et al., 2014; Sutskever et al., 2014), 트랜스포머 기반 인코더와 포인터 제너레이터 네트워크(Pointer-Generator Network)를 활용하는 디코더로 구성된다(Vinyals et al., 2015; See et al., 2017)

인코더에서 사용하는 입력 값은 전체적으로 일반적인 Text-to-SQL과 비슷하여, [CLS] 토큰, 자연어 질의 토큰, [SEP] 토큰 그리고 데이터베이스 테이블 이름과 컬럼 토큰의 결합으로 구성되어 있다. Bridge는 이에 더해 각 컬럼의 셀 값을 추가적으로 결합하며 모든 셀 값을 추가하는 것이 아닌, 자연어 질의 토큰과 테이블 컬럼 내의 값이 일치할 경우 해당하는 컬럼 뒤에 값을 결합한다. <Figure 5>에서 입력 값 구성에 대한 예시를 볼 수 있으며, 자연어 질의 내의 ‘Ukraine’이라는 단어가 Country 컬럼의 값에 포함이 되어 있을 경우 Country 컬럼 뒤에 해당 값을 추가해준다. 셀 값을 입력 값에 추가해주는 것은 BERT가 질의와 테이블 값 간의 관계를 파악하기 용이하게 해준다(Lin et al., 2020).

Figure 5. 
Bridge Model Input & Decoder

디코딩 과정에서는 기본적인 Seq2Seq가 어휘 집합 내에서 한 단어 씩 선택하여 생성하는 절차를 따르며, 이 때 각 토큰 생성 시점마다 디코더 은닉 표상과 인코더가 구성한 입력 값과의 멀티 헤드 어텐션을 계산한다(Vaswani et al., 2017). 어텐션을 더한 Seq2Seq을 통해 단어를 생성해 낼 때, 어텐션은 단어 생성 과정에서 입력 값의 어떤 부분에 집중할 지에 대한 정보로서의 역할만을 하지만(Bahdanau et al., 2014), 포인터 제너레이터 네트워크는 어텐션 분포를 입력 값(자연어 질의 토큰, 테이블 이름, 컬럼, 값)에서 토큰을 복사해오는 방식(Copy Mechanism)에 추가적으로 활용한다(See et al., 2017). 즉, 포인터 제너레이터 네트워크는 <Figure 5>에서 볼 수 있듯, 각 디코딩 시점에서 어휘 집합의 확률 분포를 생성함과 동시에 어텐션 분포를 저장 해둔다.

이어 디코더 은닉 표상으로 0~1의 범위를 갖는 p_gen 확률을 계산해 p_gen만큼 어휘 집합 확률 분포에, (1-p_gen)만큼 어텐션 분포에 가중치를 적용하여 최종적인 단어 생성 분포를 구성한다. 해당 방식을 통해 디코더는 어휘 집합에서 단어를 생성해낼 수 있을 뿐 아니라, 입력 값으로 사용된 자연어 질의, 데이터베이스 테이블 이름, 컬럼 그리고 값까지 자유롭게 복사해올 수 있다. Bridge 모델은 한 토큰 씩 순서에 맞게 생성하는 방식이기 때문에 Subtask 모델과 달리 독립적인 분류를 통해 결과물들을 하나의 SQL 쿼리로 취합하는 과정이 필요 없다. 본 모델은 SPIDER 데이터셋에서 큰 효용성이 있으나 WikiSQL에도 적용 가능하기에 본 연구의 평가 모델에 포함하였다.

Text-to-SQL 모델들은 인코딩된 표상에 대하여 각 모델이 정의하는 문제 상황에 맞게 디코딩을 진행하는 것에 더하여, EG(Wang et al., 2018)를 추가하여 성능을 향상시키고 있다(Hwang et al., 2019; Wang et al., 2019; Lin et al., 2020). 이는 생성해낸 SQL 쿼리가 대상 데이터베이스에 대하여 실행이 가능한지에 대한 점검을 하는 과정으로, 실행이 불가능한 쿼리를 애초에 정답 후보에서 제외함으로써 정확한 SQL 쿼리를 얻어내고자 한다. Text-to-SQL 모델이 SQL 쿼리의 앞부분부터 생성해 나갈 때 SQL 쿼리의 부분만으로도 실행이 가능할 때, 데이터베이스에 적용하여 실행 가능 여부를 파악한다. 이 때, 하이퍼 파라미터로 몇 개의 쿼리 요소를 생성할 지 결정하는 빔 사이즈와 실행 가능한 쿼리 중 몇 개의 쿼리를 후보로 남겨둘 지 결정하는 Top-k를 설정한다. EG는 다음과 같은 경우에 생성 SQL 후보에서 제외한다(Wang et al., 2018).

• 1. 런타임 에러(Runtime error): 생성해낸 쿼리 내에서 컬럼의 타입에 적용할 수 없는 집합자나 연산자가 적용될 경우이다. 예를 들어, 문자 타입 컬럼을 SELECT 컬럼으로 생성한 뒤, MAX, MIN과 같이 사용할 수 없는 집합자를 생성하게 되면 런타임 에러가 발생한다. WHERE 절의 컬럼과 연산자의 관계에서도 같은 현상이 발생할 수 있다.
• 2. 결과 없음(Empty returns): 생성한 SQL 쿼리를 데이터베이스에 대하여 실행했을 때, 결과 값이 없을 때이다.

제3장에서 제시한 네 가지 데이터 셋 번역 방법을 적용해 한국어 WikiSQL을 구성하게 되면, 자연어 질의들은 한국어의 어순에 따라 번역되지만 데이터베이스 테이블의 컬럼 또는 값과 일치하는 단어들은 영어로 고정된다. 따라서, 영어 WikiSQL을 사용하여 학습하는 모델들(Hwang et al., 2019; Lin et al., 2020; Lyu et al., 2020) 같이 인코더로 BERT, RoBERTa(Devlin et al., 2018; Liu et al., 2019) 등의 대용량 영어 데이터 셋으로 사전 학습된 언어 모델을 한글 질의에 바로 사용할 수 없다. 또한, 한국어 WikiSQL은 완전히 한국어로 구성된 데이터 셋이 아니기 때문에 KoBERT²⁾, KR-BERT(Lee et al., 2020) 등과 같이 대용량의 한국어 데이터셋으로 사전 학습된 언어 모델을 인코더로 활용하기도 어렵다. 따라서, 본 연구에서 사용하는 데이터 셋을 처리하기 위해서는 한국어와 영어 두 가지 언어에 대해 모두 사전 학습이 되어 토크나이징 및 토큰들의 인코딩이 두 언어 모두에 적용 가능한 언어 모델을 사용해야 한다.

상기 조건을 만족하는 언어 모델은 한국어, 영어 등을 포함한 104개의 언어로 사전 학습된 다국어 BERT(Multilingual BERT(Devlin et al., 2018))이며, 본 연구에서는 이를 활용하여 두 언어가 혼재되어 있는 한국어 WikiSQL에 대한 인코딩을 진행하였다. 즉, 본 연구에서 구성한 한국어 WikiSQL에 대한 성능 평가를 위해 SQLova, HydraNet 그리고 Bridge(Hwang et al., 2019; Lin et al., 2020; Lyu et al., 2020)와 같이 BERT를 인코더로 활용하는 모델들에 대하여, 인코더를 다국어 BERT로 대체하여 모델을 구성하였다. 다국어 BERT는 huggingface에서 공개한 사전 학습된 모델을 활용하였으며,³⁾ 이에 따라 다국어 BERT의 토크나이저를 사용해 입력 값인 자연어 질의와 테이블 컬럼에 대해 토크나이징을 진행했다.

Text-to-SQL 모델을 평가하기 위해서 Logical Form Accuracy (LF)와 Execution Accuracy (EA) 두 가지의 성능 평가 지표를 사용하였다.

• ∙ Logical Form Accuracy(LF)LF는 모델을 통해 생성한 SQL 쿼리와 정답 SQL 쿼리가 일치하는 비율이다. WikiSQL이 포함하는 SQL 쿼리는 SELECT, WHERE, FROM 절을 포함하므로 Text-to-SQL 모델이 생성한 SQL 쿼리와 정답 SQL 쿼리가 SELECT, WHERE 절에 포함된 컬럼, 집합자 그리고 연산자가 모두 일치하면 정답으로 판정한다. <Figure 8>의 예시에서 Ukraine 출신 연기자를 묻는 자연어 질의에 대하여 WHERE절의 Country 컬럼을 ‘Ukraine’과 ‘Serbia’라고 각기 예측한 SQL 쿼리가 있다. 첫 번째 쿼리는 정답과 모든 요소가 완벽히 일치하여 정답으로 판정되지만, 두 번째 쿼리는 정답과 비교했을 때 WHERE절이 달라 오답으로 판정된다.
• ∙ Execution Accuracy(EA)EA는 모델을 통해 생성한 SQL 쿼리를 데이터베이스에 적용했을 때 얻게 되는 값이 정답 값과 일치하는 비율이다. <Figure 8>에서 LF를 측정하기 위한 SQL 쿼리가 데이터베이스에 적용되어 값을 도출하는 것을 볼 수 있다. 이 때, 첫 번째 쿼리를 적용해 얻어낸 값은 정답 값과 일치하여 정답이라고 판정하지만, 두 번째 쿼리를 적용하여 얻어낸 값은 정답 값과 일치하지 않으므로 오답이라고 판정한다. EA는 일반적으로 LF보다 성능이 더 높게 나타나는 경향이 있으며, 그 이유는 SQL의 특성상 하나의 출력 값을 반환하는 복수의 SQL 쿼리 작성이 가능하기 때문에, LF 관점에서 오답인 쿼리를 실행하면 EA 관점에서는 정답인 출력이 생성될 수 있기 때문이다.

Figure 8. 
Text-to-SQL Metric

한국어 WikiSQL은 영어 WikiSQL에 대해 구글 번역을 적용한 것이므로 영어 WikiSQL과 동일한 개수의 자연어 질의, SQL 쿼리 쌍 그리고 대상 데이터베이스 테이블을 갖는다. 2.1.1에서 설명했던 바와 같이 총 자연어 질의는 80,654쌍이며 대상 데이터베이스 테이블은 24,241개이다. 본 연구에서 사용한 한국어 WikiSQL의 훈련, 검증, 평가 데이터 셋의 자연어 질의, SQL 쿼리 쌍과 테이블의 개수는 <Table 1>과 같다.